数据接口工程对接BI可视化大屏(三)模拟数据

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 数据接口工程对接BI可视化大屏(三)模拟数据

第3章 模拟数据

3.1 数据模拟概述

根据数据大屏中的图表组件内容需要,并结合当前主流的大数据存储数据库,向以下目标设备中模拟产生以下数据。

数据库的安装和配置,请参考相关课程资料。

目标设备 数据描述 粒度
Mysql 每秒的下单和退单数 一个时间的下单和退单数是一条数据
Redis 手机品牌的访问热度 使用Zset存储所有手机的访问热度值
HBase 各手机品牌在各省份订单的实时成交数据 一种手机在一个省某一时刻的下单数和金额是一条数据
ElasticSearch 手机购买客户的背景信息 一个顾客是一条数据
Clickhouse 手机订单的实时成交流水 一笔流水是一行

3.2 数据模拟

本套专栏已经提供了数据模拟程序,可以直接使用。

在数据模拟工具的配置文件application.yml中配置数据库环境的相关信息,其中红色部分为需要修改的参数:

#并行模拟数据的线程数

#并行模拟数据的线程数
dataCount: mockCount: 1 hiveDataCount: 20
sleepMs: logSleep: 1000 redisMockSleep: 1000 mysqlMockSleep: 1000
ckMockSleep: 1000 hbaseMockSleep: 1000 esMockSleep: 1000
dest: logUrl: http://localhost:8080/app redisDataKey: hotphone
param: logStr
mybatis: configuration:
mapUnderscoreToCamelCase: true
spring: elasticsearch:
uris: http://hadoop102:9200 redis:
host: hadoop102
port: 6379 datasource:
dynamic:
primary: mysql
strict: false
datasource:
mysql:
url: jdbc:mysql://hadoop102:3306/gmall_report?serverTimezone=Asia/Shanghai&useSSL=false&useUnicode=true&characterEncoding=UTF-8
username: root
password: “000000”
driver-class-name: com.mysql.cj.jdbc.Driver
ck:
url: jdbc:clickhouse://hadoop102:8123/default
username:
password:
driver-class-name: ru.yandex.clickhouse.ClickHouseDriver
hbase:
url: jdbc:phoenix:hadoop102,hadoop103,hadoop104:2181
username:
password:
driver-class-name: org.apache.phoenix.jdbc.PhoenixDriver

数据模拟程序默认为每个数据库启动一个线程,以1s每条的速率模拟产生对应的数据。如果需要增加数据量,可以修改蓝色标注的参数。

配置文件修改完毕后,可以在命令行使用java -jar 命令启动数据模拟程序。程序执行的计算机需要有Jre运行环境。

3.3 数据查验

开启数据模拟程序后,可以在对应的数据库中查看是否有模拟数据产生。

在Mysql数据库中,会创建名为di的表,数据如下:

在Clickhouse数据库中,会创建名为di的表,数据为7天内的随机一笔订单。数据如下:

在HBase数据库中,会创建名为di的表,数据如下:

在ElasticSearch数据库中,会创建名为di的index,数据如下:

{
 “_class” : “com.atguigu.datamock.bean.Customer”,
 “id” : 0,
 “name” : “谭妍菁”,
 “sex” : “女”,
 “source” : “邮件营销”,
 “profession” : “电子网络”
}

在Redis数据库中,会创建名为hotphone的key,数据如下:


目录
相关文章
|
6月前
|
传感器 数据可视化 搜索推荐
瓴羊Quick BI助力深圳光明环境水务公司举办水务数据应用大会暨第二届“光环杯”BI应用大赛
瓴羊Quick BI助力深圳光明环境水务公司举办水务数据应用大会暨第二届“光环杯”BI应用大赛
132 0
|
6月前
|
数据采集 数据可视化 数据挖掘
数据分析案例-BI工程师招聘岗位信息可视化分析
数据分析案例-BI工程师招聘岗位信息可视化分析
138 0
|
1月前
|
缓存 数据可视化 BI
帆软BI 模仿一个可视化护理软件大屏 (三百六十行 行行fine BI)
帆软BI 模仿一个可视化护理软件大屏 (三百六十行 行行fine BI)
32 0
|
6月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
3月前
|
数据可视化 BI Windows
这两个BI可视化软件如何选择?亲测推荐
这两个BI可视化软件如何选择?亲测推荐
|
4月前
|
缓存 DataWorks 数据可视化
DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)
DataWorks 数据服务提供强大的数据 API 能力,并能与多种业界流行的 BI 报表 (DataV、QuickBI、PowerBI和Grafana) 结合,使用 API 数据源的好处是统一数据接口、统一权限管理、统一数据交换以及数据服务提供强大的各式各样的插件能力 (如缓存插件、流量控制插件、日志脱敏插件、断路器插件、IP访问控制插件、三方鉴权插件等),下文介绍各热门 BI 工具接入 DataWorks 数据服务的操作方式。
181 0
DataWorks 数据服务 + BI 可视化分析报表 (搭建战报)
|
4月前
|
BI API 容器
数据架构问题之BI的早期概念是什么
数据架构问题之BI的早期概念是什么
|
6月前
|
数据可视化 Linux Apache
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
CentOS部署Apache Superset大数据可视化BI分析工具并实现无公网IP远程访问
|
6月前
|
存储 BI 数据库
数据洞见未来——瓴羊Quick BI荣获邀请,将亮相OceanBase开发者大会
数据洞见未来——瓴羊Quick BI荣获邀请,将亮相OceanBase开发者大会
79 0
|
6月前
|
数据可视化 jenkins 测试技术
可视化BI类产品如何设计测试框架?
可视化BI类产品如何设计测试框架?
103 0

热门文章

最新文章