数据接口工程对接BI可视化大屏(三)模拟数据

简介: 数据接口工程对接BI可视化大屏(三)模拟数据

第3章 模拟数据

3.1 数据模拟概述

根据数据大屏中的图表组件内容需要,并结合当前主流的大数据存储数据库,向以下目标设备中模拟产生以下数据。

数据库的安装和配置,请参考相关课程资料。

目标设备 数据描述 粒度
Mysql 每秒的下单和退单数 一个时间的下单和退单数是一条数据
Redis 手机品牌的访问热度 使用Zset存储所有手机的访问热度值
HBase 各手机品牌在各省份订单的实时成交数据 一种手机在一个省某一时刻的下单数和金额是一条数据
ElasticSearch 手机购买客户的背景信息 一个顾客是一条数据
Clickhouse 手机订单的实时成交流水 一笔流水是一行

3.2 数据模拟

本套专栏已经提供了数据模拟程序,可以直接使用。

在数据模拟工具的配置文件application.yml中配置数据库环境的相关信息,其中红色部分为需要修改的参数:

#并行模拟数据的线程数

#并行模拟数据的线程数
dataCount: mockCount: 1 hiveDataCount: 20
sleepMs: logSleep: 1000 redisMockSleep: 1000 mysqlMockSleep: 1000
ckMockSleep: 1000 hbaseMockSleep: 1000 esMockSleep: 1000
dest: logUrl: http://localhost:8080/app redisDataKey: hotphone
param: logStr
mybatis: configuration:
mapUnderscoreToCamelCase: true
spring: elasticsearch:
uris: http://hadoop102:9200 redis:
host: hadoop102
port: 6379 datasource:
dynamic:
primary: mysql
strict: false
datasource:
mysql:
url: jdbc:mysql://hadoop102:3306/gmall_report?serverTimezone=Asia/Shanghai&useSSL=false&useUnicode=true&characterEncoding=UTF-8
username: root
password: “000000”
driver-class-name: com.mysql.cj.jdbc.Driver
ck:
url: jdbc:clickhouse://hadoop102:8123/default
username:
password:
driver-class-name: ru.yandex.clickhouse.ClickHouseDriver
hbase:
url: jdbc:phoenix:hadoop102,hadoop103,hadoop104:2181
username:
password:
driver-class-name: org.apache.phoenix.jdbc.PhoenixDriver

数据模拟程序默认为每个数据库启动一个线程,以1s每条的速率模拟产生对应的数据。如果需要增加数据量,可以修改蓝色标注的参数。

配置文件修改完毕后,可以在命令行使用java -jar 命令启动数据模拟程序。程序执行的计算机需要有Jre运行环境。

3.3 数据查验

开启数据模拟程序后,可以在对应的数据库中查看是否有模拟数据产生。

在Mysql数据库中,会创建名为di的表,数据如下:

在Clickhouse数据库中,会创建名为di的表,数据为7天内的随机一笔订单。数据如下:

在HBase数据库中,会创建名为di的表,数据如下:

在ElasticSearch数据库中,会创建名为di的index,数据如下:

{
 “_class” : “com.atguigu.datamock.bean.Customer”,
 “id” : 0,
 “name” : “谭妍菁”,
 “sex” : “女”,
 “source” : “邮件营销”,
 “profession” : “电子网络”
}

在Redis数据库中,会创建名为hotphone的key,数据如下:


目录
相关文章
|
12月前
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
运维 监控 数据可视化
产品测评 | 大模型时代下全场景数据消费平台的智能BI—Quick BI深度解析
Quick BI是阿里云旗下的全场景数据消费平台,助力企业实现数据驱动决策。用户可通过连接多种数据源(如本地文件、数据库等)进行数据分析,并借助智能小Q助手以对话形式查询数据或搭建报表。平台支持数据可视化、模板快速构建视图等功能,但目前存在不支持JSON格式文件、部分功能灵活性不足等问题。整体而言,Quick BI在数据分析与展示上表现出强大能力,适合业务类数据处理,未来可在智能化及运维场景支持上进一步优化。
|
数据可视化 数据挖掘 BI
Quick BI评测报告:从IT开发视角评测“全场景数据消费式BI平台”
Quick BI评测报告:从IT开发视角评测“全场景数据消费式BI平台”
522 0
|
人工智能 自然语言处理 数据可视化
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
随着大模型技术突破,全球企业迎来数据智能革命。Gartner预测,到2027年,中国80%的企业将采用多模型生成式AI策略。然而,数据孤岛与高门槛仍阻碍价值释放。
889 9
大模型+BI:一场关乎企业未来生死的数据智能卡位战 | 【瓴羊数据荟】数据MeetUp第四期
|
SQL 人工智能 自然语言处理
颠覆传统BI认知:Quick BI如何用“傻瓜式”操作重塑数据决策?
Quick BI是阿里云推出的一款零代码+AI数据分析工具,专为业务人员设计。通过简洁的界面和强大的功能,它让数据“开口说话”。从Excel秒变智能资产,到拖拽式构建高定看板,再到自然语言查询与预测分析,菜鸟也能轻松上手。企业微信集成、移动端优化等功能,助力实时决策。Quick BI打破技术壁垒,推动数据民主化,让每个岗位都能用业务语言对话数据,实现真正的数据驱动转型。
|
数据可视化 数据挖掘 BI
基于烟草零售商订单数据的Quick BI体验报告
Quick BI旨在通过智能的数据分析和可视化能力帮助企业构建高效的分析系统。在我初步了解该产品后,发现它不仅支持创建美观的仪表板、复杂的电子表格以及动态大屏,还能够无缝集成到现有的业务流程中,极大地提升了工作效率。尤其对于需要频繁展示数据分析结果给管理层或客户的场景来说,Quick BI提供了一个便捷且专业的解决方案。
|
人工智能 BI 自然语言处理
【瓴羊数据荟】 共话AI×Data的企业应用进化,瓴羊「数据荟」MeetUp城市行上海场顺利收官!
瓴羊「数据荟」Meet Up城市行系列活动第四期活动将于3月7日在上海举办,由中国信息通信研究院与阿里巴巴瓴羊专家联袂呈现,共同探讨AI时代的数据应用实践与企业智能DNA的革命性重构。
833 0
【瓴羊数据荟】  共话AI×Data的企业应用进化,瓴羊「数据荟」MeetUp城市行上海场顺利收官!
|
供应链 监控 安全
基于Quick BI的多部门组织下的数据共享及管理方案
本文介绍了企业在使用Quick BI时面临的数据共享与安全控制需求,涵盖技术、财务、销售等部门的具体挑战,并提出了基于角色组授权、工作空间隔离、行级权限管理等解决方案,确保数据既能高效共享又能安全可控。
792 5
基于Quick BI的多部门组织下的数据共享及管理方案
|
人工智能 算法 BI
聚焦AI与BI融合,引领数智化新潮流 | 【瓴羊数据荟】瓴羊数据Meet Up城市行第一站完美收官!
当BI遇见AI,洞见变得触手可及 —— 瓴羊「数据荟」数据Meet Up城市行·杭州站启幕,欢迎参与。
1904 5
聚焦AI与BI融合,引领数智化新潮流 | 【瓴羊数据荟】瓴羊数据Meet Up城市行第一站完美收官!

热门文章

最新文章