【流数据与大屏DataV】如何使用DTS,Datahub,StreamCompute,RDS及DataV搭建流数据大屏-阿里云开发者社区

开发者社区> 大数据> 正文

【流数据与大屏DataV】如何使用DTS,Datahub,StreamCompute,RDS及DataV搭建流数据大屏

简介: 本文主要从数字化大屏的价值及实现两方面阐述了数字化大屏的制作过程。

如何使用DTS,Datahub,StreamCompute,RDS及DataV搭建流数据大屏

 

一,数字化大屏的价值

我们的平台销售管理大屏实时数据展示系统,采用了阿里云最新的大数据及流计算技术,将客户的登录信息、设备信息,销售销量、金额,装车系统的客户信息、车辆信息,发运的地理位置、走向等,以飞线图、热力图、点图、传统的柱状图、饼图等多维度的形式展现给企业及相关领导。强大的视觉冲击和高度可视化的图形及数字展示给人带来清晰直观、真实和充满活力的销售数据。

6560e9f91885657d312311e94f957f981adfb106

图1 电商平台实施销售数据大屏

大数据可视化的一个好处是,它允许用户去跟踪运营和整体业务性能之间的连接。在竞争环境中,找到业务功能和市场性能之间的相关性是至关重要的。通过数据可视化的展示,可以帮助电商平台的业务人员更快地理解和处理他们的信息,使利益相关者更容易对整个企业进行评估。更加及时、准确的对市场变化进行调整和识别。提高电商平台的行业的竞争优势。

可视化解决了前端展示问题,其实背后依靠的是强大的数据处理和整合及分析预测能力,我们平台的优势就体现在它把一个非常困难的预测问题,转化为一个相对简单的描述问题。

通过应用大数据平台,电商平台可实时调取现场发货数据,并根据这些数据预测供需关系,及时调整价格,保证了企业利益并维持了市场供需平衡的经济效益。

例如油气价格受国内国际多种因素影响,极易产生价格波动。电商平台通过采集客户的登录信息、浏览信息、购买信息以及调取平台的销售销量、金额,装车系统的客户信息、车辆信息,发运的地理位置、走向等数据,通过DataV物流屏幕、交易屏幕的相关技术组件进行展现,可以实时监控会员对平台的访问频次、访问方式、实时的销售量、销售金额、实时的装车发运信息等。随时掌握经营动态,实时预警,快速调整运营策略等场景使用需求。并及时的将这些信息反馈给企业,协助相关企业对关注度较高的热销商品进行二次调价或多次调价。在平台层面,电商平台制定支付锁价、制卡锁价、进场锁价等多种锁价策略,兼具灵活的价格策略,既保证了企业的利益,又维护了市场的供需关系。

 

二,数字化大屏的实现

整个处理过程包括数据采集,数据处理和数据展示三个过程,分布使用了阿里的DTS,DataHub,StreamCompute,RDS以及DataV等产品。

c60ff7733df535df1ec866098ee7ee3621db6a34

图2 电商品台大屏展示技术架构

2.1数据采集

我们通过阿里数据传输中的数据同步(DTS),将RDS的数据实施传输至DataHub。在配置DTS之前,首先要到DataHub中创建项目(如下图)。

4d61010ac52bf043a5f788fd135e96163a54e337

图3 创建DataHub Project

然后,需要到阿里云控制台的数据传输-数据同步中配置源实例和目标实并进行购买。

475caa93dbb61e0af53ccb0c5a90fae842064c24

图4 数据同步源实例及目标实例配置

完成同步配置后,同步过程中,会将每个表的增量更新数据存储到DataHub对应的Topic中。DTS配置完成后查看DTS的任务是否能够自动执行、延时是否过大,一般来讲都是ms级别的。

c57fc834070bffa186de7da5fce9ab92053104cc

图5 数据同步配置列表展示

转到阿里云DataHub的控制台,点开创建的项目,查看通过DTS创建的数据结构是否有缺失。

 

6c2e19010c68f5afdb2ca291360d242b2a77616f

图6查看datahub中的topic

点击数据抽样,查看是否有最新的数据传入DataHub。

56bcbddbe9b6091dfec75acb8ad2738887059d6d

图7查看datahub中的抽样数据

2.2数据处理

       首先创建一个新的RDS实例,并通过客户端连接上去按照源表结构在RDS中创建相应的表结构。

a3a6c5620dd23e1c43f2a1998bf2851d5809370f

图8 创建目标数据库表结构

然后,在阿里控制台中找到大数据-流计算-开发,在左侧菜单的开发作业中点击按钮,创建新的开发作业,然后在左侧菜单的数据存储中选择Datahub数据存储,找到相应的表,然后点击右侧的作为输入表引用。这样就实现了在开发作业中引用数据源的操作。

14c6d59062df4703a4577093975c79d45350f308

图9 引用流计算源数据

然后选择数据存储中的RDS数据存储,找到响应的RDS,然后点击作为结果引用。

3e738314eedd4d1594a32e6897f55dafcb4a13b9

图10 引用流计算目标库表

最后,通过Replace Into语句将源表数据插入目标表。此外,如果数据格式不匹配,在此也可以进行相应的数据格式转换工作,例如使用from_unixtime函数等。

1cae47af190b0d74518c74259aa9ca49a14359c6

图11 在流计算中将源表数据插入目标表

 

1afd2f1a27a118558903851578732af7c7c56623

图12 在流计算中上线开发任务

完成上线操作后,在流计算控制台顶端点击运维,查看作业状态,按照需要停止或重启作业,并查看业务延迟。

df644f7fcfd3ec7f0da106236f290bf44375fd78

图13在流计算运维控制台停止/启动流计算作业

然后点击作业名称,查看详细的业务延迟,计算耗时,数据输入等指标。如果数据传输不正常,可能会发生数据倾斜,系统会有异常抛出,根据抛出的异常来决定具体的响应措施。

aebc4a30742b10de0edfcd814415ca87d358627b

图14 在流计算控制台中查看作业详情

2.3 数据展现

数据传输到RDS后,我们可以通过DataV攻击将数据进行展现。

打开阿里云控制台大数据-DataV数据可视化,选择合适的模板,添加相应的组件,然后调整样式

e7c8d8a999b5687bbde5ea677b2ff4650fa737af

图15 在DataV中设置样式

       然后可以根据实际的业务需求,组织相关的数据。在进行数据组织之前,首先要设置DataV的数据源,点击左上角的箭头回到DataV的主页面。选择我的数据,然后点击添加数据按钮,设置相关的数据源为之前的流数据的目标RDS。

665917fad80f18b5c7315981f9f653d98ff2b896

图16 设置DataV数据源

       然后点击左上角菜单我的可视化,鼠标落在刚刚创建的大屏上,点击编辑按钮。

eb65416e0c463376aa189d3be74b3fee21a041fa

图17 在DataV中编辑已有大屏

然后选中要编辑的组件,点击右上角的数据,然后选择数据库,并按照业务需求编写SQL,可以点及右下角的查看数据响应结果,查看编写的SQL是否生效。如果生效,数据发生实时变化的时候,在大屏上进行实时展示。

62a66e20cc6af76c0f21423ed86aaf47e08f7ec0

图18 在DataV中编写SQL组织数据

如果DataV的样式和数据都编辑完成,可以将大屏发布,点击右上角的发布按钮,在弹出框中点击发布,能够被公网访问的大屏连接就会生成,如果需要验证则选择token进行设置即可。将连接嵌入网站,或通过大屏设备直接访问即可实现大屏展示。

5df2ab96f3b25b3a5931973e939ea785fc6905cf

图19 在DataV中发布大屏

 

至此,完成了从大屏的数据抓取、数据传输转换、到数据展示的全过程。希望能对希望学习大屏使用的同学有所帮助。

 

                                                                                                                                                                   老金斯基

                                                                                                                                                                 2017.12.22

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章