数据总线 DataHub

首页 标签 数据总线 DataHub
# 数据总线 DataHub #
关注
607内容
机器学习PAI全新功效——实时新闻热点Online Learning实践
(本实验会用到流式机器学习算法,正处于邀测状态,需要申请开通)PAI地址:https://data.aliyun.com/product/learn流式机器学习算法申请:https://data.aliyun.com/paionlinelearning打开新闻客户端,往往会收到热点新闻推送相关的内容。
流数据同步DataConnector测试整理
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能,目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。
业务流程多节点依赖调度配置实践
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据处理:通过StreamSQL分析用户行为》篇
本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《流数据处理:通过StreamSQL分析用户行为》篇所需。主要帮助现场学员熟悉并掌握阿里云流计算StreamCompute的操作和使用。
阿里云数据总线(DataHub)使用Flume插件导入数据示例
Flume NG是Cloudera提供的一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。本文主要演示如何使用Flume-DataHub插件导入数据到阿里云数据总线(DataHub)。
2021年在甘肃省工业互联网暨智慧园区重点工作推进现场会 进行<<基于阿里云的铸锻大脑项目建设>>分享
在云计算、大数据、移动化、物联网等新技术不可逆转的应用趋势下,铸锻企业已不得不思考如何应用新技术改良已有的技术和管理模式。传统铸锻企业的信息采集技术水平不高,部分设备的关键状态信息无法实时获取,设备的自检能力、自我诊断能力需进一步提升。生产现场的可视化、互动化水平有限,限制了对生产现场的操作指导和技术支持能力,信息实时传输同步有待提高。现有生产过程中缺乏对设备及运检状态的高级诊断和分析手段,不能及时有效的掌控设备的运行情况,不能基于获取的跨专业多源异构信息有效地加以融合分析、及时准确的实现对运行状态的高级评估和诊断。
DataHub Flink Connector
我们在阿里云上使用DataHub作为Flink程序输入输出的消息队列,使用成本比较低,但由于是阿里云的云产品,周边生态做的不是很好,Flink Stream的Connector并没有开源出来。因此本人参照RocketMQ Flink Connector写了DataHub的Flink Connector。
免费试用