DataHub 3月份新增功能介绍

简介: 针对DataHub 3月份新增功能的一些介绍

背景

DataHub 3月份页面新增功能介绍

新增设置TimeStampUnit单位

介绍

DataHub在进行数据同步时,针对timestamp类型的数据,由于下游timestamp类型默认数据类型不一致,datahub会对timestamp类型数据做转转换,以Datahub同步到Maxcompute为例,datahub同步默认timestamp类型为微秒,而Maxcompute默认为毫秒,所以在进行同步时DataHub会对timestamp类型数据转化为毫秒同步到MaxCompute

问题

DataHub Timestamp类型实质是Long类型,所以用户如果写入时间是毫秒格式或者秒格式,DataHub也会默认按照微妙同步到下游进行转换,这样就会造成下游数据格式异常,如下图所示,显示为1970-01-19开头


解决方案

  • 旧的解决方案是使用SDK重新设置TimestampUnit单位
  •        SinkOdpsConfig config = (SinkOdpsConfig) datahubClient.getConnector(projectName, topicName, connectorId).getConfig(); //将TimeStampUnit类型设置为秒 config.setTimestampUnit(ConnectorConfig.TimestampUnit.SECOND);
  • 缺点:较为繁琐,还需要重新写代码编译运行,而且对于非编程开发人员不够友好
  • 新的解决方案
  • 同步页面上支持TimestampUnit设置,用户可根据Timestamp字段格式进行设置,无需代码,较为简洁




相关实践学习
实时数据及离线数据上云方案
本实验通过使用CANAL、DataHub、DataWorks、MaxCompute服务,实现数据上云,解决了数据孤岛问题,同时把数据迁移到云计算平台,对后续数据的计算和应用提供了第一步开山之路。
相关文章
|
6月前
|
SQL 关系型数据库 数据管理
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
Datahub实践——Sqllineage解析Sql实现端到端数据血缘
862 1
|
8月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
将 MySQL 数据抽取并写入 DataHub,您可以按照以下步骤进行
340 2
|
8天前
|
存储 监控 Apache
Flink整库同步 如何把数据丢入到 datahub 中
Flink整库同步 如何把数据丢入到 datahub 中
|
6月前
|
数据采集 大数据 数据挖掘
企业级数据治理工作怎么开展?Datahub这样做
企业级数据治理工作怎么开展?Datahub这样做
110 0
|
8月前
|
数据采集 JSON 关系型数据库
将 MySQL 数据抽取并写入 DataHub
将 MySQL 数据抽取并写入 DataHub
183 3
|
10月前
|
Java API Maven
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
Fink在处理DataHub数据源时无法正确识别RecordData类的字段
81 1
|
JSON 物联网 数据格式
物联网平台数据流转到datahub时报错
记录一次物联网平台数据流转到datahub时的报错
426 0
物联网平台数据流转到datahub时报错
|
SQL 消息中间件 NoSQL
数据治理方案技术调研 Atlas VS Datahub VS Amundsen
数据治理意义重大,传统的数据治理采用文档的形式进行管理,已经无法满足大数据下的数据治理需要。而适合于Hadoop大数据生态体系的数据治理就非常的重要了。 大数据下的数据治理作为很多企业的一个巨大的难题,能找到的数据的解决方案并不多,但是好在近几年,很多公司已经进行了尝试并开源了出来,本文将详细分析这些数据发现平台,在国外已经有了十几种的实现方案。
1381 0
数据治理方案技术调研 Atlas VS Datahub VS Amundsen
|
存储 消息中间件 SQL
DataHub——实时数据治理平台
DataHub——实时数据治理平台
5374 0
DataHub——实时数据治理平台
|
Java 测试技术 Ruby
基于LogStash插件采集数据到阿里云Datahub
DataHub服务基于阿里云自研的飞天平台,具有高可用,低延迟,高可扩展,高吞吐的特点,原生支持对接阿里云的多项服务,相关功能特点与Kafka类似。本身主要介绍如何使用LogStash采集数据写入Datahub。
934 0
基于LogStash插件采集数据到阿里云Datahub