开发者学堂课程【阿里云 DataHub 使用教程: 同步数据到 OSS】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/429/detail/5366
同步数据到 OSS
如何将 Datahub 数据同步 OSS
已经创建好 Datahub topic,名称为 OSS test ,topic 里是没有数据的。(如下图)
查看 DataConnector,新建 DataConnector,选择OSS,填写内容如下图所示,其中目录前缀表示 Datahub 需要同步到 OSS Bucket 中哪一个目录下;
时间切分间隔表示 Datahub同步到 OSS 的数据按多长时间进行一个时间的分区,这里选择5分钟。(如下图)
创建成功,由于topic 中没有数据,因此时间设置均是 ten step 0。
点击查看,运行状态为RUNNING,当前点位为0。
向 topic 中上传数据,上传成功后,在 topic 中查看数据,点击数据抽样,可看到数据已经上传到 Datahub 中;DataConnector 的状态,当前最新写入时间12点13分,已归档时间12点13分,延迟时间为0,当前点位为0,由于 Connector 要定期将同步点位更新,所以现在点位为0,点击刷新,点位是每分钟更新一次。在 OSS 中 Object 已有分区记录,带年纪获取地址下载文章,数据是以 cvs 格式保存的。