初识 DataHub|学习笔记

简介: 快速学习初识 DataHub

开发者学堂课程【阿里云 DataHub 使用教程 初识 DataHub】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/429/detail/5364


初识 DataHub


 内容介绍:

一、 DataHub 基本使用指南

二、 创建项目空间


一、DataHub 基本使用指南

在浏览器地址栏输入 DataHub.consola.aliyun.com 进入 Data 控制台,可以看到提供了项目管理、数据采集以及帮助文档。

帮助文档里主要有 Data 产品介绍文档及详细使用方法、提供 Java SDK 和 Python SDK 文档,用 SDK 接口的文档可以根据 API 指南进行开发。

数据采集提供了不同的开源工具,包括 LogStash 等插件的接入方式和云上一些数据平台的接入方式。

 

二、创建项目空间

在使用 Data 之前,需创建一个项目空间,点解创建 Project,创建名为 test-dh1。

image.png

创建成功后,进入项目管理页面,点击创建 Topic,即可创建固定形式的 Topic,在这里,创建名称为 test-dh-topic;Topic 类型为强格式,即 TUPLE;Schema 创建三个阶段,分别为 f1、f2、f3;Shard 数量目前每个支持1000qps,根据流量不同,决定 Shard 数量,这里设为1;生命周期为3天。

如下图。

image.png

创建成功后,可在 topic 页面上点击查看,可看到 topic 基本详情,包括其创建时间、修改时间、存储空间以及通道状态。

 image.png

点击数据采集,通过文件上传方式上传本地 csv 文件,选择刚创建的 topic,选择文件中选择不跳过首行,进行上传,上传成功后,可在 topic 项目管理页面对数据进行查看,点击数据抽样,选择当前时间抽样,就可看到刚刚上传成功的几条数据,System time 代表的是数据上传时间。

相关文章
|
Java Go 开发工具
DataHub操作指南
介绍DataHub支持的操作方式
3105 0
DataHub常见问题之限制篇
介绍DataHub因为参数限制而出现的错误
4573 0
|
消息中间件 canal 存储
DataHub完全兼容kafka
DataHub目前已全面支持kafka producer、kafka consumer
6417 0
|
数据采集 监控 关系型数据库
DataHub使用指南
介绍DataHub的功能使用
9125 0
DataHub使用指南
HH
|
Java 开发工具 关系型数据库
阿里云DataHub入门测试
阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布 (Publish),订阅 (Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。DataHub服务可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到DataHub的流式数据比如实时web访问日志、应用日志、各种事件等,并产出各种实时的数据处理结果比如实时图表、报警信息、实时统计等。
HH
573 0
阿里云DataHub入门测试
|
分布式计算 MaxCompute
DataHub常见问题之同步篇
介绍DataHub同步的常见问题
4273 0
DataHub常见问题之同步篇
|
消息中间件 Java 开发工具
DataHub Flink Connector
我们在阿里云上使用DataHub作为Flink程序输入输出的消息队列,使用成本比较低,但由于是阿里云的云产品,周边生态做的不是很好,Flink Stream的Connector并没有开源出来。因此本人参照RocketMQ Flink Connector写了DataHub的Flink Connector。
1817 3
|
数据采集 大数据 数据挖掘
DataHub应用场景有哪些?
本文为您介绍DataHub三大应用场景,主要场景包括:实时数据通道、实时数据清洗和分析、实时数据仓库。
1100 0
DataHub指标查看,你会么?
Web Console目前提供Metric功能,用户可以通过Metric界面查看准实时的Topic级别流量等信息。
1021 0
|
8月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之mysql-cdc读取数据写入到datahub中,datahub如何转换时区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
76 1

热门文章

最新文章