开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks一条数据开发链路具体是怎样的?

已解决

DataWorks一条数据开发链路具体是怎样的?

展开
收起
甜甜的嘻嘻嘻 2022-09-29 13:51:50 630 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    首先满足企业数据打通的需求。DataWorks 数据集成能够在复杂网络条件下,打通 各个异构数据源的传输通道,实现近 50 种异构数据源的离线/实时的同步,且支持线下 数据库批量同步到云上,提高数据上云效率,让企业更好地迈出大数据建设的“第一步”。

    其次,DataWorks 底层对接了 MaxCompute、E-MapReduce、CDH、Hologres、 AnalyticDB、实时计算 Flink 版等大数据引擎,让多种计算引擎的数据开发治理工作都可 以在同一个平台一站式的完成。在 DataWorks 上,开发人员可以通过 DAG 图拖拽节点 的方式开发数据节点,按照企业业务流程设计编排数据任务节点依赖关系,对数据进行 一站式地抽取、处理、转换后产出业务所需的结果表。

    开发好的任务可以发布到运维中心定时自动调度运行。在任务运维上,DataWorks 提供了数据发现、数据安全、数据质量、智能监控、资源优化等 丰富的功能,可以很大程度上降低企业任务运维的难度和成本。

    最后,大数据平台加工好的数据集可以无缝对接到机器学习平台中进行 AI 训练与在 线预测服务,也可以通过数据服务以 API 形式零代码实现数据分享,在保证安全的情况 下,去进行不同部门或者不同业务、不同应用间的数据共享,支撑 BI、大屏等各类数据 应用,而“低代码化”的数据分析和数据服务化工具可以帮助业务人员快速从数据中获 得商业洞察。

    以上内容摘自《一站式大数据开发治理DataWorks使用宝典》电子书,点击https://developer.aliyun.com/ebook/download/418可下载完整版

    2022-09-29 13:58:59
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载