DataWorks 开发套件
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
它是数据工场,集成提供对ODPS数据进行加工处理,主要提供了:数据集成、数据开发、数据管理、数据治理、数据分享等功能。
产品架构
通过智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力,帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。
DataWorks开发模式
DataWorks 目前提供简单模式和标准模式二种。
标准模式
标准模式工作空间,可隔离开发环境与生产环境,
采用二套数据存储隔离,开发的代码 需要提交审批才能进入正式环境运维中心上线调度运行。
简单模式
简单模式不区分开发与生产,开发的代码可以直接上运维中心进行调度运行。
新建调度资源
一般进行简单的数据分析只需要默认的调度资源就满足业务需求(目前的模式就是按量付费)
需要进行特殊的数据集成、数据操作时会用到自定义资源
新增数据源
DataWorks空间:选择项目 -> 选择数据集成 -> 同步资源管理 -> 数据源
批量数据上云入库
DataWorks空间:-> 选择数据集成 -> 同步资源管理 -> 数据源 -> 整库数据迁移
也可针对指定表进行同步:
可视化的开发界面
支持通过拖拉拽的方式构建任务流程,在统一的界面进行数据开发和调度配置。
运维中心
运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。