【产品动态】历经3年的打磨，数据构建及管理平台Dataphin增加了什么新功能？-阿里云开发者社区

【产品动态】历经3年的打磨，数据构建及管理平台Dataphin增加了什么新功能？

2021-06-10 11276

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 自Dataphin产品上线以来，经历3年的迭代打磨，在2021年5月15日发布新版本，主要涉及数据源类型拓展，数据集成、实时研发、数据服务功能升级，运维体验优化等，将满足更多用户场景，提升研发体验。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部和关注官方微信公总号（文末扫描二维码或点此加入）

-阿里云数据中台官网 https://dp.alibaba.com/index

Dataphin即智能数据构建与管理平台

旨在提供从数据接入到数据消费的全链路、一站式的大数据能力，包括产品、技术和方法论等，以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。

版本新特性概况

自Dataphin产品上线以来，经历3年的迭代打磨，本次2.9.4.2版本在2021年5月15日发布，主要涉及数据源类型拓展，数据集成、实时研发、数据服务功能升级，运维体验优化等，将满足更多用户场景，提升研发体验：

功能升级亮点摘要

1、新增数据源

新增支持Hologres数据源类型，用于后续Hologres数据同步集成，及后续实时Blink任务读写使用。

对于使用Hologres数据源的用户来说，Dataphin支持从Hologres数据集成至计算引擎及多种数据源，同时可从计算引擎及数据源回流至Hologres；支持Blink任务实时读写Hologres数据，且在Dataphin流批一体场景中，Hologres可以用作批流一体的统一存储服务，实时查询实时写入，无冗余数据搬迁工作，大幅提升研发效率。

功能场景a. 数据源引入

功能场景b. 离线数据集成

功能场景c. 流批一体

定义Hologres元表，指定数据源及来源表

定义流批虚拟镜像表，指定镜像表映射的批流分别写入的物理表，由于Hologres同时支持离线与实时读写，因此两边物理表可以均为Hologres表

创建Blink流批一体任务，指定批流参数配置及任务配置，代码逻辑一致，一套代码实现两种调度时效

Dataphin流批一体架构图

2、Blink实时任务支持代码采样调试

Blink实时任务支持代码采样调试，采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式，仅兼容支持blink-3.6及以上版本。

升级前Blink任务不支持本地调试，无法在草稿态时验证作业开发的数据正确性，需要提交到运维后启动运维的测试实例进行验证，提交任务之前无法验证。

升级后在提交Blink任务之前可以进行本地数据采样，并在Console中输出任务运行结果，可以即时检查代码逻辑是否正确、输出结果是否符合预期等，验证正确再进行任务提交，有效保障了任务质量及开发效率。并且我们支持三种采样方式！自动抽样数据来源表数据、上传本地csv文件（提供样例可下载），或者直接在采样的面板中进行数据输入，灵活且方便。