2017云栖大会dataworks专场，数加平台&DataWorks研发负责人王贲带来dataworks的演讲。主要讲了dataworks缘起何处，进而讲解了数据集成和数据研发，着重介绍了数据治理，最后作了简要总结。
以下是精彩内容整理：
缘起
阿里巴巴从2009年开始从hadoop搭建数据平台体系,数据工场与以前体系一脉相承,有了数据工场后,大家不用再自建数据工场,数据平台会建立一个云服务。
从自建水电煤厂->水电煤成为基础设施服务；从自建IT数据中心->使用云计算服务，云计算本质上解决了运维问题；从自建大数据平台->使用云数据平台服务；数据工场（DataWorks），你值得拥有！
数加平台想要做的就是普惠大数据，因为搭建一个数据平台需要一定成本。数据平台不仅仅是搭建一套hadoop平台，阿里也是在hadoop平台基础上自研了Maxcompute，hadoop并不是数仓原配，除了计算平台外，还包括基本调度原数据系统、数据抽取、数据存储、数据传输等周边工具更加考验数据团队，比如数据集成、数据研发、数据质量和数据安全等很多是需要公司到达一定规模才需要建设的。
DataWorks大事记
- 2009年至今——8年内功（集团）：阿里集团、蚂蚁金服、菜鸟等全集团以及各BU支持。是集团小二居家旅行大促冲刺必备。
- 2013年至今——4年外功（公共云）：2013年3月支持御膳房，2015年1月BASE平台发布，支持包括：新浪微博、人人车、天弘基金等重要客户。
- 2015年至今——3年专政（专有云）：2015年第一次完成专有云输出，也是阿里云大数据第一次输出，2016年1月，数加平台上线。
- 2017年至今——扎根政企（大脑）：首次亮相八大模块，2017年7月，数加平台获得国际软博会金奖。该奖项也是中国最具影响力的软件榜单，拥有杨芙清(软件学科奠基人)、倪光南(汉字输入首创者)、侯朝焕(系统芯片领军人物)、邬贺铨(光纤传送网和宽带信息网奠基人之一)等全院士的评审阵容。阿里云数加平台从国内外200份软件作品中脱颖而出，凭借世界级的技术水平和普惠科技的践行理念，获得评委青睐。
DataWorks对阿里集团业务的支撑
图中列出了阿里大数据平台涉及的所有领域，做到：
存：数据大集中，MaxCompute统一存储和计算；
通：统一规范，打通各个业务部门，推动数据开放和交换；
用：数据化运营，运营数据；
数据工场（DataWorks）产品架构
数据工场架构如图，底层是计算平台，上面有gateway集群，再向上从基础的数据集成调度数据治理的几大件。
DataWorks-八大模块-数据资源平台如图，底部为阿里主打的几个计算平台，数据汇聚即数据集成，比如阿里内部每天吞吐量为几百T数据，数据产品的数据开发、监控运维、资产管理质量安全等，平台管理采用多租户模型、账号权限体系，以及计量计费。
1）与其他BU合作方合作方式。说明：有开放合作方式且可行。
2）与其他产品也有重合。A:规划中的与已有产品有重合的点。B:可差异化合作的点，突出对方现在有两个差异化点，再造全部的轮子。
数据集成
数据集成的能力如图，我们可以做到任意数据源、任意格式、任意位置、任意复杂网络环境下的高效数据采集传输。数据集成dataX客户端是开源的，滴滴和爱奇艺都在使用做数据同步，它支持数据源特别多，是正交关系，我们是一个插件式架构，任意新加一个数据源，再自己写一套读写插件提交即可，读写插件实现并不难，许多人都在这样使用融入体系。
我们支持结构化数据到非结构化数据、二进制数据，我们解决了大量网络环境复杂度问题，还有跨公网传输、跨国传输，如果熟悉商用数据仓库软件，就会发现其中的好处，跨公网是指自家机房上传数据到阿里云，我们会做数据的断点续传、分块压缩、协议层优化，尤其对于跨国网络、跨运营商网络，速度提升几十倍都是可能的。我们既支持离线数据，又支持实时的binlog解析。
数据研发
阿里调度有数百万规模，位居全国第一。数据同步sql、mr、shell和机器学习，我们把机器学习和大数据开发任务做成一个有向无环图进行任务调度。
监控告警和智能预测如图，阿里内部有一个基线机制，很多数据的产出必须要强保障，很多任务影响线上生产，出问题后果很严重。如果6点一定要产出任务，前面可能经历了几十个节点，任意一个环节出问题，后面就产出不了，这就需要智能预测机制，它会根据历史经验做一些预判，当A失败时，每一步最多能够等多久，都能计算出来，给我们充足时间处理任务。
数据治理
元数据中心分为离线和实时统一，有了统一的元数据中心才能从智能监控告警到数据治理到数据血缘探查，包括数据地图和元数据服务。
数据质量帮助覆盖数据处理全链路数据质量监控。具体如下：
源数据清洗规则，有效过滤源头脏数据；
10+万条监控规则，全方位监测数据质量；
监控系统平均每天拦截脏数据上百次，每年避免数据故障数以千计；
源端数据变更，可自动分析受影响方并提前通知；
数据质量问题通过线上系统流转和解决；
图为云上数据流转全链路保护方案。我们是个开放的体系，数据安全要求很高，因此有数据安全保护伞这样一个单独模块，这个模块是可以集成在dataworks里面整合一起使用。
总结&展望
很多公司未必有必要自己建立数据平台，因为投入成本巨大，十多年的经验我们发现一个规律，一个数据平台的核心要件就是计算平台、元数据、数据集成、调度、数据研发和数据治理。调度相当于大脑，元数据相当于脊髓，数据集成是数据的IO，计算平台是身体，数据研发和数据治理相当于两条腿。
未来，我们希望构建三个工场、一个市场，即数据工场（DataWorks）、智能工程（AIWorks）、应用工程（AppWorks）和数据市场（DataMarket）。
数据服务体系如图，其中数据交换服务是我们目前在公共云和专有云想要做的一些探索，数据交换服务除了多租户数据授权服务，还有数据安全交换区服务；数据开放服务包括交互式数据服务引擎，数据API网关服务，数据API授权鉴权服务。基于这些基础设施，我们会提供数据交换共享平台，也会提供基础大数据门户。
DataWorks提供三种数据服务，具体包括：
- API服务：提供API托管、API授权鉴权及API管理等功能服务，并一键对接数据市场；
- 数据服务：提供快速将数据表生成API接口的服务，以对外提供调用；并直接对接API服务；
- 应用服务：提供基于Docker容器的轻量化应用部署托管服务，并直接对接数据市场。
数据分享交换平台如图，除了传统的数据交换技术积累，我们还探索了基于区块链的数据交易存证和溯源技术。
以上是DataWorks典型客户与合作伙伴，未来，dataworks将给大家带来更多期待。
