全民大数据时代已来 阿里数加平台详解

本文讲的是全民大数据时代已来 阿里数加平台详解【IT168 云计算】业界流行一种说法，云计算与大数据就是一枚硬币的两面，相生相惜，不可分割。在当下互联网时代，数据的价值越来越受到社会的认可，并在今天，已然成为一种普惠资源，像水、电、能源一样支持社会发展。今天，2016年的阿里云栖大会首站在上海拉开帷幕，作为本场大会的重磅新闻，阿里云全球首发了可以提供一站式大数据处理能力的平台——“数加”，并全新亮相了20款新产品，通过阿里云开放出来，让“普惠大数据”成为可能。

　　DT时代 如何让数据从成本中心走向价值中心

　　据IDC出版的数字世界研究报告显示，2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍，达到44ZB。大数据已经成为当下人类最宝贵的财富。但全球真正享受大数据红利的公司不足千分之一，人类已挖掘的数据财富更是不到百万分之一。

　　如何打破传统3个月删除存储空间以节约成本的固有规则，让数据真正通过计算产生价值?

　　随着大数据的蓬勃发展，数据计算性能的提升，使得数据从成本中心走向价值中心成为可能，而阿里此次发布的“数加平台”就恰恰是将这种能力赋予普通企业甚至个人的途径之一。作为数加平台的发布嘉宾，阿里云大数据事业部资深总监徐长亮介绍，经过7年的双11洗礼，原来的阿里大数据产品ODPS今天正式更名为“数加大数据平台”并通过阿里云向外界开放，提供普惠大数据服务。“我们已经预先走过了很多坑，相信可以为更多企业与个人提供高效、稳定的数据计算服务。是大数据计算变成普惠能力，将更有助于帮助大家发现数据背后的价值，我们在金融领域的试用仅是开始，未来所有的声音都将是围绕数据展开。”

　　毫无疑问，借助大数据技术，阿里巴巴取得了巨大的商业成功。通过对电子商务平台上的客户行为进行分析，诞生了蚂蚁小贷、花呗、借呗;菜鸟网络通过电子面单、物流云、菜鸟天地等数据产品，为快递行业的升级提供技术方法。 在这些创新中，“数加”承载了阿里巴巴EB级别的数据加工计算，经历了上万名工程师的实战检验。据介绍，大麦网是阿里云“数加”平台的首批尝鲜者。通过采用“数加”的推荐引擎，大麦网的研发成本从900人天降低到了30人天，效率提升了30倍。

　　另外，在输出自身大数据能力的同时，徐长亮介绍“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”，借助数加上的工具为各行各业提供数据服务。“这就像在淘宝开店一样，只是他们售卖的是专业能力。”徐常亮表示，阿里云计划用3年时间吸引1000家合作伙伴入驻，共同分享1万亿的大数据蛋糕。

　　20款全新产品为“数加平台”增效赋能

　　在过去的5年里，全球大数据计算性能实现了超过20倍的增长，100TB数据排序时间由8274秒缩短到377秒。“很显然，束缚大数据的技术瓶颈已经被完全打破，数据将从企业的成本中心转变为价值中心，2016年我们将迎来大数据应用的全面落地。”徐常亮说，通过数加平台，我们希望所有企业都能像阿里巴巴一样更高效的使用大数据。

　　此次，“数加”平台首批集中发布了20款产品，覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“这些技术至少领先业界三年”，徐常亮说。

　　大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎，速度更快，成本更低。经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。

　　具体说来包括：

　　1、大数据计算服务可6小时处理100PB数据，相当于1亿部高清电影。单集群规模过万台，并支持多集群联合计算。做到了速度更快，成本更低。

　　经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布，大数据计算服务再降价50%。

　　2、分析型数据库可实现对数据的实时多维分析，百亿量级多维查询只需100毫秒。

　　3、流计算擅长对实时流式数据进行分析，具有低延时、高性能的特点。每秒查询率可以达到千万级，日均处理万亿条消息、PB量级的数据。

　　计算引擎之上，“数加”提供了最丰富的云端数据开发套件，开发者可一站式完成数据加工。这些产品包含：数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

　　整体来看，大数据开发套件的优势包括：支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的Open API，可二次开发;多个数据实例之间的数据授权机制，确保数据只能使用却不可见;提供白屏化的运维能力，以及字段级数据质量监控、机器预警、资源使用率监控等功能，让用户更好的掌控自己的数据及数据任务。

　　另外，计算引擎之上，“数加”提供了最丰富的云端数据开发套件，包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

　　徐长亮介绍，在数据分析方面，通过移动数据分析(Mobile Analytics)产品，开发者可快速搭建日志采集、分析系统;通过数加BI报表产品，3分钟即可完成海量数据的分析报告;通过数据可视化产品DataV，一星期就能做出双11同款大屏。

　　在数据分析方面，数加提供了3款产品供开发者使用：

　　1、 通过移动数据分析产品，开发者可快速搭建日志采集、分析系统，从而为用户提供个性化服务;

　　2、 通过数加BI报表产品，3分钟即可完成海量数据的分析报告。产品支持多种云数据源，提供近20种可视化效果。

　　3、 通过数据可视化产品DataV，一星期就能做出双11同款大屏。这款产品，曾支持了阿里巴巴多年的双11、双12作战指挥。

　　这一平台承载了阿里云“普惠大数据”的理想，即让全球任何一个企业、个人都能用上大数据。

　　同时，基于DataV，数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品，县长可以在一个屏幕下统览全县各项经济民生数据，为政府决策提供辅助。

　　对于时下大热的机器学习，数加更是提供了全面支持。“数加”发布的机器学习工具，可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库，包括特征工程、大规模机器学习、深度学习等。

　　为了能够帮助开发者更快捷在应用中集成大数据功能，“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。

　　行业的健康发展，自律很重要。徐常亮强调，数据是客户的宝贵资产，任何云计算平台都不能移作它用。阿里云将严格遵守去年7月份发起的《数据保护倡议书》，也希望全行业能够自律，共同迎接大数据产业的爆发。

原文发布时间为：2016-01-20

本文作者：张苗苗

本文来自云栖社区合作伙伴IT168，了解相关信息可以关注IT168

原文标题：全民大数据时代已来 阿里数加平台详解