全民大数据时代已来 阿里数加平台详解

简介: 本文讲的是全民大数据时代已来 阿里数加平台详解【IT168 云计算】业界流行一种说法,云计算与大数据就是一枚硬币的两面,相生相惜,不可分割。在当下互联网时代,数据的价值越来越受到社会的认可,并在今天,已然成为一种普惠资源,像水、电、能源一样支持社会发展。
+关注继续查看

本文讲的是全民大数据时代已来 阿里数加平台详解【IT168 云计算】业界流行一种说法,云计算与大数据就是一枚硬币的两面,相生相惜,不可分割。在当下互联网时代,数据的价值越来越受到社会的认可,并在今天,已然成为一种普惠资源,像水、电、能源一样支持社会发展。今天,2016年的阿里云栖大会首站在上海拉开帷幕,作为本场大会的重磅新闻,阿里云全球首发了可以提供一站式大数据处理能力的平台——“数加”,并全新亮相了20款新产品,通过阿里云开放出来,让“普惠大数据”成为可能。

  让大数据成为普惠 阿里云数加平台发布

  DT时代 如何让数据从成本中心走向价值中心

  据IDC出版的数字世界研究报告显示,2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年,数据量将增长10倍,达到44ZB。大数据已经成为当下人类最宝贵的财富。但全球真正享受大数据红利的公司不足千分之一,人类已挖掘的数据财富更是不到百万分之一。

  如何打破传统3个月删除存储空间以节约成本的固有规则,让数据真正通过计算产生价值?

  随着大数据的蓬勃发展,数据计算性能的提升,使得数据从成本中心走向价值中心成为可能,而阿里此次发布的“数加平台”就恰恰是将这种能力赋予普通企业甚至个人的途径之一。作为数加平台的发布嘉宾,阿里云大数据事业部资深总监徐长亮介绍,经过7年的双11洗礼,原来的阿里大数据产品ODPS今天正式更名为“数加大数据平台”并通过阿里云向外界开放,提供普惠大数据服务。“我们已经预先走过了很多坑,相信可以为更多企业与个人提供高效、稳定的数据计算服务。是大数据计算变成普惠能力,将更有助于帮助大家发现数据背后的价值,我们在金融领域的试用仅是开始,未来所有的声音都将是围绕数据展开。”

  让大数据成为普惠 阿里云数加平台发布

  让大数据成为普惠 阿里云数加平台发布

  毫无疑问,借助大数据技术,阿里巴巴取得了巨大的商业成功。通过对电子商务平台上的客户行为进行分析,诞生了蚂蚁小贷、花呗、借呗;菜鸟网络通过电子面单、物流云、菜鸟天地等数据产品,为快递行业的升级提供技术方法。 在这些创新中,“数加”承载了阿里巴巴EB级别的数据加工计算,经历了上万名工程师的实战检验。据介绍,大麦网是阿里云“数加”平台的首批尝鲜者。通过采用“数加”的推荐引擎,大麦网的研发成本从900人天降低到了30人天,效率提升了30倍。

  另外,在输出自身大数据能力的同时,徐长亮介绍“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”,借助数加上的工具为各行各业提供数据服务。“这就像在淘宝开店一样,只是他们售卖的是专业能力。”徐常亮表示,阿里云计划用3年时间吸引1000家合作伙伴入驻,共同分享1万亿的大数据蛋糕。

  20款全新产品为“数加平台”增效赋能

  在过去的5年里,全球大数据计算性能实现了超过20倍的增长,100TB数据排序时间由8274秒缩短到377秒。“很显然,束缚大数据的技术瓶颈已经被完全打破,数据将从企业的成本中心转变为价值中心,2016年我们将迎来大数据应用的全面落地。”徐常亮说,通过数加平台,我们希望所有企业都能像阿里巴巴一样更高效的使用大数据。

  此次,“数加”平台首批集中发布了20款产品,覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“这些技术至少领先业界三年”,徐常亮说。

  大数据计算服务(MaxCompute)、分析型数据库(Analytic DB)、流计算(StreamCompute)共同组成了底层强大的计算引擎,速度更快,成本更低。经测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。

  让大数据成为普惠 阿里云数加平台发布

  让大数据成为普惠 阿里云数加平台发布

  让大数据成为普惠 阿里云数加平台发布

  具体说来包括:

  1、大数据计算服务可6小时处理100PB数据,相当于1亿部高清电影。单集群规模过万台,并支持多集群联合计算。做到了速度更快,成本更低。

  经测算,自建Hadoop集群的成本是数加的1.5倍,国外计算厂商AWS 的EMR成本更是数加的5倍。阿里云当天还宣布,大数据计算服务再降价50%。

  2、分析型数据库可实现对数据的实时多维分析,百亿量级多维查询只需100毫秒。

  3、流计算擅长对实时流式数据进行分析,具有低延时、高性能的特点。每秒查询率可以达到千万级,日均处理万亿条消息、PB量级的数据。

  计算引擎之上,“数加”提供了最丰富的云端数据开发套件,开发者可一站式完成数据加工。这些产品包含:数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

  整体来看,大数据开发套件的优势包括:支持100人以上协同设计、开发、运维;具有良好的扩展性;提供各个产品功能模块的Open API,可二次开发;多个数据实例之间的数据授权机制,确保数据只能使用却不可见;提供白屏化的运维能力,以及字段级数据质量监控、机器预警、资源使用率监控等功能,让用户更好的掌控自己的数据及数据任务。

  另外,计算引擎之上,“数加”提供了最丰富的云端数据开发套件,包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。

  徐长亮介绍,在数据分析方面,通过移动数据分析(Mobile Analytics)产品,开发者可快速搭建日志采集、分析系统;通过数加BI报表产品,3分钟即可完成海量数据的分析报告;通过数据可视化产品DataV,一星期就能做出双11同款大屏。

  在数据分析方面,数加提供了3款产品供开发者使用:

  1、 通过移动数据分析产品,开发者可快速搭建日志采集、分析系统,从而为用户提供个性化服务;

  2、 通过数加BI报表产品,3分钟即可完成海量数据的分析报告。产品支持多种云数据源,提供近20种可视化效果。

  3、 通过数据可视化产品DataV,一星期就能做出双11同款大屏。这款产品,曾支持了阿里巴巴多年的双11、双12作战指挥。

  让大数据成为普惠 阿里云数加平台发布

  这一平台承载了阿里云“普惠大数据”的理想,即让全球任何一个企业、个人都能用上大数据。

  同时,基于DataV,数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品,县长可以在一个屏幕下统览全县各项经济民生数据,为政府决策提供辅助。

  对于时下大热的机器学习,数加更是提供了全面支持。“数加”发布的机器学习工具,可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库,包括特征工程、大规模机器学习、深度学习等。

  为了能够帮助开发者更快捷在应用中集成大数据功能,“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。

  行业的健康发展,自律很重要。徐常亮强调,数据是客户的宝贵资产,任何云计算平台都不能移作它用。阿里云将严格遵守去年7月份发起的《数据保护倡议书》,也希望全行业能够自律,共同迎接大数据产业的爆发。

  让大数据成为普惠 阿里云数加平台发布

原文发布时间为:2016-01-20

本文作者:张苗苗

本文来自云栖社区合作伙伴IT168,了解相关信息可以关注IT168

原文标题:全民大数据时代已来 阿里数加平台详解

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
运维 Cloud Native 安全
线上公开课 | 数智新金融助力行业高质量发展
线上公开课 | 数智新金融助力行业高质量发展
160 0
|
存储 消息中间件 分布式计算
小红书推荐大数据在阿里云上的实践
本篇内容主要分三个部分,在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景,以及和阿里云MC-Hologres的合作。
9383 0
小红书推荐大数据在阿里云上的实践
|
弹性计算 分布式计算 关系型数据库
【云栖号案例 | 互联网】佰腾科技上云 专利大数据的云上裂变之路
佰腾科技急需大数据的处理能力和数据平台的扩展性,快速支撑有需求的应用。上云后提升数据存储和处理的效率、实现自动化编排,一键式处理,很高效。
【云栖号案例 | 互联网】佰腾科技上云 专利大数据的云上裂变之路
|
分布式计算 数据可视化 大数据
【云栖号案例 | 新零售】网聚宝上云 帮助企业实现大数据变现 让生意更简单
网聚宝急需海量数据的处理分析能力和业务洞察能力。上云后扫清大数据的技术壁垒,将资源聚焦业务价值提升,节省成本和人力,带来核心竞争力的提升。
【云栖号案例 | 新零售】网聚宝上云 帮助企业实现大数据变现 让生意更简单
|
搜索推荐 算法 大数据
首席技术官大数据专享会线上首播 | 2019飞天大数据平台技术公开课第六季
2019年11月29日阿里云智能飞天大数据平台在北京国家会议中心召开 “首席技术官大数据专享会”,超过70位企业首席技术官和大数据平台负责人与会。会上由来自阿里云智能,阿里巴巴搜索推荐事业部,阿里巴巴CRO技术部,友盟+的四位分享嘉宾进行了精彩演讲。
6139 0
首席技术官大数据专享会线上首播 | 2019飞天大数据平台技术公开课第六季
|
机器学习/深度学习 分布式计算 大数据
互联网下半场的角逐,玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场(北京站)干货集锦
MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。欢迎加入钉钉交流群11782920。
13232 0
|
大数据 开发者 分布式计算
互联网下半场的角逐,玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场(北京站)
你可知,每个时代,都悄悄犒赏会学习的人。因此,我在这里等你来,一起演绎大数据故事。
2728 0
|
新零售 分布式计算 安全
探寻独角兽背后的大数据力量— 阿里巴巴大数据计算线下Meetup(杭州站)干货集锦
什么是大数据?什么是计算?什么是超大规模的大数据计算? 答案是MaxCompute,具备单日600PB计算力的企业级大数据计算平台。MaxCompute一天的信息处理量相当于全球最大图书馆-美国国会图书馆藏书储存信息量的2250倍,可以为全球70亿人每人存储30张高清照片。
3260 0
「镁客·请讲」创略科技杨辰韵:打通线上线下数据,用AI和大数据玩转营销
有的时候,算法本身以及技术并不是难题,最大的问题在于数据收集的维度以及不同数据的打通。
382 0
推荐文章
更多