北京云栖大会 Tech Insight 爆场论坛-云数据·大计算:快速搭建互联网在线运营分析平台

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
表格存储 Tablestore,50G 2个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2月19日上午9点,Tech Insight·北京峰会,在2017北京云栖大会国家会议中心准时拉开帷幕。做为年内压轴之作, 吸引了大量技术决策者,和一线的工程师、运维工程师等前来交流学习。

阿里巴巴集团首席技术官王坚在《在线》一书中指出“大数据“的叫法应该叫‘在线数据’。‘在线’远比‘大’更能揭示本质。数据不在线,体量再大,价值也有限。数据在线,即数据实时更新、数据共享、极易获得。”王坚博士提到的数据在线也可以理解为数据应该像钢铁一样标准化能够流转,达到数据共享,产生更大的价值。只有彼此隔离的数据能够打通能够发生化学反应,才能去谈大规模计算,所以和以往我们理解的“云计算,大数据”有些错位。
435f015b_b3a8_47bb_90db_923133cab87b

本次北京云栖大会TI·workshop我们选择了《云数据·大计算:快速搭建互联网在线运营分析平台》为分享主题,展示阿里云对大数据的独到理解,只有数据云化,数据在线,使用大规模计算技术,促使其发生化学反应产生更大的业务价值。搭建互联网在线运营分析平台,我们也选择了现在炙手可热的话题,如何去分析APP的日活、月活以及相关设备分布情况,以提高个性化运营的效果。
29152595_ac01_4cff_9ab9_303f996aef06

本次workshop共包含3个环节,由TableStore表格存储、MaxCompute大数据计算服务以及Quick BI报表分析三个团队的产品及技术专家共同出品。
dee6a52e_1b91_4179_b8a5_b7991258679b

数据接入:海量数据存储及实时访问
在实际业务场景中,我们会有大量从移动设备如IOT还有一些在线服务如即时聊天工具等大量的数据高并发写入存储系统中,一方面这些数据还需要提供给后台或者用户进行在线的实时访问,另一方便这些海量数据的沉睡存储并不能发挥其最大价值,也有相关专家夸张到“如果数据不流通,就相当于存储垃圾”。
首先阿里云表格存储TableStore其解决了历史数据实时访问以及海量数据的高并发写入问题(单表10PB级数据量、万亿条记录数以及千万级别的TPS能力),并有相关成熟应用,包括金融风控行业、车联网行业以及互联网社交Feed流等。在workshop现场,TableStore也将深刻解读其产品特性及让各位参会嘉宾现场体验产品的强大功能。
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。

数据处理:数据建模与加工
如王坚博士所言,数据需要在线更需要流通与共享,这样数据才能发挥更大的价值,驱动业务创新。如何能够快速的针对TableStore中存储的历史数据进行分析与挖掘?在MaxCompute2.0中支持非结构化数据的处理,可以直接通过创建外表的方式对TableStore中的数据进行读取和写入,拓展了传统结构化数据处理的边界。而在以往的解决方案中,需要用户通过编写脚本方式进行,开发成本大大增加,且不容易满足业务需求。
MaxCompute 2.0的SQL直读直写,极大提供了针对TableStore、OSS等半结构化、非结构化存储系统中的历史数据分析。如下视图,如何在MaxCompute2.0创建TableStore外部表和OSS外部表。
cf67b538_ed9d_4401_8186_cb683f465a76
b62ca992_a1c2_4266_9365_3ad04c6dbfcf

通过MaxCompute2.0这一特性,我们可以高效的分析结构化、半结构化以及非结构化的数据,而无需更多额外开发工作量,再结合DataWorks(MaxCompute原生态IDE开发工具)进行数据清洗、数据加工以及数据调度来完成企业级大数据仓库的建设,完成APP用户行为数据指标的清洗和加工。在这一环节,由MaxCompute技术专家为大家深刻解读这一特性。

数据分析:构建可视化报表服务
在以往业务场景中,我们更多的需要来构建分析报表来体现或者展示业务发展趋势,在本workshop是刻画APP用户行为分析,如何快速的构建可视化的即席分析报表,满足运营同学对业务的洞察,解决大数据应用“最后一公里”的问题?这些种种疑惑都可以在Quick BI中找到答案,他通过拖拽式操作、丰富的可视化效果助推企业的数字化运营。
d30bf0b9_5002_47be_a587_4a95d74a8a5a

至此,细心的读者发现,北京云栖大会·TI Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》是真实模拟现实业务场景,帮助大家理解并动手实数据存储及实时访问、再到如何对这些数据进行加工与分析刻画APP用户画像,再到最终通过可视化报表的方式来展现APP运营情况,其实端到端的解决方案。现场也会有实操教学,让在现场的所有嘉宾都能够构建自己的在线运营分析平台,发挥数据的最大价值。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
191
分享
相关文章
零售企业如何通过数智化加速增长? 云栖大会专场圆桌论坛深度解密
零售企业如何通过数智化加速增长? 云栖大会专场圆桌论坛深度解密
199 0
2024云栖大会专有云产品技术论坛开放报名
飞天企业版是阿里云为政企客户构建的企业级专有云平台,与阿里云公共云同根同源。面向智能时代,飞天企业版再次升级。本论坛将系统介绍飞天企业版在一云多芯、一云多算等方面的最新能力升级,并围绕智算场景,分享底层平台支撑能力和上层智能应用实践,为政企打造新一代稳定安全、开放智能的大规模AI基础设施,助力智能化应用在政企全面落地。
120 7
Snowflake在云数据平台中的创新实践
Snowflake在云数据平台中的创新实践
166 59
Snowflake在云数据平台中的创新实践
Snowflake在云数据平台中的创新实践
143 58
跨云数据管理平台DMS:构建Data+AI的企业智能Data Mesh
跨云数据管理平台DMS助力企业构建智能Data Mesh,实现Data+AI的统一管理。DMS提供开放式元数据服务OneMeta、一站式智能开发平台和云原生AI数据平台,支持多模数据管理和高效的数据处理。结合PolarDB、AnalyticDB等核心引擎,DMS在多个垂直场景中展现出显著优势,如智能营销和向量搜索,提升业务效率和准确性。通过DataOps和MLOps的融合,DMS为企业提供了从数据到AI模型的全生命周期管理,推动数据驱动的业务创新。
数据仓库革新:Snowflake在云数据平台中的创新实践
【10月更文挑战第27天】Snowflake作为云原生数据仓库的领导者,以其多租户、事务性、安全的特性,支持高度可扩展性和弹性,全面兼容SQL及多种数据类型。本文探讨了Snowflake在现代化数据仓库迁移、实时数据分析、数据存储与管理及机器学习集成等领域的创新实践和应用案例,展示了其在云数据平台中的强大优势和未来潜力。
161 2
数据仓库革新:Snowflake在云数据平台中的创新实践
【10月更文挑战第26天】随着大数据时代的到来,数据仓库正经历重大变革。本文探讨了Snowflake在云数据平台中的创新应用,通过弹性扩展、高性能查询、数据安全、多数据源接入和云原生架构等最佳实践,展示了其独特优势,帮助企业提升数据处理和分析效率,保障数据安全,降低运维成本,推动业务快速发展。
129 2
Serverless + AI 让应用开发更简单,加速应用智能化
2024 云栖大会开幕,在大会第一天,阿里云正式发布全新产品——云应用开发平台 CAP。CAP 拥有丰富的场景化应用模板,可以极速体验,并且具备更低的成本优势以及灵活组装等特点,成为广大开发者与企业必备的一站式应用开发平台,让应用开发更简单。
242 12
云栖大会 | UIPaaS 基于 LowCodeEngine 的低代码平台孵化器
这篇文章从企业视角入手,讲诉了为什么需要定制低代码平台,以及如何通过阿里开源的项目「低代码引擎」和阿里低代码商业产品 「UIPaaS」 降低企业定制低代码平台的成本。阅读这篇文章,你可以了解到企业为什么需要定制低代码平台,低代码引擎是什么,UIPaaS 是什么,UIPaaS 如何服务于中大型企业的,以及 UIPaaS 如何去解决一些低代码领域下的问题的。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等