北京云栖大会 Tech Insight 爆场论坛-云数据·大计算:快速搭建互联网在线运营分析平台

本文涉及的产品
表格存储 Tablestore,50GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 2月19日上午9点,Tech Insight·北京峰会,在2017北京云栖大会国家会议中心准时拉开帷幕。做为年内压轴之作, 吸引了大量技术决策者,和一线的工程师、运维工程师等前来交流学习。

阿里巴巴集团首席技术官王坚在《在线》一书中指出“大数据“的叫法应该叫‘在线数据’。‘在线’远比‘大’更能揭示本质。数据不在线,体量再大,价值也有限。数据在线,即数据实时更新、数据共享、极易获得。”王坚博士提到的数据在线也可以理解为数据应该像钢铁一样标准化能够流转,达到数据共享,产生更大的价值。只有彼此隔离的数据能够打通能够发生化学反应,才能去谈大规模计算,所以和以往我们理解的“云计算,大数据”有些错位。
435f015b_b3a8_47bb_90db_923133cab87b

本次北京云栖大会TI·workshop我们选择了《云数据·大计算:快速搭建互联网在线运营分析平台》为分享主题,展示阿里云对大数据的独到理解,只有数据云化,数据在线,使用大规模计算技术,促使其发生化学反应产生更大的业务价值。搭建互联网在线运营分析平台,我们也选择了现在炙手可热的话题,如何去分析APP的日活、月活以及相关设备分布情况,以提高个性化运营的效果。
29152595_ac01_4cff_9ab9_303f996aef06

本次workshop共包含3个环节,由TableStore表格存储、MaxCompute大数据计算服务以及Quick BI报表分析三个团队的产品及技术专家共同出品。
dee6a52e_1b91_4179_b8a5_b7991258679b

数据接入:海量数据存储及实时访问
在实际业务场景中,我们会有大量从移动设备如IOT还有一些在线服务如即时聊天工具等大量的数据高并发写入存储系统中,一方面这些数据还需要提供给后台或者用户进行在线的实时访问,另一方便这些海量数据的沉睡存储并不能发挥其最大价值,也有相关专家夸张到“如果数据不流通,就相当于存储垃圾”。
首先阿里云表格存储TableStore其解决了历史数据实时访问以及海量数据的高并发写入问题(单表10PB级数据量、万亿条记录数以及千万级别的TPS能力),并有相关成熟应用,包括金融风控行业、车联网行业以及互联网社交Feed流等。在workshop现场,TableStore也将深刻解读其产品特性及让各位参会嘉宾现场体验产品的强大功能。
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务,根据99.99%的高可用以及11个9的数据可靠性的标准设计。表格存储通过数据分片和负载均衡技术,实现数据规模与访问并发上的无缝扩展,提供海量结构化数据的存储和实时访问。

数据处理:数据建模与加工
如王坚博士所言,数据需要在线更需要流通与共享,这样数据才能发挥更大的价值,驱动业务创新。如何能够快速的针对TableStore中存储的历史数据进行分析与挖掘?在MaxCompute2.0中支持非结构化数据的处理,可以直接通过创建外表的方式对TableStore中的数据进行读取和写入,拓展了传统结构化数据处理的边界。而在以往的解决方案中,需要用户通过编写脚本方式进行,开发成本大大增加,且不容易满足业务需求。
MaxCompute 2.0的SQL直读直写,极大提供了针对TableStore、OSS等半结构化、非结构化存储系统中的历史数据分析。如下视图,如何在MaxCompute2.0创建TableStore外部表和OSS外部表。
cf67b538_ed9d_4401_8186_cb683f465a76
b62ca992_a1c2_4266_9365_3ad04c6dbfcf

通过MaxCompute2.0这一特性,我们可以高效的分析结构化、半结构化以及非结构化的数据,而无需更多额外开发工作量,再结合DataWorks(MaxCompute原生态IDE开发工具)进行数据清洗、数据加工以及数据调度来完成企业级大数据仓库的建设,完成APP用户行为数据指标的清洗和加工。在这一环节,由MaxCompute技术专家为大家深刻解读这一特性。

数据分析:构建可视化报表服务
在以往业务场景中,我们更多的需要来构建分析报表来体现或者展示业务发展趋势,在本workshop是刻画APP用户行为分析,如何快速的构建可视化的即席分析报表,满足运营同学对业务的洞察,解决大数据应用“最后一公里”的问题?这些种种疑惑都可以在Quick BI中找到答案,他通过拖拽式操作、丰富的可视化效果助推企业的数字化运营。
d30bf0b9_5002_47be_a587_4a95d74a8a5a

至此,细心的读者发现,北京云栖大会·TI Workshop《云数据·大计算:快速搭建互联网在线运营分析平台》是真实模拟现实业务场景,帮助大家理解并动手实数据存储及实时访问、再到如何对这些数据进行加工与分析刻画APP用户画像,再到最终通过可视化报表的方式来展现APP运营情况,其实端到端的解决方案。现场也会有实操教学,让在现场的所有嘉宾都能够构建自己的在线运营分析平台,发挥数据的最大价值。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
11月前
|
云栖大会
平台工程与BizDevOps,云效邀你参加2023云栖大会
2023云效云栖大会议程抢先看
4050 3
平台工程与BizDevOps,云效邀你参加2023云栖大会
|
存储 数据采集 数据可视化
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
12745 1
Open3d系列 | 1. Open3d实现点云数据读写、点云配准、点云法向量计算
|
10月前
|
数据可视化 小程序 前端开发
云栖大会 | UIPaaS 基于 LowCodeEngine 的低代码平台孵化器
这篇文章从企业视角入手,讲诉了为什么需要定制低代码平台,以及如何通过阿里开源的项目「低代码引擎」和阿里低代码商业产品 「UIPaaS」 降低企业定制低代码平台的成本。阅读这篇文章,你可以了解到企业为什么需要定制低代码平台,低代码引擎是什么,UIPaaS 是什么,UIPaaS 如何服务于中大型企业的,以及 UIPaaS 如何去解决一些低代码领域下的问题的。
|
4月前
|
存储 关系型数据库 MySQL
云数据仓库ADB的 热数据存储空间 在哪里看?热数据存储空间 的计费是怎么计算的?
云数据仓库ADB的 热数据存储空间 在哪里看?热数据存储空间 的计费是怎么计算的?
66 0
|
11月前
|
弹性计算 数据可视化 关系型数据库
2023 云栖大会 | 「动手实践」基于阿里云构建博学谷平台实时湖仓
2023 云栖大会来啦,众多主题活动与你同聚,门票免费领取中,数量有限,先到先得!
527 0
2023 云栖大会 | 「动手实践」基于阿里云构建博学谷平台实时湖仓
|
存储 分布式计算 NoSQL
2022云栖精选—云栖大会-图计算及其应用论坛
摘要:本文整理自达摩院的资深技术专家与图计算团队的负责人于文渊老师,在云栖大会“图计算及其应用”分论坛的分享。本篇内容主要分为六个部分: 1. 实时离线一体图计算引擎 2. 全新的图交互查询/模式匹配IR与引擎 3. 图分析引擎的全新升级 4. 图学习引擎的全新升级 5. 图可视化解决方案 6. 用户友好型与易用性提升
360 76
2022云栖精选—云栖大会-图计算及其应用论坛
|
云栖大会
2022云栖大会 | ModelScope模型社区分论坛即将重磅发布(11月3日)
2022云栖大会 | ModelScope模型社区分论坛即将重磅发布(11月3日)
463 0
2022云栖大会 | ModelScope模型社区分论坛即将重磅发布(11月3日)
|
云栖大会
|
云栖大会
《2018广东云栖大会——地产行业分论坛-易行》电子版地址
2018广东云栖大会——地产行业分论坛-易行
56 0
《2018广东云栖大会——地产行业分论坛-易行》电子版地址
|
云栖大会
《2020云栖大会分论坛 - 面向未来的智慧办公与企业协同》电子版地址
《2020云栖大会分论坛 - 面向未来的智慧办公与企业协同》PPT
265 0
《2020云栖大会分论坛 - 面向未来的智慧办公与企业协同》电子版地址

热门文章

最新文章

下一篇
云函数