开发者社区大数据与机器学习大数据计算 MaxCompute 文章正文

数据无边界:非结构化数据在MaxCompute上的处理

2016-11-16 3710

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月

云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月

简介： 本文PPT来自阿里云数据事业部高级专家应答于10月15日在2016年杭州云栖大会上发表的《数据无边界:结构化数据在MaxCompute上的处理》。

这是DT（Data Technology）时代，每天有海量数据的加速产生，而每天产生的海量数据80%+是非结构化的，如何把握数据资源服务大众，激发生产力是每个互联网企业需要掌握的核心竞争力。我们的理想是MaxCompute在SQL线上实现与其它云数据(OSS, TableStore等) 的互联互通,用OSS（阿里云对外提供的海量、安全和高可靠的云存储服务）几种非结构化数据处理为范例，未来我们可以期待对各种非结构化数据的分布式处理成为可能，甚至开启气象数据、基因数据等多种大数据，建立与各种分布式系统的生态连接的无限可能。

885e91f4a81012f3e8f83c0889e02e82ab700daa c040100e242e980119dfb6d6b893b5c15fa7ed89 ba36670cbf24d6fed44988c5e2b0807357d4f03e a4f18007dd88e628b8ab6e6e2a215ea14c33a20a d971b9f8f045b2b13c80e925b83694465a258e07 db8b39ee9f1c37664c7fb6c32f5fa0174e86980f f3520eed0b52a62815b6c6749b801b78c5ce4ffd faab0b56c37d6c15471ab1c3965a9587b77c66b8 3e7da60c29172542f453007f4258d9e451b35181 70fdf914e76f7007fd4edd80c153a890b469b114 dbbede8b957299e1d4d526f309498a324653ac49 48504676bc7dd8d30df5aba0ae81ff99aebd7f64 2e4d1ba7c694271396c89f9f367574dc978b57ae cf4022099128f0561b10d94d81ede4cde81734a7 6da43b78244f33ba93cefe5229ce6362e19e0a7b 3d4c52a16d53060b4adf9a8ed863d317bed18d5e

欢迎加入MaxCompute钉钉群讨论

35a12d1cfb9f44bb6eead5bf43e9e0ca60393eff

文章标签：

云原生大数据计算服务 MaxCompute

大数据

分布式计算

MaxCompute

关键词：

云原生大数据计算服务 MaxCompute数据

云原生大数据计算服务 MaxCompute结构化

数据结构化云原生大数据计算服务 MaxCompute

云原生大数据计算服务 MaxCompute边界

数据边界结构化云原生大数据计算服务 MaxCompute

相关实践学习

基于MaxCompute的热门话题分析

本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。

SaaS 模式云数据仓库必修课

本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师大量数据需要处理、存储和管理，需要搭建数据仓库？学它！没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！出品人：阿里云大数据产品及研发团队专家产品 MaxCompute 官网 https://www.aliyun.com/product/odps 

云计算小粉

yuanzhengme

2月前

存储分布式计算数据挖掘

数据架构 ODPS 是什么？

yuanzhengme

401 7 7

小Lee

2月前

存储分布式计算大数据

大数据优化数据读取

【11月更文挑战第4天】

小Lee

58 2 2

龙大吉

2月前

机器学习/深度学习存储大数据

在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系

在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系，保留最大方差信息，实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现，探讨其在图像压缩、特征提取等领域的应用，并指出使用时的注意事项，旨在帮助读者掌握这一强大工具。

龙大吉

91 4 4

小Lee

2月前

存储大数据数据管理

大数据分区简化数据维护

小Lee

26 4 4

小Lee

2月前

存储大数据定位技术

大数据数据索引技术

【10月更文挑战第26天】

小Lee

64 3 3

有路有乔-六月

3月前

存储机器学习/深度学习分布式计算

大数据技术——解锁数据的力量，引领未来趋势

【10月更文挑战第5天】大数据技术——解锁数据的力量，引领未来趋势

有路有乔-六月

305 0 0

土木林森

2月前

数据采集监控数据管理

数据治理之道：大数据平台的搭建与数据质量管理

【10月更文挑战第26天】随着信息技术的发展，数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理，包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理，为企业数据治理提供参考。

土木林森

97 1 1

武子康

3月前

分布式计算关系型数据库 MySQL

大数据-88 Spark 集群案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL

武子康

57 3 3

小Lee

2月前

存储大数据 OLAP

大数据数据分区技术

【10月更文挑战第26天】

小Lee

79 2 2

土木林森

2月前

消息中间件分布式计算大数据

数据为王：大数据处理与分析技术在企业决策中的力量

【10月更文挑战第29天】在信息爆炸的时代，大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用，包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术，企业能够从海量数据中提取有价值的信息，预测市场趋势，优化业务流程，从而在竞争中占据优势。

土木林森

160 2 2

大数据与机器学习

数据无边界:非结构化数据在MaxCompute上的处理

大数据计算 MaxCompute

热门文章

最新文章

相关产品

相关课程

相关电子书

相关实验场景