大数据轻量专有云

大数据资深技术专家柯旻（大舞）在2017云栖大会·北京峰会的分享概览

概述

在2017云栖大会·北京峰会上，大数据资深技术专家柯旻（大舞）针对《大数据轻量专有云》进行了深入探讨。分享内容聚焦于大数据轻量云的基本概念、MaxCompute作为大数据计算服务的核心能力，以及大数据轻量云的整体架构设计，旨在为企业提供高效、灵活且易于管理的大数据处理解决方案。

MaxCompute核心功能与特点

• 企业级SaaS模式云数据仓库：MaxCompute以Serverless架构提供快速、全托管的在线数据仓库服务，有效应对海量数据存储与计算需求，支持从TB到EB级别的数据规模。
• 多场景数据处理能力：支持离线和实时数据接入，具备大规模数据计算及查询加速能力，适用于多种计算场景的数据仓库解决方案及分析建模服务。
• 深度集成阿里云生态：与DataWorks、PAI、Hologres、Quick BI等产品深度融合，实现数据同步、业务流程设计、模型训练、交互式分析及数据可视化等功能。
• 高度安全与管理便捷性：提供项目空间隔离、权限控制、数据加密等安全措施，并通过统一元数据及安全体系确保数据安全性。
• 弹性资源调度与优化：拥有强大的调度系统，可精细控制任务执行，提高资源分配效率，同时支持不同任务队列配置，满足多样化需求。

大数据轻量云架构

虽然具体架构细节未直接给出，但可以推测，大数据轻量云架构设计围绕着简化部署、运维复杂度，提升资源利用效率，同时保持与公有云服务的兼容性和扩展性。MaxCompute作为其核心组件，扮演着关键角色，支撑起整个轻量云的数据处理和分析能力。

应用场景

• 大型互联网企业数据仓库与BI分析：处理网站日志、交易数据分析，挖掘用户特征和兴趣。
• 企业级数据治理与分析：结合DataWorks等工具，实现一站式数据开发、管理和运维。

计费模式与注意事项

• SQL作业计费基于输入数据量、SQL复杂度及单价动态计算，分为开发者版、标准版和SpotSQL作业等多种类型，价格各异，需关注实际费用与预估差异，以及外部表访问可能产生的额外费用。
• 特别提醒，按量付费开发者版已停止新购，并计划于2023年10月31日停止服务，建议用户调整至标准计算资源。

综上所述，柯旻（大舞）的分享重点介绍了大数据轻量专有云的概念框架，特别是MaxCompute作为其中心支柱，在处理大数据挑战中的先进特性和应用场景，以及如何通过集成阿里云生态系统来增强整体解决方案的能力。此外，还强调了成本控制的重要性，提醒用户关注计费规则的变化与优化策略。