大数据计算 MaxCompute

简介：深度剖析大数据在直播、多媒体、新零售、物联网、金融科技、社交、家居服务、互联网、泛娱乐9个行业实战场景，通过企业真实案例，助你速懂企业大数据实践。

亲爱的大数据开发者们，新年好！在过去的2019年中，MaxCompute开发者社区共举办了六季大数据技术公开课，也受到广大开发者们的认可和鼓励。2月份我们已经紧锣密鼓的筹备了新年的第一季大数据技术公开课—《从开源到云原生，你不得不知的大数据实战》，欢迎各位开发者们一起参加。

MaxCompute的admin role可以进行比较基础的权限管理，本文主要介绍可以替代project owner进行project管理的超级管理员角色——super_administrator role，以及作为超级管理员日常管理工作中的一些建议。

一、环境准备 保证TiDb集群外网可以访问 DataWorks 二、开发 1、允许TiDb远程连接 登录到TiDb执行授权语句 grant all privileges on *.* to 'user'@'%' identified by 'password' with grant optio.

您好，MaxCompute 2020.1月刊如期而至，在疫情肆虐的日子里，祝福每一位开发者，平安健康，一切顺利。

您好，MaxCompute 2020.1月刊如期而至，在疫情肆虐的日子里，祝福每一位开发者，平安健康，一切顺利。

本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。

MaxCompute自定义函数的参数和返回值不够灵活，是数据开发过程中时常被提及的问题。Hive 提供给了 GenericUDF 的方式，通过调用一段用户代码，让用户来根据参数类型决定返回值类型。MaxCompute 出于性能、安全性等考虑，没有支持这种方式。

MaxCompute原有的权限模型提供的ACL授权方式，需要明确指定授权对象才能授权，ACL方式不支持通配符方式对新增表做授权。本文通过一个自定义角色的场景，介绍使用MaxCompute新升级的权限模型，利用ACL实现对特定规则的表进行授权。

本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。

2019年12月刊，您将了解到 MaxCompute推出更加灵活的预付费资源模型-非预留计算资源，让您在成本不变的情况下使用更多弹性的计算资源；同时，MaxCompute 支持使用开源地理空间函数，更多详情请阅读本月刊。

在项目开发过程中，相同云账号之下所创建的不同项目工作空间的资源和函数需要实现互相访问，需要授予什么权限呢？怎么去操作才可以去访问其他工作空间所创建的资源和函数。本文通过三种方式来介绍如何去授权访问跨工作空间的资源和函数。

MaxCompute中的GROUPING SETS功能是SELECT语句中GROUP BY子句的扩展。允许采用多种方式对结果分组，而不必使用多个SELECT语句来实现这一目的。这样能够使MaxCompute的引擎给出更有的执行计划，从而提高执行性能。

随着 Fuxi 2.0 首次亮相双十一，今年飞天大数据平台在混部侧支持和基线保障2个方面均顺利完成了目标。其中，混部支持了双十一 60%在线交易洪峰的流量，超大规模混部调度符合预期。在基线保障方面，单日数据处理 970PB，较去年增长超过60%。

能有多少个十年，坚持当初的信念；能有多少个十年，勇做热血青年。MaxCompute 十年，谢谢旅程中有你的陪伴！

MaxCompute 2.0版本升级后，Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型，同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型，以及Writable参数。

对于所有企业来说，数据决定了基于算力、算法等能做出哪些场景和应用。在本次首席技术官大数据专享会上，友盟+首席产品官林鸣晖围绕业务数据化，数据资产化、资产应用化、应用价值化构建属于企业的可闭环、可沉淀、可持续的数据赋能体系进行分享，基于智能数据采集（U-SDC），用户数据平台（U-CDP），数据开放平台（U-DOP）探讨如何建立企业的数据银行。

2019年双11阿里风控保护了约388亿消费者的操作行为，同时挡住了约22亿次恶意攻击。在首席技术官大数据专享会，阿里巴巴新零售技术事业群高级数据技术专家丁明峰为大家介绍了阿里风控大脑关于大数据应用的探索与实践，即风控领域如何应用大数据来构建风控体系？并详细介绍风控架构以及链路。

MaxCompute中的UDT（User Defined Type）功能支持在SQL中直接引用第三方语言的类或者对象，获取其数据内容或者调用其方法 。

如今，推荐系统已经成为各大电商平台的重要流量入口，谁才能够做到比用户更懂用户，谁占据了新零售时代的主动权。手机淘宝的推荐更是淘宝最大的流量入口和最大的成交渠道之一，其背后是最为复杂的业务形态和最复杂的场景技术，那么究竟如何打造手淘背后的推荐系统呢？本次首席技术官大数据专享会上，阿里巴巴搜索推荐事业部资深算法专家欧文武（三桐）为大家解密了淘宝的推荐实战。

2019年双11成交额再创新高，总成交额达到2684亿元。那么，阿里巴巴是通过什么黑科技让全球的用户都能流畅的买买买呢？阿里巴巴经济体背后的大数据平台如何建设呢？在首席技术官大数据专享会上，阿里云智能计算平台事业部研究员关涛就为大家分享了阿里经济体大数据平台的建设与思考。

在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。 本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。

这是一次有礼品，更有使命感的问卷调研！

本文是基于本人对MaxCompute产品的学习进度，再结合开发者社区里面的一些问题，进而整理成文。希望对大家有所帮助。

本文介绍了MaxCompute中使用OSS外部表读取JSON文件的数据，以及需要设立的flag。

2019年11月29日阿里云智能飞天大数据平台在北京国家会议中心召开 “首席技术官大数据专享会”，超过70位企业首席技术官和大数据平台负责人与会。会上由来自阿里云智能，阿里巴巴搜索推荐事业部，阿里巴巴CRO技术部，友盟+的四位分享嘉宾进行了精彩演讲。

Tableau官方支持MaxCompute数据源，MaxCompute提供了对SQL查询任务结果的动态脱敏功能， 数据迁移工具全新发布等精彩内容尽在 11月刊，欢迎阅读。

Spark on MaxCompute的客户端配置以及idea开发环境的配置

在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。

距离上一次MaxCompute新功能的线上发布已经过去了大约一个季度的时间，而在这一段时间里，MaxCompute不断地在增加新的功能和特性，比如参数化视图、UDF支持动态参数、支持分区裁剪、生成建表DDL语句功能等功能都已经得到了广大开发者的广泛使用。那么，近期MaxCompute究竟还有哪些新特性呢？本文就为大家揭晓答案。

飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品，是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。

本文汇集2019杭州云栖大会上MaxCompute的主题分享，内容涵盖MaxCompute技术关键进展及展望，超大规模企业级计算引擎，分布式智能调度执行框架，列式存储引擎，MaxCompute生态，大数据平台的安全风控以及混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践等内容，从底层技术到最佳实践，内容广泛而深入，希望能让读者有所收获。

在2019杭州云栖大会大数据企业级服务专场，由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低大数据平台安全风险”为题的演讲。本文首先概括了企业在大数据上云过程中会产生的安全顾虑。接着，在大数据平台中要处理的安全风险中，对数据中心物理安全与网络安全、大数据平台系统安全以及数据应用安全三部分做了详细的介绍。最后，描述了阿里云飞天大数据平台的安全体系。

2019杭州云栖大会大数据生态专场，由阿里云高级技术专家李睿博带来以 “丰富、连接、待集成— MaxCompute 生态再出发” 为题的演讲。本文围绕 MaxCompute 生态进行讲述，主要包括 “更好的工具和接口”、“连接云上各种数据”、“开放自定义引擎” 三部分。主要内容包括 MaxCompute 获得了 Tableau 官方支持，更好的搬站工具和命令行工具体验，大数据+AI 在 Python 生态部分的工作进展，以及开放自定义引擎的能力。

2019杭州云栖大会大数据企业级服务专场，由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战，包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。

2019杭州云栖大会大数据技术专场，由阿里云资深技术专家侯震宇、阿里云高级技术专家陈颖达以及阿里云资深技术专家戴谢宁共同以“SQL在MaxCompute分布式系统中的旅程 ”为题进行了演讲。本文首先介绍了MaxCompute计算平台及其特点、超大规模企业级SQL引擎和其功能。然后讲解了如何构建企业级分布式智能调度执行框架。最后介绍了新一代列式存储引擎AliOrc及优化方式。

2019杭州云栖大会大数据技术专场，由阿里云通用计算平台负责人关涛带来以 “阿里巴巴大数据技术关键进展及展望” 为主题的演讲。本文首先讲解了从阿里巴巴的角度看待大数据领域的客户价值迁移，概览了核心技术的发展点，最后针对如何构建智能化大数据平台的相关工作进行了介绍，从引擎优化到 “自动驾驶”，并列举了几个典型案例。

摘要：2019云栖大会大数据&AI专场，阿里云智能计算平台事业部研究员关涛、资深专家徐晟来为我们分享《AI加持的阿里云飞天大数据平台技术揭秘》。本文主要讲了三大部分，一是原创技术优化+系统融合，打破了数据增长和成本增长的线性关系，二是从云原生大数据平台到全域云数仓，阿里开始从原生系统走入到全域系统模式，三是大数据与AI双生系统，讲如何更好的支撑AI系统以及通过AI系统来优化大数据系统。

2019云栖大会大数据&AI专场，阿里巴巴高级研究员贾扬清为我们带来《大数据AI发展的新机遇和新挑战》的分享。本文主要从人工智能的概念开始讲起，谈及了深度学习的发展和模型训练，以及数据的爆发增长，着重阐述了算法、数据和算力的闭环。