刘-建伟_个人页

2022年06月

• 06.10 11:50:12
  发表了文章 2022-06-10 11:50:12

  DataWorks开发ODPS SQL开发生产环境自动补全ProjectName

  DataWorks标准模式下，支持开发环境和生产环境隔离，开发环境和生产环境的数据库表命名有所区别，如果需要在开发环境访问生产环境的数据库表或者跨项目空间访问其他项目空间的表，需要根据projectA.tablename命名规范严格区分数据库表名，避免误操作生产环境。 开发环境SQL任务中需要使用【开发环境空间.表名】来使用表，发布到生产环境时，需要手动把开发环境空间改成生产环境空间名称才能发布。本文针对此类场景实现在DataWorks能够自动识别任务在开发环境使用开发环境的名称，在生产环境使用生产环境的名称。

  

2021年01月

• 01.27 17:29:24
  发表了文章 2021-01-27 17:29:24

  MaxCompute中实现IPv4和IPv6地址归属地转换

  大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能。其中把IP地址转换为归属地又是极为常见的一种场景。本文将介绍在MaxCompute如何根据IPv4和IPv6地址实现归属地转换。

  

2020年11月

• 11.17 16:53:33
  发表了文章 2020-11-17 16:53:33

  MaxCompute账号费用及任务耗时TOPN统计

  很多数据开发者在使用MaxCompute开发过程中需要统计每个账号所属任务的费用使用情况以及每个任务耗时来做任务的合理性规划和调整。但是在使用MaxCompute的时候通常情况下大多数用户通过DataWorks标准模式下使用MaxCompute，这样在MaxCompute提供的元数据视图信息中将记录所有的生产作业执行账号为同一个主账号，只有小部分的开发作业执行账号为个人RAM子账号。那么如何去做到各个账户的费用分摊和任务时间成本的统计 是大部分MaxCompute使用者关注的问题。本文主要介绍如何通过MaxCompute元数据统计账号费用及任务耗时，同时定时通过钉钉推送到客户群。

  

2020年07月

• 07.23 15:28:43
  发表了文章 2020-07-23 15:28:43

  MaxCompute/Dataworks云数仓高可用最佳实践

  大数据计算服务（MaxCompute，原名ODPS）是一种企业级SaaS模式云数据仓库，能够快速、完全托管的EB级数据仓库解决方案。DataWorks和MaxCompute关系紧密：DataWorks为MaxCompute提供一站式的数据同步、业务流程设计、数据开发、管理和运维功能。 本文主要介绍在使用阿里云MaxCompute/DataWorks运维过程中经常会遇到的问题及对应的解决方法。

  

2020年02月

• 02.25 16:35:51
  发表了文章 2020-02-25 16:35:51

  MaxCompute SQL与Hive对比分析及使用注意事项

  一个使用过Hadoop的Hive框架的大数据开发工程师，往往基本掌握了阿里云的大数据计算服务MaxCompute的90%。本次分享主要通过详细对比MaxCompute和Hive各个方面的异同及开发使用的注意事项，方便用户来开发使用MaxCompute，实现从Hive秒速迁移到MaxCompute。

  

2020年01月

• 01.09 15:59:40
  发表了文章 2020-01-09 15:59:40

  大数据上云第一课：（1）MaxCompute授权和外表操作躲坑指南

  本文主要针对于在使用MaxCompute开发过程中，对MaxCompute账号授权、外部表操作及元数据查询等相关问题做一个简单的介绍。

  

2019年12月

• 12.31 16:18:50
  发表了文章 2019-12-31 16:18:50

  如何跨项目工作空间访问MaxCompute资源和函数

  在项目开发过程中，相同云账号之下所创建的不同项目工作空间的资源和函数需要实现互相访问，需要授予什么权限呢？怎么去操作才可以去访问其他工作空间所创建的资源和函数。本文通过三种方式来介绍如何去授权访问跨工作空间的资源和函数。

  
• 12.20 11:29:25
  发表了文章 2019-12-20 11:29:25

  MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写

  MaxCompute 2.0版本升级后，Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型，同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型，以及Writable参数。

  
• 12.11 11:31:15
  发表了文章 2019-12-11 11:31:15

  基于MaxCompute InformationSchema进行血缘关系分析

  在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。 本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。

  

2019年11月

• 11.26 17:47:20
  发表了文章 2019-11-26 17:47:20

  基于MaxCompute InformationSchema进行冷门表热门表访问分析

  在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。

  
• 11.18 12:49:30
  发表了文章 2019-11-18 12:49:30

  日志数据如何同步到MaxCompute

  日常工作中，企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。