耿江涛_个人页

2021年06月

• 06.07 11:42:08
  发表了文章 2021-06-07 11:42:08

  UDF精简使用大全

  在MaxCompute开发过程中，开发同学遇到的的一些复杂逻辑该如何处理，如何在MaxCompute开发不同场景下的UDF函数？带着这个问题，本文针对UDF的各方面内容做出介绍，其中涉及UDF对应不同语言的类型映射关系、以及对应UDF在重载、访问网络、引用表与资源、以及第三方包的使用为大家做出展示。

  

2021年04月

• 04.23 15:40:58
  发表了文章 2021-04-23 15:40:58

  Azkaban业务流程如何转化为DataWorks业务流程

  用户在迁移上云的时候，需要将云下的的Azkaban任务迁移上云，之前通过用户在DataWroks一步步创建对应的业务流程，其转化难度和转化时间都是一定的成本和时间，但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题，本文模拟Azkaban业务流程到入到DataWorks的操作过程，方便大家参阅。

  

2021年01月

• 01.15 14:58:20
  发表了文章 2021-01-15 14:58:20

  MaxCompute按量付费业务流程的计量明细统计

  本文针对一个公司有多个部门，一个部门又含有多条业务，另外业务流程中可能包含MapReduce、Spark、SQL，但是如何统计其中一条的业务流程的计费信息。针对这一需求，本文采用的方案是：通过计量计费中获取当前所有project的在某一天的计费信息->采用DataWorks的API获取该project的业务流程下的所有nodeID->通过MaxCompute的SDK将数据写入到MaxCompute表中->最后使用SQL统计出一条业务流程的总的计费统计情况。

  

2020年09月

• 09.22 15:52:18
  发表了文章 2020-09-22 15:52:18

  Spark On MaxCompute如何访问Phonix数据

  如何使用Spark On MaxCompute连接Phonix，将Hbase的数据写入到MaxCompute的对应表中，目前没有对应的案例，为了满足用户的需求。本文主要讲解使用Spark连接Phonix访问Hbase的数据再写入到MaxCompute方案实践。该方案的验证是使用hbase1.1对应Phonix为4.12.0。本文从阿里云Hbase版本的选择、确认VPC、vswitchID、设置白名单和访问方式，Phonix4.12.0的客户端安装，在客户端实现Phonix表的创建和写入,Spark代码在本地IDEA的编写以及pom文件以及vpcList的配置,打包上传jar包并进行冒烟测试。

  

2020年08月

• 08.13 14:51:28
  发表了文章 2020-08-13 14:51:28

  DataWorks使用Shell节点调用自定义资源组执行脚本

  本文主要介绍DataWorks使用Shell节点调度自定义资源组执行Shell脚本，且使用该功能需要用户的DataWorks版本为企业版。文中主要内容包括配置自定义资源组，以及设置ECS的amdin用户权限，脚本模式使用MaxCompute客户端，并配置手动业务流程执行对应的Shell脚本在开发环境运行，检测其脚本执行的命令是否正确。该功能对于用户调度用户ECS上的的程序提供了便利，使其他的任务能和DataWorks的调度结合起来。

  

2020年03月

• 03.06 09:27:09
  发表了文章 2020-03-06 09:27:09

  使用CLONE TABLE方式实现同region不同可用区的MaxCompute之间的数据迁移

  该文章主要针对于用户同region不同账户之间的MaxCompute数据迁移方式，属于迁移的方式可以有三种方式，一、添加MaxCompute数据源的方式进行数据迁移（该方式针对多个表配置同步节点较为繁琐）；二、使用tunnel方式结合代码进行数据的迁移；三、使用clone table进行MaxCompute数据到另一MaxCompute之间的数据迁移。

  
• 03.02 15:13:27
  发表了文章 2020-03-02 15:13:27

  阿里云交互式分析与Presto对比分析及使用注意事项

  文章首先介绍了Presto以及它的应用场景、特点、架构和原理、数据模型、数据类型，并且以Presto数据查询作为实例。然后介绍了阿里云交互式分析，同时列举了它的优势和典型应用场景，对权限、数据类型、实例对象层级进行讲解，并且对交互式分析的两大场景进行实践分析，列举了几种表的特征设置，以阿里云交互式分析开发作为示例展示其过程。

  

2019年12月

• 12.26 17:42:05
  发表了文章 2019-12-26 17:42:05

  MaxCompute与DataWorks权限介绍和示例

  该篇文章的主要内容是MaxCompute与DataWork权限的经典知识点汇总，MaxCompute常使用的权限分类以及经典使用语句，以及MaxCompute基于policy策略的生产环境和开发环境为用户做权限管理的示例。

  

2019年11月

• 11.28 10:53:38
  发表了文章 2019-11-28 10:53:38

  Spark在MaxCompute的运行方式

  Spark on MaxCompute的客户端配置以及idea开发环境的配置

  
• 11.08 14:58:53
  发表了文章 2019-11-08 14:58:53

  Kafka数据如何同步至MaxCompute之实践讲解

  本次分享主要介绍Kafka产品的原理和使用方式，以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。