杨越意_个人页

2023年04月

• 04.18 14:00:45
  回答了问题 2023-04-18 14:00:45

  "maxcomputer 提交spark jar 包任务 报错：

  赞0 踩0 评论0

2023年03月

• 03.21 15:22:46
  发表了文章 2023-03-21 15:22:46

  【MaxCompute】基于Package跨项目访问资源实践

  目前随着公司业务的不断扩展，各个业务线的数据也越来越多，如果所有数据都集中管理比较错综复杂。MaxCompute的跨项目访问资源比较适合这样的场景。每个业务线创建对应的project，自行管理数据。如果有需要访问其他业务线数据的诉求，可以基于Package实现数据共享的诉求，下面我们来介绍下基于Package实现跨项目访问资源的具体操作，本文以共享自建udf函数为例。

  

2023年02月

• 02.09 16:10:25
  发表了文章 2023-02-09 16:10:25

  MaxCompute中如何处理异常字符

  在处理数据时，当业务数据同步至MaxCompute后，会产生一些含异常字符的脏数据，比如字段中包含了一个不可见字符，在DataWorks中显示不出来，但在BI界面又会显示成其他字符，影响整体观感。这种情况，通常我们的解法是，将异常的字符洗掉，下面来介绍几种常见的处理异常字符的方法。

  

2022年06月

• 06.23 10:36:55
  发表了文章 2022-06-23 10:36:55

  模拟IDC spark读写MaxCompute实践

  现有湖仓一体架构是以 MaxCompute 为中心读写 Hadoop 集群数据，有些线下 IDC 场景，客户不愿意对公网暴露集群内部信息，需要从 Hadoop 集群发起访问云上的数据。本文以 EMR （云上 Hadoop）方式模拟本地 Hadoop 集群访问 MaxCompute数据。