暮角_社区达人页

个人头像照片
暮角
已加入开发者社区2035

勋章 更多

个人头像照片
专家博主
专家博主
个人头像照片
星级博主
星级博主
个人头像照片
阿里博主
阿里博主
个人头像照片
开发者认证勋章
开发者认证勋章
个人头像照片
初入江湖
初入江湖

成就

已发布34篇文章
18条评论
已回答1个问题
0条评论
已发布0个视频
github地址

技术能力

兴趣领域
  • 数据库
擅长领域
技术认证

暂时未有相关云产品技术能力~

阿里云GTS-交付技术部-技术中台组

暂无精选文章
暂无更多信息

2023年10月

  • 10.03 22:28:19
    发表了文章 2023-10-03 22:28:19

    Dataworks数据集成之“文本数据”

    Dataworks不是支持文本数据导入么?为什么Excel数据不能导入?CSV文件不就是Excel文件么?关于这些问题,我整理了一篇文章进行解释。

2023年06月

2023年05月

2023年02月

2023年01月

2022年09月

2022年08月

  • 08.16 20:32:04
    发表了文章 2022-08-16 20:32:04

    2022年6月9日发表的《阿里云数据中台架构实践》演讲

    2022年6月9日,我在信通院组织的“聚焦数据中台|下一代数据架构沙龙中”中发表了一次《阿里云数据中台架构实践》演讲,这次演讲也包括了其他中台厂商的内容,感兴趣的可以上去看看。
  • 08.16 19:32:05
    发表了文章 2022-08-16 19:32:05

    构建数据中台的组织架构

    著名管理大师钱德勒总结过一个黄金定律:战略决定组织,而组织决定成败。
  • 08.07 17:42:05
    发表了文章 2022-08-07 17:42:05

    浅谈数据仓库架构设计

    简单的比较了一下数据中台架构与数据仓库、BI、DSS之间的关系,并对比了一下Bill Inmon和Ralph Kimball架构的差异。

2022年06月

  • 06.23 14:49:49
    发表了文章 2022-06-23 14:49:49

    MaxCompute-UNION数据类型对齐的方法

    怎么对齐两段union脚本的数据类型
  • 06.14 09:34:22
    发表了文章 2022-06-14 09:34:22

    如何正确的做增量加工

    回到十多年前,增量加工这个方法并不是一种需要特别需要提出的方法,因为关系数据库的存储与计算性能十分有限(即便是MPP数据库平台也不是全都是做全量加工),增量加工是最普遍的方式。本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。

2022年04月

  • 04.23 11:35:48
    发表了文章 2022-04-23 11:35:48

    数据仓库的分层架构与演进

    分层架构很容易在各种书籍和文档中去理解,但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来,我会从数据研发与建模的角度,演进一下分层架构的设计原因与层次的意义。

2022年03月

  • 03.15 10:32:04
    发表了文章 2022-03-15 10:32:04

    数据治理之参考数据与主数据管理

    最近凑巧参与了一次某行业的业务共创会议,期间讨论到了主数据系统,还有我们该如何参与主数据系统建设的话题。说实话,我一直以为我不会有机会参与到主数据与参考数据系统的话题中去,所以,又去把DAMA的书籍翻了翻。顺便也重新思考了一下主数据与参考数据这个数据治理的课题。
  • 03.15 10:26:23
    发表了文章 2022-03-15 10:26:23

    数据治理之分类分级-(1)

    2022年的一月和二月,我花了大量时间来学习研究分类与分级这个课题,但是并未找到答案。我把分类与分级的问题,定义为一个社会知识的问题。因为分类的问题相当广泛,而且也相当复杂,即便是一个科学家也只能对自己小范围内的数据进行有限的分类。而我们做数据中台数据治理项目交付,面对的数据是非常广泛的,全社会的各种各样的数据都可能是我们要分类的目标。要想把类分好,就要对需要分类的数据及其业务含义、适用场景等都有深入的了解。而我,每次即便是看到某一小类数据都非常的头痛,因为我对这个世界的认知太单薄。用一个成语“蚍蜉撼树”来形容我现在想做的事情,再恰当不过了。

2021年11月

  • 11.30 18:10:50
    发表了文章 2021-11-30 18:10:50

    Oracle数据到MaxCompute乱码问题详解

    集成Oracle数据到MaxCompute,乱码问题分析; 为什么,在oracle数据不乱码,集成到MaxCompute就乱码了? 问题在哪里?

2021年10月

2021年09月

  • 09.25 18:03:42
    发表了文章 2021-09-25 18:03:42

    MaxCompute 海量数据点查介绍for混合云

    客户需对近3-6个月归档数据进行快速全量查询的需求,涉及查询的423T数据量,达到引擎默认任务数上限,且资源消耗巨大,等于几乎无法查询, 且看maxcompute的海量数据查询方案如何应对这样的场景。
  • 09.25 18:00:43
    发表了文章 2021-09-25 18:00:43

    MaxCompute 存储设计

    存储策略该怎么设计

2021年06月

2021年01月

  • 01.11 19:29:27
    发表了文章 2021-01-11 19:29:27

    MaxCompute 行转列 列转行

    搜了一下行转列、列转行,除了隐林一篇之外,好像没有了 最近在帮助项目组初学者整理初学者文档,刚好用关系型数据库的例子变化实现了一个 借鉴:https://developer.aliyun.com/article/40518 供大家参考

2020年08月

  • 发表了文章 2023-10-03

    Dataworks数据集成之“文本数据”

  • 发表了文章 2023-06-24

    Maxcompute拉链表应用(一)在数据开发中使用拉链表

  • 发表了文章 2023-05-15

    数据项目交付小记:测试报告&公共层&中台组织

  • 发表了文章 2023-05-15

    数据项目交付小记:测试报告&公共层&中台组织

  • 发表了文章 2023-05-03

    数据一致性比对(番外)

  • 发表了文章 2023-05-03

    Maxcompute数据上云一致性比对

  • 发表了文章 2023-02-01

    如何选择离线数据集成方案-全量&增量

  • 发表了文章 2023-02-01

    如何选择离线数据集成方案-全量&增量

  • 发表了文章 2023-01-30

    如何选择数据集成方式-离线&实时

  • 发表了文章 2023-01-30

    如何选择数据集成方式-离线&实时

  • 发表了文章 2023-01-09

    维度建模实践一例 (一) 维度还是事实

  • 发表了文章 2023-01-08

    维度建模实践一例 (一) 维度还是事实

  • 发表了文章 2022-09-21

    MaxCompute笛卡尔积逻辑的参数优化&复杂JOIN逻辑优化

  • 发表了文章 2022-08-16

    2022年6月9日发表的《阿里云数据中台架构实践》演讲

  • 发表了文章 2022-08-16

    构建数据中台的组织架构

  • 发表了文章 2022-08-07

    浅谈数据仓库架构设计

  • 发表了文章 2022-06-23

    MaxCompute-UNION数据类型对齐的方法

  • 发表了文章 2022-06-14

    如何正确的做增量加工

  • 发表了文章 2022-04-23

    数据仓库的分层架构与演进

  • 发表了文章 2022-03-15

    数据治理之参考数据与主数据管理

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2023-05-02

    DataWorks数据进来了,但是都是各种I,U,D 如何合并到一张最新数据表里不是这些记录,怎么办

    如果是使用dataworks的实时同步,自动就merge了。 自己搞的话,参考我这篇: Oracle存储过程迁移ODPS-01(专有云):支持DML(delete/update/merge)SQL https://developer.aliyun.com/article/674413 如果是日合并,每日按照主键取主键的最后一个状态的记录行,再去merge全量。
    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息