官方博客-第5页-阿里云开发者社区

  • 2024-05-15
    448

    跨节点参数的缘起与今生

    Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

    448
  • 2024-07-08
    46969

    私网环境下使用云效流水线进行 CI/CD的方法

    云效流水线可以托管用户的私网环境内的机器,并将构建任务调度到这些机器上,从而确保整个构建过程,和代码库和制品库的交互在私网环境下进行。

    46,969
  • 2023-09-27
    1413

    深入MaxCompute,人力家借助Information Schema合理治理费用

    本文将为大家带来MaxCompute与人力家客户案例深度解读。

  • 2023-12-01
    871

    MaxCompute 重装上阵,Global Zorder

    MaxCompute支持Global Zorder,使得整个表或者分区的数据在全局上能按照指定字段进行ZORDER排序,以便数据能有更好的聚集性。

    871
  • FlinkSQL 的行级权限解决方案及源码

    FlinkSQL的行级权限解决方案及源码,支持面向用户级别的行级数据访问控制,即特定用户只能访问授权过的行,隐藏未授权的行数据。此方案是实时领域Flink的解决方案,类似离线数仓Hive中Ranger Row-level Filter方案。

  • 2023-08-16
    1177

    MaxCompute ODPS重装上阵:PIVOT/UNPIVOT

    MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

    1,177
  • 2024-05-15
    65573

    阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

    Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

    65,573
  • 109890

    基于 Hologres+Flink 的曹操出行实时数仓建设

    本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。

  • 2024-05-15
    61413

    云效 Pipeline as Code 来了,这些场景,用好它效率翻倍

    可视化与YAML编排兼具,云效CI/CD流水线你愿意打几分?

  • 1
    ...
    4
    5
    6
    7
    8
    到第
    1
    2
    3
    4
    5
    6
    7
    8
    5/8