官方博客-第3页-阿里云开发者社区

  • 2023-11-09
    1239

    Dataphin实时研发实践—电商场景下的实时数据大屏构建

    实时数据大屏是实时计算的重要应用场景之一,广泛应用在电商业务中,用于实时监控和分析电商平台的运营情况。通过大屏展示实时的销售额、订单量、用户活跃度、商品热度等数据指标,帮助业务人员随时了解业务的实时状态,快速发现问题和机会。同时,通过数据可视化和趋势分析,大屏也提供了决策支持和优化运营的功能,帮助业务人员做出及时的决策和调整策略,优化电商业务的运营效果。 下面以电商业务为背景,介绍如何构建经典实时数仓,实现实时数据从业务库到ODS层、DWD层、DWS层全链路流转,基于Dataphin和Quick BI实现实时数据大屏。

    1,239
  • 2024-05-15
    119059

    DataphinV3.14全新升级:数据研发突破全域覆盖,资产治理更加灵活可控

    DataphinV3.14支持传统数据库调用,带来全新高效研发体验,及时全面的数据保护、自定义监控和审批让数据治理更灵活自由。

    119,059
  • 1185

    FlinkSQL 的行级权限解决方案及源码

    FlinkSQL的行级权限解决方案及源码,支持面向用户级别的行级数据访问控制,即特定用户只能访问授权过的行,隐藏未授权的行数据。此方案是实时领域Flink的解决方案,类似离线数仓Hive中Ranger Row-level Filter方案。

  • 5498

    Apache Paimon 在同程旅行的探索实践

    本文主要介绍 Apache Paimon 在同程旅行的生产落地实践经验。

  • 2023-07-28
    1594

    MaxCompute ODPS重装上阵, IF ELSE分支语句

    MaxCompute通过脚本模式支持IF ELSE分支语句,让程序根据条件自动选择执行逻辑,支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL,提高开发者编程的灵活性!

    1,594
  • 2024-05-15
    65698

    阿里云 EMR 基于 Paimon 和 Hudi 构建 Streaming Lakehouse

    Apache Paimon 和 Apache Hudi 作为数据湖存储格式,有着高吞吐的写入和低延迟的查询性能,是构建数据湖的常用组件。本文在阿里云EMR上,针对数据实时入湖场景,对 Paimon 和 Hudi 的性能进行比对,并分别以 Paimon 和 Hudi 作为统一存储搭建准实时数仓。

    65,698
  • 2023-08-07
    785

    MaxCompute ODPS 重装上阵,QUALIFY

    MaxCompute支持QUALIFY语法过滤Window函数的结果,使得查询语句更简洁易理解。Window函数和QUALIFY语法之间的关系可以类比聚合函数+GROUP BY语法和HAVING语法。

    785
  • 110042

    基于 Hologres+Flink 的曹操出行实时数仓建设

    本文主要介绍曹操出行实时计算负责人林震,基于 Hologres+Flink 的曹操出行实时数仓建设的解决方案分享。

  • 2024-05-15
    534

    跨节点参数的缘起与今生

    Dataphin v3.13引入了跨节点参数功能,允许任务间传递消息。输出节点(如SQL、Shell、Python任务)能输出参数,输入节点可以接收并使用这些参数。此功能解决了通过公共存储中转消息的复杂性和低效问题。应用场景包括:金融企业的币种转换,其中汇率任务(输出节点)提供汇率,转换任务(输入节点)使用该汇率;以及产品目录更新检查,通过跨节点参数控制是否需要执行数据导入任务。用户可以通过任务编辑器设置和传递跨节点参数,并在运维中进行补数据操作。

    534
  • 1
    2
    3
    4
    ...
    6
    到第
    1
    2
    3
    4
    5
    6
    3/6