开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks 可以支持实时数仓吗?

dataworks 可以支持实时数仓吗?

展开
收起
真的很搞笑 2024-03-04 09:57:46 57 0
5 条回答
写回答
取消 提交回答
  • 您可以通过交互式分析Hologres的实时写入能力,构建实时数仓。

    前提条件
    配置Hologres输出节点前,您需要先配置好相应的输入或转换数据源,详情请参见实时同步支持的数据源。

    背景信息
    Hologres支持的版本:0.7、0.8、0.9、0.10、1.1。

    字段使用限制:不支持UUID类型的字段。

    操作步骤
    进入数据开发页面。

    登录DataWorks控制台。

    在左侧导航栏,单击工作空间列表。

    选择工作空间所在地域后,单击相应工作空间后的快速进入 > 数据开发。

    鼠标悬停至新建图标,单击新建节点 > 数据集成 > 实时同步。

    您也可以展开业务流程,右键单击目标业务流程,选择新建节点 > 数据集成 > 实时同步。

    在新建节点对话框中,选择同步方式为单表(Topic)到单表(Topic)ETL,输入名称,并选择路径。

    重要
    节点名称必须是大小写字母、中文、数字、下划线(_)以及英文句号(.),且不能超过128个字符。

    单击确认。

    在实时同步节点的编辑页面,单击输出 > Hologres并拖拽至编辑面板,连线已配置好的输入或转换节点。

    单击Hologres节点,在节点配置对话框中,配置各项参数。
    单击工具栏中的保存图标。

    image.png

    参考 https://help.aliyun.com/zh/dataworks/user-guide/configure-hologres-writer?spm=a2c4g.11186623.0.i5

    2024-03-31 11:25:38
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks确实支持实时数仓的构建

    DataWorks作为一个大数据开发和治理平台,提供了丰富的功能来支持实时数据处理和分析。具体来说,DataWorks通过以下几个方面支持实时数仓的构建:

    1. 基于Hologres的实时处理能力:DataWorks可以与实时数仓Hologres结合使用,轻松构建实时数仓和即席分析系统。Hologres是一个实时交互式分析引擎,它可以通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理,确保数据生产及管理的高效稳定。
    2. 离线全量与实时增量ETL:DataWorks可以实现数仓的离线全量和实时增量ETL。这意味着用户可以在DataWorks中完成数据的批量抽取、转换和加载,同时也能够处理实时增量数据,以保持数据的实时性。
    3. 数据同步与开发:在DataWorks中创建Hologres数据源并将其绑定至数据开发模块后,用户可以读取Hologres数据源数据,并进行数据同步、开发和分析等操作。这为实时数仓的数据集成和开发提供了便利。
    4. 数据分类架构的支持:DataWorks支持的数据分类架构在ODS层分为数据准备区、离线数据和准实时数据区,这样的结构有助于实现数据的实时处理和分析。

    综上所述,DataWorks不仅支持实时数仓的构建,还提供了一系列的工具和功能来帮助用户高效地进行实时数据处理和分析。这些功能使得DataWorks成为构建和管理实时数仓的有力工具。

    2024-03-04 14:07:38
    赞同 展开评论 打赏
  • DataWorks支持实时数仓构建,通过集成Flink、Spark Streaming等实时计算引擎,实现对实时数据的处理与分析。

    2024-03-04 10:49:34
    赞同 展开评论 打赏
  • hologres支持 flink相关需要在flink自己的平台上开发哈,新绑定目前都不支持了哈 且blink目前应该已经停售,holo是需要单独购买 ,此回答整理自钉群“DataWorks0群已满,新群请看群公告”

    2024-03-04 10:37:50
    赞同 展开评论 打赏
  • 阿里云DataWorks支持实时数仓的构建和管理。它提供了多种实时数据处理能力,包括但不限于:

    1. 实时计算:DataWorks基于Apache Flink等流式计算引擎,可以进行低延迟、高吞吐的实时数据处理。

    2. 实时数据同步:DataWorks具备实时数据同步节点,支持不同数据源之间的实时数据迁移。

    3. Stream Studio:DataWorks推出了Stream Studio产品,降低了实时计算任务开发和运维的门槛,使得用户能够快速搭建实时计算任务,并将实时计算能力整合到整个数据中台中。

    4. Hologres集成:阿里云实时数仓Hologres与DataWorks深度集成,提供海量数据实时写入、实时更新、实时分析等功能,满足实时数仓场景的需求。

    因此,无论是从实时数据摄取、处理、分析还是报表展示,DataWorks都能够提供一站式解决方案来支持实时数仓的构建与应用。

    2024-03-04 10:29:09
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    新氧云原生全栈数仓最佳实践 立即下载
    离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进 立即下载
    企业大数据平台下数仓架构 立即下载