DataWorks中基本概念资源、函数是什么?

DataWorks中基本概念资源、函数是什么?

展开
收起
真的很搞笑 2023-08-08 16:31:24 94 分享 版权
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks中的基本概念:

    资源:
    资源是DataWorks中进行分析的原始数据源,包括关系型数据库、数据库表、OSS文件、数据流等。DataWorks支持多种类型的资源:

    RDBMS:MySQL、PostgreSQL等关系型数据库。
    NoSQL:MongoDB等NoSQL数据库。
    数据仓库:ODPS AnalyticDB 等。
    数据湖:OSS文件。
    数据流:Kafka、Flume等实时数据源。
    函数:
    函数是DataWorks中提供的一种计算逻辑,可以实现数据转换、清洗、统计等任务。主要有以下类型:

    SQL函数:内置的SQL函数,如COUNT、SUM、AVG等。
    UDF函数:用户自定义的SQL函数。
    本地函数:实现Java、Python逻辑的函数。
    系统函数:DataWorks内置的函数。
    流:
    流代表的是一条从一个或多个资源读取数据,进行计算和转换,输出结果到一个或多个资源的逻辑管道。

    流主要包括:

    离线流:处理历史数据,慢速计算。
    实时流:实时处理新入的数据,快速计算。
    报表:
    报表代表的是数据分析的结果展示,可以以表格、图表等形式展现出来。报表可以配置刷新规则,实现实时展示结果。

    2023-08-09 14:05:34
    赞同 展开评论
  • 资源、函数均为MaxCompute的概念,详情请参见资源和函数。您可以在DataWorks中,通过界面管理资源和函数。如果通过MaxCompute的其它方式进行资源、函数管理,则无法在DataWorks中进行相关的查询。
    https://help.aliyun.com/document_detail/73017.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-09 07:53:56
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理