开发者社区 问答 正文

数据编程本质是什么?

数据编程本质是什么?

展开
收起
游客afijyf435noyu 2021-12-14 11:13:44 573 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • image.png

    现实世界中,写一个函数,做一个系统,会发现这个系统提供对外一些 API 输入数据, 然后系统做一些逻辑,逻辑之后又输出,可能输出到下一个处理环节,如果是数据库就存在 数据库里面。输入的地方也是一样,假设是一个 rest API,接受外围的请求,处理,输出, 返回数据,假如是一个大数据里面的离线计算批处理,也是写一个批处理逻辑输入数据,比 如 Spark 读取文件,然后做计算,输出,可能又存到输入上去了,或者是输到 ES。如果 这一步完成了,我们在大数据里面经常还要做调度编排,一般会用 Airflow 去完成,在编写 Airflow 流程的时候,实际上是编写一个一个流的方式,然后把它挪到下面去,再输入到下一个逻辑。

    资料来源于《开源与云Elasticsearch应用剖析》下载地址:https://developer.aliyun.com/topic/download?id=1169

    2021-12-14 12:02:19 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
问答地址: