开发者社区> 问答> 正文

大数据处理框架是什么?

大数据处理框架是什么?

展开
收起
xin在这 2021-12-07 11:38:45 473 0
1 条回答
写回答
取消 提交回答
  • 处理框架和处理引擎负责对数据系统中的数据进行计算。虽然“引擎”和“框架”之间的区别没有什么权威的定义,但大部分时候可以将前者定义为实际负责处理数据操作的组件,后者则可定义为承担类似作用的一系列组件。

      例如Apache Hadoop可以看作一种以MapReduce作为默认处理引擎的处理框架。引擎和框架通常可以相互替换或同时使用。例如另一个框架Apache Spark可以纳入Hadoop并取代MapReduce。组件之间的这种互操作性是大数据系统灵活性如此之高的原因之一。

      虽然负责处理生命周期内这一阶段数据的系统通常都很复杂,但从广义层面来看它们的目标是非常一致的:通过对数据执行操作提高理解能力,揭示出数据蕴含的模式,并针对复杂互动获得见解。

    2021-12-07 11:39:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
FreeWheel 大数据处理实践 立即下载
FreeWheel大数据处理实践 立即下载
分布式流处理框架 立即下载