hadoop etl 架构的信息由阿里云开发者社区整理而来,为您提供hadoop etl 架构的相关开发者文章、问题及技术教程的最新信息和内容。帮助用户学习开发与运维方面专业知识和课程、解决技术方面难题。想了解更多hadoop etl 架构相关开发者文章、技术问题及课程就到阿里云开发者社区。
回答
Hadoop的分布式架构,将大数据处理引擎尽可能的靠近存储,对例如像ETL这样的批处理操作相对合适,因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎,并将碎片任务(Map)...
这样的架构会带来很高的维护成本,首先 Hive、HDFS、Hadoop 等大数据工具的搭建和维护需要专业的大数据运维团队;其次,从MySQL 或 Oracle 向 Hive 中导入数据的 ETL 作业需要开发、维护、监控。运维成本高,系统...
当然,MapReduce模型本身作为一种基础模型得到了保留并依然运行在很多特定领域(比如,Hive依然依赖MapReduce处理长时间的ETL业务)。MapReduce在GFS的基础上再一次将大数据往前推进了一步,论文论述了如何在大量...