开发者社区 问答 正文

hadoop的序列化的特点及功能是什么?

hadoop的序列化的特点及功能是什么?

展开
收起
游客daliwbfb2wo66 2021-12-05 13:13:03 680 分享 版权
1 条回答
写回答
取消 提交回答
  • 1、节省资源:由于带宽和存储是集群中的最宝贵的资源所以我们必须想法设法缩小传递信息的大小和存储大小,hadoop的序列化就为了更好地坐到这一点而设计的。

    2、对象可重用:JDK的反序列化会不断地创建对象,这肯定会造成一定的系统开销,但是在hadoop的反序列化中,能重复的利用一个对象的readField方法来重新产生不同的对象。

    3、可扩展性:当前hadoop的序列化有多中选择可以利用实现hadoop的WritableComparable接口。 也可使用开源的序列化框架protocol Buffers,Avro等框架。我们可以注意到的是hadoop2.X之后是实现一个YARN,所有应用(mapreduce,或者其他spark实时或者离线的计算框架都可以运行在YARN上),YARN还负责对资源的调度等等。YARN的序列化就是用Google开发的序列化框架protocol Buffers,proto目前支持支持三种语言C++,java,Python所以RPC这一层我们就可以利用其他语言来做文章,满足其他语言开发者的需求。

    2021-12-05 13:13:27
    赞同 展开评论
问答分类:
问答地址: