自古以来,JSON序列化就是兵家必争之地

本文涉及的产品
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
云解析 DNS,旗舰版 1个月
简介: 1.ioutil.ReadAll 读取大的response.body的风险:性能差且有内存泄漏的风险。2.隐式内存泄漏:对于高并发、长时间运行的web程序,不及时释放内存最终也会导致内存耗尽。3.json 序列化是兵家必争之地, json-iterator 是兼容标准encode/json api 用法的高性能序列化器。4.pprof 内存诊断的姿势 & 调试指标的意义。

01

前人引路


Stackoverflow[1]morganbaz的看法是:


使用iotil.ReadAll去读取go语言里大的Response Body,是非常低效的; 另外如果Response Body足够大,还有内存泄漏的风险。


data,err:=  iotil.ReadAll(r)
if err != nil {
  return err
}
json.Unmarshal(data, &v)


有一个更有效的方式来解析json数据,会用到Decoder类型


err := json.NewDecoder(r).Decode(&v)
if err != nil {
    return err
}


这种方式从内存和时间角度,不但更简洁,而且更高效。


Decoder不需要分配一个巨大的字节内存来容纳数据读取——它可以简单地重用一个很小的缓冲区来获取所有的数据并渐进式解析。这为内存分配节省了大量时间,并消除了GC的压力


JSON Decoder可以在第一个数据块进入时开始解析数据——它不需要等待所有东西完成下载。


02

后人乘凉


我针对前人的思路补充两点。


①.官方ioutil.ReadAll是通过初始大小为512字节的切片来读取reader,我们的response body大概50M, 很明显会频繁触发切片扩容,产生不必要的内存分配,给gc也带来压力。


go切片扩容的时机:需求小于256字节,按照2倍扩容;超过256字节,按照1.25倍扩容。

   

② .怎么理解morganbaz所说的带来的内存泄漏的风险?


内存泄漏是指程序已动态分配的堆内存由于某种原因未释放,造成系统内存浪费,导致程序运行速度减慢升职系统崩溃等严重后果。


ioutil.ReadAll读取大的Body会触发切片扩容,讲道理这种做法只会带来内存浪费,最终会被gc释放,原作者为什么会强调有内存泄漏的风险?


我咨询了一些童靴,对于需要长时间运行的高并发服务器程序,不及时释放内存也可能导致最终耗尽系统所有内存,这是一种隐式内存泄漏


03

JSON序列化是兵家必争之地


morganbaz大佬提出使用标准库encoding/json来边读边反序列化, 减少内存分配, 加快反序列化速度。


自古以来,JSON序列化就是兵家必争之地[2],各大语言内部均对序列化有不同的实现思路,性能相差较大。


下面使用高性能json序列化库json-iterator与原生ioutil.ReadAll+ json.Unmarshal方式做对比。


顺便也检验我最近实践pprof[3]的成果


# go get "github.com/json-iterator/go"
package main
import (
 "bytes"
 "flag"
 "log"
 "net/http"
 "os"
 "runtime/pprof"
 "time"
 jsoniter "github.com/json-iterator/go"
)
var cpuprofile = flag.String("cpuprofile", "", "write cpu profile to file.")
var memprofile = flag.String("memprofile", "", "write  mem profile to file")
func main() {
 flag.Parse()
 if *cpuprofile != "" {
  f, err := os.Create(*cpuprofile)
  if err != nil {
   log.Fatal(err)
  }
  pprof.StartCPUProfile(f)
  defer pprof.StopCPUProfile()
 }
 c := &http.Client{
  Timeout: 60 * time.Second,
  // Transport: tr,
 }
 body := sendRequest(c, http.MethodPost)
 log.Println("response body length:", body)
 if *memprofile != "" {
  f, err := os.Create(*memprofile)
  if err != nil {
   log.Fatal("could not create memory profile: ", err)
  }
  defer f.Close() // error handling omitted for example
  if err := pprof.WriteHeapProfile(f); err != nil {
   log.Fatal("could not write memory profile: ", err)
  }
 }
}
func sendRequest(client *http.Client, method string) int {
    endpoint := "http://xxxxx.com/table/instance?method=batch_query"
   expr := "idc in (logicidc_hd1,logicidc_hd2,officeidc_hd1)"
    var json = jsoniter.ConfigCompatibleWithStandardLibrary
   jsonData, err := json.Marshal([]string{expr})
   log.Println("开始请求:" + time.Now().Format("2006-01-02 15:04:05.010"))
   response, err := client.Post(endpoint, "application/json", bytes.NewBuffer(jsonData))
   if err != nil {
     log.Fatalf("Error sending request to api endpoint, %+v", err)
  }
  log.Println("服务端处理结束, 准备接收Response:" + time.Now().Format("2006-01-02 15:04:05.010"))
  defer response.Body.Close()
   var resp Response
   var records = make(map[string][]Record)
   resp.Data = &records
   err= json.NewDecoder(response.Body).Decode(&resp)
   if err != nil {
    log.Fatalf("Couldn't parse response body, %+v", err)
   }
   log.Println("客户端读取+解析结束:" + time.Now().Format("2006-01-02 15:04:05.010"))
   var result = make(map[string]*Data, len(records))
   for _, r := range records[expr] {
     result[r.Ins.Id] = &Data{Active: "0", IsProduct: true}
   }
   return len(result)
}
# 省略了反序列化的object type


内存对比


非单纯序列化对比,前者对后者优化的效果反馈。


dc998ad39ab213ea2754873b1a2b6619.png


                              --- json-iterator边读 边反序列化 ---


ce3ec55da2cf5a645e6ff93a3dbe9cb8.png


                      --- io.ReadAll + json.Unmarshal 反序列化---


我们可以点进去看io.ReadAll + json.Unmarshal内存耗在哪里?


Total:     59.59MB    59.59MB (flat, cum)   100%
    626            .          .           func ReadAll(r Reader) ([]byte, error) { 
    627            .          .               b := make([]byte, 0, 512) 
    628            .          .               for { 
    629            .          .                   if len(b) == cap(b) { 
    630            .          .                       // Add more capacity (let append pick how much). 
    631      59.59MB    59.59MB                       b = append(b, 0)[:len(b)] 
    632            .          .                   } 
    633            .          .                   n, err := r.Read(b[len(b):cap(b)]) 
    634            .          .                   b = b[:len(b)+n] 
    635            .          .                   if err != nil { 
    636            .          .                       if err == EOF {


从上图也可以印证io.ReadAll  为存储整个Response.Body对初始512字节的切片不断扩容, 产生常驻内存59M。


你还可以对比alloc_space 分配内存(alloc_space、inuse_space 的差值可粗略理解为gc释放的部分)。


699e63f88436315355e79af8ea422d92.png


3ab8e8a06f58431bd05f64fd7aa8c923.png


从结果看json-iterator相比io.ReadAll + json.Unmarshal 动态分配的内存还是比较小的。


04

我的收获


1.ioutil.ReadAll 读取大的response.body的风险:性能差且有内存泄漏的风险。、


2.隐式内存泄漏:对于高并发、长时间运行的web程序,不及时释放内存最终也会导致内存耗尽。


3.json 序列化是兵家必争之地, json-iterator 是兼容标准encode/json api 用法的高性能序列化器。


4.pprof 内存诊断的姿势 & 调试指标的意义。

相关文章
|
2月前
|
XML 存储 JSON
Twaver-HTML5基础学习(19)数据容器(2)_数据序列化_XML、Json
本文介绍了Twaver HTML5中的数据序列化,包括XML和JSON格式的序列化与反序列化方法。文章通过示例代码展示了如何将DataBox中的数据序列化为XML和JSON字符串,以及如何从这些字符串中反序列化数据,重建DataBox中的对象。此外,还提到了用户自定义属性的序列化注册方法。
47 1
|
8天前
|
JSON JavaScript Java
对比JSON和Hessian2的序列化格式
通过以上对比分析,希望能够帮助开发者在不同场景下选择最适合的序列化格式,提高系统的整体性能和可维护性。
12 3
|
14天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
15天前
|
JSON JavaScript 前端开发
|
2月前
|
JSON Go 数据格式
Golang语言结构体链式编程与JSON序列化
这篇文章是关于Go语言中结构体链式编程与JSON序列化的教程,详细介绍了JSON格式的基本概念、结构体的序列化与反序列化、结构体标签的使用以及如何实现链式编程。
39 4
|
2月前
|
JSON 数据格式
序列化 json和pickle
序列化 json和pickle
|
3月前
|
存储 JSON JavaScript
python序列化: json & pickle & shelve 模块
python序列化: json & pickle & shelve 模块
|
3月前
|
JSON Java 数据格式
【IO面试题 七】、 如果不用JSON工具,该如何实现对实体类的序列化?
除了JSON工具,实现实体类序列化可以采用Java原生序列化机制或第三方库如Protobuf、Thrift、Avro等。
|
4月前
|
JSON Dart 安全
Flutter Dart Macro 宏简化 JSON 序列化
今天我们将会体验 dart 语言新特性 macro 宏,来实现对 json 的序列化,用到的包是官方实验室写的 json 包。 本文将会一步步的带你实现这个功能,那我们开始吧。
Flutter Dart Macro 宏简化 JSON 序列化
|
3月前
|
XML 存储 JSON
(十二)探索高性能通信与RPC框架基石:Json、ProtoBuf、Hessian序列化详解
如今这个分布式风靡的时代,网络通信技术,是每位技术人员必须掌握的技能,因为无论是哪种分布式技术,都离不开心跳、选举、节点感知、数据同步……等机制,而究其根本,这些技术的本质都是网络间的数据交互。正因如此,想要构建一个高性能的分布式组件/系统,不得不思考一个问题:怎么才能让数据传输的速度更快?