String的序列化小结

简介:

String对我们来说太熟悉了,因为它无处不在,更因为用String可以描述这个世界几乎所有的东西,甚至于为了描述精确的数值都需要String出马(因为计算机眼中的二进制和人类眼中的十进制间总有那么点隔膜)。因为熟悉而变得简单,也容易被忽略。今天记录一下关于String的容易被忽略的两个问题。

  • 字符串重用——节省内存
    因为字符串太多,如果能够重用则能够节省很大的内存。首先看下面一个例子:

    String <span style="text-decoration: underline">string1</span> = "HELLOHELLO";
    
    String <span style="text-decoration: underline">string2</span> = "HELLO" + "HELLO";
    

上面创建了几个字符串?1 or 2?后者是动态创建的,不过相信JVM可以对其直接优化的,因为编译时已经知道内容了,猜测是一个instance,即同一个char数组。Heapdump出来后观察果然是一个。

String string3 = args[0]+ args[1];

输入参数HELLO HELLO? 字符串变成几个?没错啊,是两个HELLOHELLO了。Dump heap后观察,果然是两个了。(其实不用dump healp,debug也可以看出来,string1和string3中的char[]指向地址是不一样的)。

依此延伸,可以而知由java反序列化而来的那些string也是不一样的。实例如下;

**public** **final** **static** **void** main(String[] args) **throws** Exception {

    **new** StringDeserialized().testDescirialized();

}

**public** **void** testDescirialized() **throws** Exception {

    String testString = "HELLOHELLO";

    ObjectOutputStream dataOutStream = **new** ObjectOutputStream(**new** FileOutputStream("./stringdeserialized.data"));

    **for** (**int** i = 0; i &lt; 1000; i++)

        dataOutStream.writeObject(testString);

    dataOutStream.close();

    List&lt;String&gt; readAgainList = **new** ArrayList&lt;String&gt;(100);

    **for** (**int** i = 0; i &lt; 100; i++) {

        ObjectInputStream dataInputStream = **new** ObjectInputStream(**new** FileInputStream("./stringdeserialized.data"));

        readAgainList.add((String) dataInputStream.readObject());

        dataInputStream.close();

    }

    Thread._sleep_(Integer._MAX_VALUE_);

}

截图是heap dump出来的,有HELLOHELLO的个数有101个,占用的size>8080。对于JVM的内存使用可参考 http://www.javamex.com/tutorials/memory/object_memory_usage.shtml

问题来了,系统维护的数据大多是字符串信息,比如configserver,而很多的信息都是同一个字符串,那么反复的从网络序列化而来,占用多的Heap。当然自己可以写一个weak hashmap来维护,重用这些字符串。大家知道JVM中有String Pool,使用它无疑最好不过。查找String源码,发现intern()的注释如下:

* When the intern method is invoked, if the pool already contains a

 * string equal to this &lt;code&gt;String&lt;/code&gt; object as determined by

 * the {@link #equals(Object)} method, then the string from the pool is

 * returned. Otherwise, this &lt;code&gt;String&lt;/code&gt; object is added to the

 * pool and a reference to this &lt;code&gt;String&lt;/code&gt; object is returned.

于是改变上面一行代码为:

readAgainList.add(((String) dataInputStream.readObject()).intern());

再次Heap dump分析如下,另外可以看出一个包含10个字符的String占用的Heap是80byte:

  • 字符串序列化的速度
    目前CS处理为了支持所谓的任意类型数据,CS采用了一个技巧,用Swizzle来保存java序列化后的byte类型,Server端无需反序列化就能保存任意类型的data;这样的坏处有两个:通用的Java序列化效率不高;协议不通用,对其他语言支持不行。因为目前的数据信息基本都是String类型,而对对String数据的专门处理,可以通过String内部的byte数组(UTF-8)类表示,这样也便于其他语言解析。可以考虑增加对publish(String)的支持。于是做了如下测试来比较对String不同serialize/deserialize的速率和大小。

结果是writeUTF最小最快,对于100char的String,差距是数量级的相当明显,虽然Swizzle使用了一个技巧,当对同一个swizzle instance多次传输时,无需重复的序列化。

PS:Swizzle简单的说就是把信息包装起来,然后把序列化的byte流缓存起来,这样如果同样的一个信息要推送/发送N次,就无能减少N-1次的序列化时间。

public class CompareSerialization {

**public** String generateTestData(**int** stringLength) {

    Random random = **new** Random();

    StringBuilder builder = **new** StringBuilder(stringLength);

    **for** (**int** j = 0; j &lt; stringLength; j++) {

        builder.append((**char**) random.nextInt(127));

    }

    **return** builder.toString();

}

**public** **int** testJavaDefault(String data) **throws** Exception {

    ObjectOutputStream outputStream = **null**;

    ObjectInputStream inputStream = **null**;

    **try** {

        ByteArrayOutputStream byteArray = **new** ByteArrayOutputStream();

        outputStream = **new** ObjectOutputStream(byteArray);

        outputStream.writeObject(data);

        outputStream.flush();

        inputStream = **new** ObjectInputStream(**new** ByteArrayInputStream(byteArray.toByteArray()));

        inputStream.readObject();

        **return** byteArray.size();

    }

    **finally** {

        outputStream.close();

        inputStream.close();

    }

}

**public** **int** testJavaDefaultBytes(String data) **throws** Exception {

    ObjectOutputStream outputStream = **null**;

    ObjectInputStream inputStream = **null**;

    **try** {

        ByteArrayOutputStream byteArray = **new** ByteArrayOutputStream();

        outputStream = **new** ObjectOutputStream(byteArray);

        outputStream.writeBytes(data);

        outputStream.flush();

        inputStream = **new** ObjectInputStream(**new** ByteArrayInputStream(byteArray.toByteArray()));

        **byte**[] bytes = **new** **byte**[byteArray.size()];

        inputStream.read(**new** **byte**[byteArray.size()]);

        **new** String(bytes);

        **return** byteArray.size();

    }

    **finally** {

        outputStream.close();

        inputStream.close();

    }

}

**public** **int** testSwizzle(Swizzle data) **throws** Exception {

    ObjectOutputStream outputStream = **null**;

    ObjectInputStream inputStream = **null**;

    **try** {

        ByteArrayOutputStream byteArray = **new** ByteArrayOutputStream();

        outputStream = **new** ObjectOutputStream(byteArray);

        outputStream.writeObject(data);

        outputStream.flush();

        inputStream = **new** ObjectInputStream(**new** ByteArrayInputStream(byteArray.toByteArray()));

        inputStream.readObject();

        **return** byteArray.size();

    }

    **finally** {

        outputStream.close();

        inputStream.close();

    }

}

**public** **int** testStringUTF(String data) **throws** Exception {

    ObjectOutputStream outputStream = **null**;

    ObjectInputStream inputStream = **null**;

    **try** {

        ByteArrayOutputStream byteArray = **new** ByteArrayOutputStream();

        outputStream = **new** ObjectOutputStream(byteArray);

        outputStream.writeUTF(data);

        outputStream.flush();

        inputStream = **new** ObjectInputStream(**new** ByteArrayInputStream(byteArray.toByteArray()));

        inputStream.readUTF();

        **return** byteArray.size();

    }

    **finally** {

        outputStream.close();

        inputStream.close();

    }

}

**public** **final** **static** **void** main(String[] args) **throws** Exception {

    CompareSerialization compare = **new** CompareSerialization();

    String data = compare.generateTestData(Integer._parseInt_(args[0]));

    Swizzle swizzle = **new** Swizzle(data);

    System._out_.println("testJavaDefault size on networking:" + compare.testJavaDefault(data));

    System._out_.println("testJavaDefaultBytes size on networking:" + compare.testJavaDefaultBytes(data));

    System._out_.println("testStringUTF size on networking:" + compare.testStringUTF(data));

    System._out_.println("testSwizzle size on networking:" + compare.testSwizzle(swizzle));

    // warm up

    **for** (**int** i = 0; i &lt; 100; i++) {

        compare.testJavaDefault(data);

        compare.testJavaDefaultBytes(data);

        compare.testStringUTF(data);

        compare.testSwizzle(swizzle);

    }

    **long** startTime = System._currentTimeMillis_();

    **for** (**int** i = 0; i &lt; 10000; i++) {

        compare.testJavaDefault(data);

    }

    **long** endTime = System._currentTimeMillis_();

    System._out_.println("testJavaDefault using time:" + (endTime - startTime));

    startTime = System._currentTimeMillis_();

    **for** (**int** i = 0; i &lt; 10000; i++) {

        compare.testJavaDefaultBytes(data);

    }

    endTime = System._currentTimeMillis_();

    System._out_.println("testJavaDefaultBytes using time:" + (endTime - startTime));

    startTime = System._currentTimeMillis_();

    **for** (**int** i = 0; i &lt; 10000; i++) {

        compare.testStringUTF(data);

    }

    endTime = System._currentTimeMillis_();

    System._out_.println("testStringUTF using time:" + (endTime - startTime));

    startTime = System._currentTimeMillis_();

    **for** (**int** i = 0; i &lt; 10000; i++) {

        compare.testSwizzle(swizzle);

    }

    endTime = System._currentTimeMillis_();

    System._out_.println("testSwizzle using time:" + (endTime - startTime));

}

本文来源于"阿里中间件团队播客",原文发表时间"  "

相关文章
|
Java
MessagePack Java Jackson Dataformat 在 Map 中不使用 String 为 Key 的序列化
当你希望在 Map 中不使用 String 为 Key,那么你需要使用 MessagePackKeySerializer 来为 key 进行序列化。 本测试方法,可以在 https://github.com/cwiki-us-demo/serialize-deserialize-demo-java/blob/master/src/test/java/com/insight/demo/serialize/MessagePackSerializer.java 中找到。
928 0
|
存储 NoSQL Java
【问题解决】Redis存储Hash-Map&lt;String,Object&gt;时无法序列化问题
转载请注明出处:http://blog.csdn.net/qq_26525215 本文源自【大学之旅_谙忆的博客】 今天在使用Redis的Map存储Bean时,出现了一个问题。
2185 0
|
1月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
143 1
|
1月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
161 1
|
5月前
|
存储 Java 编译器
说一说关于序列化/反序列化中的细节问题
我是小假 期待与你的下一次相遇 ~
103 1
|
5月前
|
JSON Java 数据库连接
|
6月前
|
存储 安全 IDE
说一说序列化与反序列化中存在的问题
本文详细解析了Java中的序列化机制,包括序列化的概念、实现方式及应用场景。通过Student类的实例演示了对象的序列化与反序列化过程,并分析了`Serializable`接口的作用以及`serialVersionUID`的重要意义。此外,文章还探讨了如何通过自定义`readObject()`方法增强序列化的安全性,以及解决可序列化单例模式中可能产生的多实例问题。最后提供了代码示例和运行结果,帮助读者深入理解序列化的原理与实践技巧。
169 2
|
6月前
|
JSON JavaScript 前端开发
Go语言JSON 序列化与反序列化 -《Go语言实战指南》
本文介绍了 Go 语言中使用 `encoding/json` 包实现 JSON 与数据结构之间的转换。内容涵盖序列化(`Marshal`)和反序列化(`Unmarshal`),包括基本示例、结构体字段标签的使用、控制字段行为的标签(如 `omitempty` 和 `-`)、处理 `map` 和切片、嵌套结构体序列化、反序列化未知结构(使用 `map[string]interface{}`)以及 JSON 数组的解析。最后通过表格总结了序列化与反序列化的方法及类型要求,帮助开发者快速掌握 JSON 数据处理技巧。
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
465 1
|
存储 安全 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第22天】在Java的世界里,对象序列化和反序列化是数据持久化和网络传输的关键技术。本文将带你了解如何在Java中实现对象的序列化与反序列化,并探讨其背后的原理。通过实际代码示例,我们将一步步展示如何将复杂数据结构转换为字节流,以及如何将这些字节流还原为Java对象。文章还将讨论在使用序列化时应注意的安全性问题,以确保你的应用程序既高效又安全。

热门文章

最新文章