推特开源的Serial,轻量级,快速的json解析框架

简介: 你还在用Gson,fastjson吗?最近几个月推特开源了她们的json解析和序列化框架 Serial,这是一个轻量级框架,操作起来也很简单。下面简单的介绍一下。

你还在用Gson,fastjson吗?最近几个月推特开源了她们的json解析和序列化框架 Serial,这是一个轻量级框架,操作起来也很简单。下面简单的介绍一下。

github地址: https://github.com/twitter/Serial

1、下载

从Maven中心通过Gradle抓取最新版本:

repositories {
  mavenCentral()
}

dependencies {
  compile 'com.twitter.serial:serial:0.1.5'
}

2、概要

Serial是一个定制的序列化实现,旨在提高性能并提高开发人员对对象序列化的可见性和控制能力。

这个框架使用Serializer来明确地定义一个类应该如何被序列化。这种方法的一些主要优点包括:

  • 更高效的序列化避免反射 - 大型对象的初步指标显示
    • 双向串行化速度提高3倍以上(序列化速度提高5倍,反串行化速度提高2.5倍)
    • 字节数组大小约减少5倍
  • 更好地控制对象的序列化 - 所有的序列化都是明确定义的
  • 更好的调试功能(请参阅 调试 )

3、基本结构

序列化:
要将对象序列化为字节数组,使用如下:

final Serial serial = new Serial();
final byte[] serializedData = serial.toByteArray(object, ExampleObject.SERIALIZER)

反序列化:
要将字节数组反序列化为对象,使用如下:

final ExampleObject object = serial.fromByteArray(ExampleObject.SERIALIZER)

4、定义 Serializers

  • 为每个需要序列化的对象定义一个Serializers,而不是实现Serializable
  • Serializers通过使用读/写原语或递归地调用其他对象的Serializers来显式地写入和读取对象的每个字段
  • Serializers为您处理空对象,就像read / writeString一样;原始读/写方法不需要了。
  • Serializers是无状态的,所以它们被写成对象的静态内部类,并作为静态实例变量来访问SERIALIZER

对于大多数类,你可以创建一个ObjectSerializer 的子类,并实现 serializeObjectdeserializeObject

public static class ExampleObject {
    public static final ObjectSerializer<ExampleObject> SERIALIZER = new ExampleObjectSerializer();

    public final int num;
    public final SubObject obj;

    public ExampleObject(int num, @NotNull SubObject obj) {
        this.num = num;
        this.obj = obj;
    }

    ...

    private static final ExampleObjectSerializer extends ObjectSerializer<ExampleObject> {
        @Override
        protected void serializeObject(@NotNull SerializerOutput output,
                @NotNull ExampleObject object) throws IOException {
            output.writeInt(object.num)
                .writeObject(object.obj, SubObject.SERIALIZER);
        }

        @Override
        @NotNull
        protected ExampleObject deserializeObject(@NotNull SerializerInput input,
                int versionNumber) throws IOException, ClassNotFoundException {
            final int num = input.readInt();
            final SubObject obj = input.readObject(SubObject.SERIALIZER);
            return new ExampleObject(num, obj);
        }
    }
}

对于使用构建器构建的类,或者添加了可选字段(请参阅 更新 Serializer),可以使用,在其中实现方法createBuilder(只返回该类的新构建器对象)和deserializeToBuilder(在其中填充构建器与反序列化的领域)

public static class ExampleObject {
    ...

    public ExampleObject(@NotNull Builder builder) {
        this.num = builder.mNum;
        this.obj = builder.mObj;
    }

    ...

    public static Builder extends ModelBuilder<ExampleObject> {
        ...
    }

    private static final ExampleObjectSerializer extends BuilderSerializer<ExampleObject, Builder> {
        @Override
        @NotNull
        protected Builder createBuilder() {
            return new Builder();
        }

        @Override
        protected void serializeObject(@NotNull SerializerOutput output,
                @NotNull ExampleObject object) throws IOException {
            output.writeInt(object.num)
                .writeObject(object.obj, SubObject.SERIALIZER);
        }

         @Override
        protected void deserializeToBuilder(@NotNull SerializerInput input,
                @NotNull Builder builder, int versionNumber) throws IOException, ClassNotFoundException {
            builder.setNum(input.readInt())
                .setObj(input.readObject(SubObject.SERIALIZER));
        }
    }
}

5、序列化实用程序方法

  • CoreSerializersCollectionSerializers 包含用于装箱原语的serializers ,并具有序列化集合,enums 和 comparators.等对象的辅助方法。

    • 例如,要序列化一个字符串列表,您可以使用:
    CollectionSerializers.getListSerializer(Serializers.STRING);
    
  • 为了序列化一个对象作为它的基类,你可以使用getBaseClassSerializer在子类的序列化器中构造一个基类序列化器 Serializers

    • 例如,如果您具有扩展ClassA的ClassB和ClassC,并且想要将对象序列化为ClassA对象,则可以使用子类的serializers 在ClassA中创建一个序列化程序:
    final Serializer<ClassC> SERIALIZER = Serializers.getBaseClassSerializer(
    SerializableClass.create(ClassA.class, new ClassA.ClassASerializer()),
    SerializableClass.create(ClassB.class, new ClassB.ClassBSerializer()));
    

注意:

您必须创建ClassA和B 的 `serializers` 的新实例,而不是使用这些类中定义的静态对象。由于ClassC被初始化为其子类的一部分,所以在其初始化中使用其子类的静态对象将创建一个循环依赖,这可能导致一个神秘的NPE。

6、更新序列化器

如果您添加或删除存储为序列化数据的对象的字段,有几种方法来处理它:

OptionalFieldException
如果你添加一个字段到一个对象的末尾,新的序列化程序会在试图读取新字段的时候到达一个旧对象的末尾,这会导致它抛出一个OptionalFieldException

BuilderSerializer通过忽略构建器中的该字段,停止反序列化以及按原样构建对象的其余部分来处理OptionalFieldExceptions。 如果您使用的是正则序列化器,则可以显式捕获OptionalFieldException,并根据需要将其余字段设置为默认值。

比如说,你想在上面的ExampleObject的末尾添加一个字符串“name”:

对于这两种序列化器类型,您可以简单地添加.writeString(obj.name)serializeObject

对于BuilderSerializer,要反序列化你会添加.setName(input.readString())到结尾 deserializeToBuilder。在没有名称字段的旧对象被反序列化的情况下,OptionalFieldException当读取字符串时,</font> <font style="box-sizing: border-box; vertical-align: inherit;">将会抛出并捕获该字符串,从而导致该对象按照原样被生成,而没有显式地设置名称字段。

对于常规的串行器,你可以改变deserializeObject如下:

@Override
@NotNull
protected ExampleObject deserializeObject(@NotNull SerializerInput input,
        int versionNumber) throws IOException, ClassNotFoundException {
    final int num = input.readInt();
    final SubObject obj = input.readObject(SubObject.SERIALIZER);
    final String name;
    try {
        name = input.readString();
    } catch (OptionalFieldException e) {
        name = DEFAULT_NAME;
    }
    return new ExampleObject(num, obj, name);
}

7、版本号

另一种选择是增加序列化程序的版本号,并为旧版本定义反序列化行为。为此,请将版本号传递给SERIALIZER对象的构造函数,然后在反序列化方法中,您可以指定对于以前版本做不同的操作。

  • 要更改上述示例以使用版本号,请执行以下操作:
final Serializer<ExampleObject> SERIALIZER = new ExampleObjectSerializer(1);
//...

@Override
@NotNull
protected ExampleObject deserializeObject(@NotNull SerializerInput input, int versionNumber)
        throws IOException, ClassNotFoundException {
    final int num = input.readInt();
    final SubObject obj = input.readObject(SubObject.SERIALIZER);
    final String name;
    if (versionNumber < 1) {
        name = DEFAULT_NAME;
    } else {
        name = input.readString();
    }
    return new ExampleObject(num, obj, name);
}

如果从对象中间删除一个字段,则需要使用skipObjectin中的方法在反序列化过程中忽略整个对象SerializationUtils。这样,如果您一起删除对象,则不需要保留序列化程序。

  • 如果在上面的例子中你也想删除obj字段并删除SubObject
@Override
@NotNull
protected ExampleObject deserializeObject(@NotNull SerializerInput input, int versionNumber)
        throws IOException, ClassNotFoundException {
    final int num = input.readInt();
    if (versionNumber < 1) {
        SerializationUtils.skipObject()
        name = DEFAULT_NAME;
    } else {
        name = input.readString();
    }
    return new ExampleObject(num, name);
}

另一个选择是调用input.peekType(),它允许您在读取对象之前检查下一个字段的类型。如果您在更改之前没有更新版本,并且不想擦除数据库,这是特别有用的,因为它允许您在没有版本号的情况下区分这两个版本。请注意,这只适用于两种类型不同。

@Override
@NotNull
protected ExampleObject deserializeObject(@NotNull SerializerInput input, int versionNumber)
        throws IOException, ClassNotFoundException {
    final int num = input.readInt();
    if (input.peekType() == SerializerDefs.TYPE_START_OBJECT) {
        SerializationUtils.skipObject();
        name = DEFAULT_NAME;
    } else {
        name = input.readString();
    }
    return new ExampleObject(num, name);
}

8、ValueSerializer

一些对象非常简单,无需支持版本控制:Integer,String,Size,Rect ...在这些对象中使用ObjectSerializer会在序列化的数据周围添加2-3个字节的开销,这可能会增加大量开销。 在不需要版本控制时,ValueSerializer是更好的选择:

public static final Serializer<Boolean> BOOLEAN = new ValueSerializer<Boolean>() {
    @Override
    protected void serializeValue(@NotNull SerializerOutput output, @NotNull Boolean object) throws IOException {
        output.writeBoolean(object);
    }

    @NotNull
    @Override
    protected Boolean deserializeValue(@NotNull SerializerInput input) throws IOException {
        return input.readBoolean();
    }
};

这只是处理null的ObjectSerializer的一个简单版本,否则只是将值写入流中。

注意:

当给定一个空值时,ValueSerializer将null写入流。 因此,由serializeValue写入流的第一个字段不能为空,因为它是不明确的。ValueSerializer将此检测为错误并引发异常。

警告!

ValueSerializer 只能 在已知格式被修复时使用,因为它们不支持任何形式的向后兼容性。

9、调试

serial 还包含帮助调试的方法:

  • dumpSerializedData 将在序列化的字节数组中创建数据的字符串日志
  • validateSerializedData 确保序列化的对象具有有效的结构(例如,每个对象起始头具有匹配的结束头)

现在,异常包含有关序列化失败的更多信息,特别是有关要反序列化的预期类型的信息以及基于为每个值编写的标题而找到的类型。


【好消息】我的微信公众号正式开通了,关注一下吧!
关注一下我的公众号吧
相关文章
|
2月前
|
存储 JSON 关系型数据库
【干货满满】解密 API 数据解析:从 JSON 到数据库存储的完整流程
本文详解电商API开发中JSON数据解析与数据库存储的全流程,涵盖数据提取、清洗、转换及优化策略,结合Python实战代码与主流数据库方案,助开发者构建高效、可靠的数据处理管道。
|
3月前
|
JSON 定位技术 PHP
PHP技巧:解析JSON及提取数据
这就是在PHP世界里探索JSON数据的艺术。这场狩猎不仅仅是为了获得数据,而是一种透彻理解数据结构的行动,让数据在你的编码海洋中畅游。通过这次冒险,你已经掌握了打开数据宝箱的钥匙。紧握它,让你在编程世界中随心所欲地航行。
140 67
|
6月前
|
人工智能 API 开发者
HarmonyOS Next~鸿蒙应用框架开发实战:Ability Kit与Accessibility Kit深度解析
本书深入解析HarmonyOS应用框架开发,聚焦Ability Kit与Accessibility Kit两大核心组件。Ability Kit通过FA/PA双引擎架构实现跨设备协同,支持分布式能力开发;Accessibility Kit提供无障碍服务构建方案,优化用户体验。内容涵盖设计理念、实践案例、调试优化及未来演进方向,助力开发者打造高效、包容的分布式应用,体现HarmonyOS生态价值。
270 27
|
6月前
|
机器学习/深度学习 人工智能 JSON
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
Resume Matcher 是一款开源AI简历优化工具,通过解析简历和职位描述,提取关键词并计算文本相似性,帮助求职者优化简历内容,提升通过自动化筛选系统(ATS)的概率,增加面试机会。
545 18
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
|
6月前
|
人工智能 自然语言处理 搜索推荐
ViDoRAG:开源多模态文档检索框架,多智能体推理+图文理解精准解析文档
ViDoRAG 是阿里巴巴通义实验室联合中国科学技术大学和上海交通大学推出的视觉文档检索增强生成框架,基于多智能体协作和动态迭代推理,显著提升复杂视觉文档的检索和生成效率。
299 8
ViDoRAG:开源多模态文档检索框架,多智能体推理+图文理解精准解析文档
|
6月前
|
数据采集 JSON 数据可视化
JSON数据解析实战:从嵌套结构到结构化表格
在信息爆炸的时代,从杂乱数据中提取精准知识图谱是数据侦探的挑战。本文以Google Scholar为例,解析嵌套JSON数据,提取文献信息并转换为结构化表格,通过Graphviz制作技术关系图谱,揭示文献间的隐秘联系。代码涵盖代理IP、请求头设置、JSON解析及可视化,提供完整实战案例。
395 4
JSON数据解析实战:从嵌套结构到结构化表格
|
7月前
|
机器学习/深度学习 人工智能 编解码
R1-Onevision:开源多模态推理之王!复杂视觉难题一键解析,超越GPT-4V
R1-Onevision 是一款开源的多模态视觉推理模型,基于 Qwen2.5-VL 微调,专注于复杂视觉推理任务。它通过整合视觉和文本数据,能够在数学、科学、深度图像理解和逻辑推理等领域表现出色,并在多项基准测试中超越了 Qwen2.5-VL-7B 和 GPT-4V 等模型。
251 0
R1-Onevision:开源多模态推理之王!复杂视觉难题一键解析,超越GPT-4V
|
6月前
|
JSON 人工智能 数据可视化
实用工具推荐第二期结合deepseek的思维导图开源免费工具 JSON 可视化工具
JSON 数据可视化为交互式的树形图或图形,帮助直观理解文件结构和模块之间的联系。
|
6月前
|
机器学习/深度学习 人工智能 Java
Java机器学习实战:基于DJL框架的手写数字识别全解析
在人工智能蓬勃发展的今天,Python凭借丰富的生态库(如TensorFlow、PyTorch)成为AI开发的首选语言。但Java作为企业级应用的基石,其在生产环境部署、性能优化和工程化方面的优势不容忽视。DJL(Deep Java Library)的出现完美填补了Java在深度学习领域的空白,它提供了一套统一的API,允许开发者无缝对接主流深度学习框架,将AI模型高效部署到Java生态中。本文将通过手写数字识别的完整流程,深入解析DJL框架的核心机制与应用实践。
314 3
|
7月前
|
人工智能 JSON 搜索推荐
猫步简历 - 开源免费AI简历生成器 | 一键导出PDF/JSON
猫步简历是一款免费开源的AI简历生成器,帮助用户轻松创建独特、专业的简历。支持导出超高清PDF、图片、JSON等多种格式,并提供AI智能创作、润色和多语种切换等功能。拥有海量模板、高度定制化模块及完善的后台管理系统,助力求职者脱颖而出。官网:https://maobucv.com,GitHub开源地址:https://github.com/Hacker233/resume-design。
1537 10

推荐镜像

更多
  • DNS