Proto3序列化数到文件与反序列化

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

proto3序列化很好用,在原来开发APP存数据到日志时,日志文档半小时可达300M,数据量大时对性能有很大影响,因此改用proto序列化存储数据,经测试性能有所提升,日志大小为原来三分之一,所以优势还是很明显的。

但proto3序列化多条消息到文件时,按官方文档介绍,反序列化时是没法区分一个完整对象序列化数据的界限的,也就是没有分隔符,因此需要自己设定分隔符,反序列化时按规则解即可,以下是基于上一篇文章中环境的案例

一、多消息持续序列化规则

每个对象序列化后字节数的长度作为序列化内容前置4个字节的数据,即若一条序列化数据长度为100个字节,那么前这个数据前加4个字节,这4个字节的内容是100,那么总长度就是104个字节,依此规则持续序列化到文件即可

二、定义proto数据结构

syntax = "proto3";
package tutorial;

message Person {
  string name = 1;
  int32 id = 2;
  string email = 3;
  string phone = 4;
}

三、序列化测试

/**
     * 序列化
     *
     * @param path
     */
    private void serializeProto(String path) {
        System.out.println("serialize file " + path);
        try {
            OutputStream outputStream = new FileOutputStream(new File(path));
            byte[] data;
            for (int i = 0; i < 10; i++) {
                Message.Person person = Message.Person.newBuilder().setId(i)
                        .setEmail(String.valueOf(i)).setName(String.valueOf(i)).setPhone(String.valueOf(i)).build();
                byte[] dataByte = person.toByteArray();
                byte[] lenByte = ProtoHelper.intToByteArray(dataByte.length);

                data = new byte[dataByte.length + lenByte.length];
                System.arraycopy(lenByte, 0, data, 0, lenByte.length);
                System.arraycopy(dataByte, 0, data, lenByte.length, dataByte.length);

                outputStream.write(data);
                System.out.println("serialize len :" + dataByte.length + ",id:" + person.getId() + ",name:" + person.getName() + ",email:" + person.getEmail() + ",phone:" + person.getPhone());
            }
            outputStream.flush();
            outputStream.close();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

四、反序列化

因为上述数据量小,这里一次性从文件读出来,就没有设置缓冲区了

/**
     * 反序列化
     * @param path
     */
    public void deSerializeProto(String path) {
        System.out.println("deSerialize file " + path);
        try {
            InputStream inputStream = new FileInputStream(new File(path));

            byte[] data = new byte[4096];
            int len = 0;
            while ((len = inputStream.read(data)) > 0) {
                int index = 0;
                while (index < len) {
                    byte[] lenByte = new byte[4];
                    System.arraycopy(data, index, lenByte, 0, 4);
                    int itemLen = ProtoHelper.byteArrayToInt(lenByte);
                    byte[] dataByte = new byte[itemLen];
                    System.arraycopy(data, index + lenByte.length, dataByte, 0, itemLen);

                    Message.Person person = Message.Person.parseFrom(dataByte);
                    System.out.println("deSerialize len :" + (dataByte.length + 4) + ",id:" + person.getId() + ",name:" + person.getName() + ",email:" + person.getEmail() + ",phone:" + person.getPhone());
                    index = index + lenByte.length + dataByte.length;
                }

            }
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

执行结果:
screenshot

由于proto跨平台,所以java端序列化后,C端同事也能解码文件,有一定的日志安全性吧

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
22天前
|
存储 Java
【IO面试题 四】、介绍一下Java的序列化与反序列化
Java的序列化与反序列化允许对象通过实现Serializable接口转换成字节序列并存储或传输,之后可以通过ObjectInputStream和ObjectOutputStream的方法将这些字节序列恢复成对象。
|
1月前
|
存储 开发框架 .NET
解锁SqlSugar新境界:利用Serialize.Linq实现Lambda表达式灵活序列化与反序列化,赋能动态数据查询新高度!
【8月更文挑战第3天】随着软件开发复杂度提升,数据查询的灵活性变得至关重要。SqlSugar作为一款轻量级、高性能的.NET ORM框架,简化了数据库操作。但在需要跨服务共享查询逻辑时,直接传递Lambda表达式不可行。这时,Serialize.Linq库大显身手,能将Linq表达式序列化为字符串,实现在不同服务间传输查询逻辑。结合使用SqlSugar和Serialize.Linq,不仅能够保持代码清晰,还能实现复杂的动态查询逻辑,极大地增强了应用程序的灵活性和可扩展性。
68 2
|
15天前
|
存储 Java
Java编程中的对象序列化与反序列化
【8月更文挑战第28天】在Java世界中,对象序列化与反序列化是数据持久化和网络传输的关键技术。本文将深入浅出地探讨这一过程,带你领略其背后的原理及应用,让你的程序在数据的海洋中自由航行。
|
9天前
|
存储 Java
Java编程中的对象序列化与反序列化
【9月更文挑战第2天】在Java的世界里,对象序列化和反序列化就像是给数据穿上了一件隐形的斗篷。它们让数据能够轻松地穿梭于不同的系统之间,无论是跨越网络还是存储在磁盘上。本文将揭开这层神秘的面纱,带你领略序列化和反序列化的魔法,并展示如何通过代码示例来施展这一魔法。
11 0
|
1月前
|
存储 算法 Python
【Leetcode刷题Python】297. 二叉树的序列化与反序列化
LeetCode第297题"二叉树的序列化与反序列化"的Python语言解决方案,包括序列化二叉树为字符串和反序列化字符串为二叉树的算法实现。
19 5
|
1月前
|
开发框架 缓存 前端开发
基于SqlSugar的开发框架循序渐进介绍(24)-- 使用Serialize.Linq对Lambda表达式进行序列化和反序列化
基于SqlSugar的开发框架循序渐进介绍(24)-- 使用Serialize.Linq对Lambda表达式进行序列化和反序列化
|
2月前
|
存储 安全 Java
day24:Java零基础 - 序列化与反序列化
【7月更文挑战第24天】🏆本文收录于「滚雪球学Java」专栏,专业攻坚指数级提升,希望能够助你一臂之力,帮你早日登顶实现财富自由🚀;同时,欢迎大家关注&&收藏&&订阅!持续更新中,up!up!up!!
32 1
|
27天前
|
JSON 缓存 安全
Python pickle 二进制序列化和反序列化 - 数据持久化
Python pickle 二进制序列化和反序列化 - 数据持久化
39 0
|
2月前
|
存储 Java
JaveSE—IO流详解:对象输入输出流(序列化及反序列化)
JaveSE—IO流详解:对象输入输出流(序列化及反序列化)
|
2月前
|
分布式计算 Java 数据库
Java中的序列化与反序列化详解
Java中的序列化与反序列化详解