最近准备启动写个gameserver的计划,所以开始准备,网络协议方面准备使用protobuf ,这也是现在最流行的,最多使用的,所以今天就写下protobuf,虽然在项目中也一直在使用,但是也只是惯性使然,今天就全面的复习下,避免在使用的时候卡壳。开始吧。
注:因为使用java的缘故,所以我就我的经验写下protobuf在java中的使用,因为其他的语言不是很熟,同时经验不多,但是大同小异。
1、protobuf 环境搭建
protobuf是由Google开发的一套对数据结构进行序列化的方法,可用做通信协议,数据存储格式,等等。其特点是不限语言、不限平台、扩展性强,就像XML一样。与XML相比,protobuf有以下特点:
1.1 protobuf 的版本
最新版本地址:Releases · protocolbuffers/protobuf · GitHub
Maven 依赖配置,直接放进去,不用想太多
<dependency> <groupId>com.google.protobuf</groupId> <artifactId>protobuf-java</artifactId> <version>3.18.0</version> </dependency> 复制代码
1.2 proto编译器
将主页一直往下拉,可以看到protoc的各种系统版本,根据自己的操作系统选择,我的是64位的win10 ,所以选择了win64,下载后解压就好,等会使用
2、protobuf 语法
proto3 的语法文档 :developers.google.com/protocol-bu…
syntax = "proto3"; message SearchRequest { string query = 1; int32 page_number = 2; int32 result_per_page = 3; } 复制代码
2.1 注释规则
为你的.proto 添加注释,使用 C/C++风格的 // 或者 /* ... */ 语法.
/* SearchRequest represents a search query, with pagination options to * indicate which results to include in the response. */ message SearchRequest { string query = 1; int32 page_number = 2; // Which page number do we want? int32 result_per_page = 3; // Number of results to return per page. } 复制代码
2.2 数据类型
基本上也都是常规的数据类型
数值: int32,int64,float ,double ,s开头(可变的,也就是编码的时候更紧凑),u开头(也就是无符号的,只能是正值),fix(固定长度的,一般不怎么用)
布尔值:bool
字符串:string
枚举 : enum
列表:repeated
二进制:bytes
基本上常用的也就是这些简单的类型,没什么特殊的。
2.3 默认值规则 定义了数据类型的,在不传的时候的默认值的规则是什么,下面以Java 为主
string:默认值是”“
bool : 默认值 是false
数值类型:默认值是0,0.f或者0.D.
枚举:默认值是第一个枚举值,也就是0
message 复合类型:在Java中时null.
message SearchResponse { repeated Result results = 1; } message Result { string url = 1; string title = 2; repeated string snippets = 3; } 复制代码
2.4 protobuf 选项 protobuf 提供了一些选项设置生成的proto文件
option java_package = "com.example.foo"; option java_outer_classname = "Ponycopter"; option java_multiple_files = true; option optimize_for = CODE_SIZE; 复制代码
option java_package = "com.example.foo"; 生成的java文件所在的包名
option java_outer_classname = "Ponycopter";生成的类的名字
option java_multiple_files = true;如果是false 则整个proto文件生成在一个java文件中,true 则一个message 生成一个java
文件,注:不写的时候默认是false
option optimize_for = CODE_SIZE;可以设置为 SPEED, CODE_SIZE, LITE_RUNTIM
SPEED : 代码的序列和转换等速度优先
CODE_SIZE:优化生成的代码大小
LITE_RUNTIME:生成的代码需要更少的运行时,一般不选用此选项。
2.5 protoc 生成java文件 拷贝你下载的protoc.exe 到你的proto 文件的所在地址,在文件夹shfit + 右键 ,选择打开cmd 窗口 运行下面的
protoc --java_out=./ XX.proto 复制代码
--java_out 就是生成的输出地址
xx.proto 就是你要编译的proto 文件
不信你试试
3、idea 生成插件
java中开发最常用的就是IDEA 了,因为idea 的强大插件体系是真的好用,protobuf 的开发在idea中也是很方便,这里推荐两个proto的插件,助你在开发的时候如虎添翼。
3.1 GenProtobuf
生成proto 每次都输入命令有点烦的,所以有人写了插件genprotobuf ,在idea中点点就可以了,
安装:很简单,File -> Settings->Plugins,然后点击install 就可以了,等安装完成后就可以了
配置:Tools -> Config GenProtobuf
生成java文件:选择需要生成的proto文件,然后选择 quick gen protobuf rules ,可以按上一步配置的规则生成java文件
3.2 protobuf protobuf 插件是支持proto文件的语法,对关键字进行高亮
4、序列化和 反序列化
4.1 常规序列化和反序列化
常规的使用
SimpleMessage.Builder builder = SimpleMessage.newBuilder(); builder.setName("香菜"); builder.setId(1); builder.setIsSimple(true); byte[] result=builder.build().toByteArray();//序列化 SimpleMessage msg; try { msg = SimpleMessage.parseFrom(result); System.out.println(msg); } catch (InvalidProtocolBufferException e) { e.printStackTrace(); } 复制代码
4.2 通用的反序列化
使用parser 进行反序列化,保存每个消息的parser,可以在启动的时候对消息进行扫描,将消息id 对应的协议进行保存
import com.google.protobuf.Parser; import com.xin.msg.login.SimpleMessage; import java.util.HashMap; import java.util.Map; public class MsgMgr { public static Map<Integer, Parser> msgMap = new HashMap<>(); static { // msgId - parser msgMap.put(1, SimpleMessage.parser()); } } 复制代码
在进行解析的时候根据消息Id获取对应的parser 转换为 对应的消息,统一转换
Parser parser = MsgMgr.msgMap.get(headId); int canReadBytes = decode.readableBytes(); byte[] data = new byte[canReadBytes]; decode.readBytes(data); Object o = parser.parseFrom(data); 复制代码
5、protostuff 使用protobuf 需要写proto 文件,这个文件是为了和客户端同步,其实有点烦,再把它编译成目标语言,这样使用起来就很麻烦。但是现在有了protostuff之后,就不需要依赖.proto文件了,他可以直接对POJO进行序列化和反序列化,使用起来非常简单。
github 地址 : GitHub - protostuff/protostuff: Java serialization library, proto compiler, code
generatorgithub.com/protostuff/…
maven 依赖,加到你的pom.xml就可以了
<dependency> <groupId>io.protostuff</groupId> <artifactId>protostuff-core</artifactId> <version>1.7.4</version> </dependency> <dependency> <groupId>io.protostuff</groupId> <artifactId>protostuff-runtime</artifactId> <version>1.7.4</version> </dependency> 复制代码
实例;
public final class Foo { String name; int id; public Foo(String name, int id) { this.name = name; this.id = id; } } static void roundTrip() { Foo foo = new Foo("foo", 1); // this is lazily created and cached by RuntimeSchema // so its safe to call RuntimeSchema.getSchema(Foo.class) over and over // The getSchema method is also thread-safe Schema<Foo> schema = RuntimeSchema.getSchema(Foo.class); // Re-use (manage) this buffer to avoid allocating on every serialization LinkedBuffer buffer = LinkedBuffer.allocate(512); // ser final byte[] protostuff; try { protostuff = ProtostuffIOUtil.toByteArray(foo, schema, buffer); } finally { buffer.clear(); } // deser Foo fooParsed = schema.newMessage(); ProtostuffIOUtil.mergeFrom(protostuff, fooParsed, schema); } 复制代码
protostuff 就不具体介绍了,官方地址也贴上了,同时我也没在项目中使用,原因就是proto 文件还要发给客户短使用,proto是和客户端进行协议沟通的桥梁,要不然就要客户端自己写proto文件了,容易造成协议不一致。
6、总结
protobuf 只是一个通信协议,虽然有很多细节,但是并不需要太过于深入,等你遇到问题的时候再查文档不晚,记住常用的数据类型,工作中不影响搬砖就可以了,加油,下一步用起来。