关于什么是protobuf,网上搜搜一大堆,很多人用的都还是json,以为json是多种语言传输数据是万能的,看完了protobuf的实现,就明白了简单高效才是王道。
简单介绍:
protobuf很出名,是google开发的序列化库,很多公司都使用它作为接口的数据结构。地址:https://developers.google.com/protocol-buffers/
支持java、c++、go等多种语言,几乎所有主流语言都支持。
先在电脑上安装,随后交叉编译,
网上的教程大多是基于2.x的版本的,现在想用下最新的, 就编译了下3.6版本。编译环境Ubutu 14.04
官网下载:https://github.com/google/protobuf
https://github.com/google/protobuf/releases
protobuf-all-3.6.0.tar.gz
官网安装手册:https://github.com/google/protobuf/blob/master/src/README.md
sudo apt-get install
autoconf automake libtool curl make g++ unzip
cd protobuf-3.6.0/ ./configure --prefix=/usr/local/protobuf make make check make install protoc --version cd /usr/local/protobuf/lib/pkgconfig export PATH=$PATH:/usr/local/protobuf/bin/ export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/ source /etc/profile cd /etc/ld.so.conf.d vi libprotobuf.conf (/usr/local/protobuf/lib/pkgconfig/) ldconfig
下面开始交叉编译:
export PATH=$PATH:/home/yang/b503/ctools/gcc-linaro-arm-linux-gnueabihf-4.9-2014.09_linux/bin
先把交叉编译链添加到当前的环境变量里,
然后配置configure,
我的配置如下:
CC=arm-linux-gnueabihf-gcc CXX=arm-linux-gnueabihf-g++ ./configure --prefix=/home/linux/arm/protobuf --host=arm-linux
注意:CXX一定要配置为-g++而非-gcc
--host这项也一定要指定,才是交叉编译
最后,make, make install
编译完毕,没有报错。
protobuf很出名,是google开发的序列化库,很多公司都使用它作为接口的数据结构。地址:https://developers.google.com/protocol-buffers/
支持java、c++、go等多种语言,几乎所有主流语言都支持,但是官方没给出c语言的支持。经过一番寻找,找到了protobuf-c。在github中有很多protobuf c版本的实现,不过个人感觉还是这个protobuf-c更直接。其github地址:https://github.com/protobuf-c/protobuf-c 。
下面总结下protobuf-c 的编译和移植过程及遇到的问题:
首先版本要匹配,porotobuf-c 目前最新版本是1.30.需要依赖protobufcpp3,0以上的版本。以protobufcpp3.4为例。
在构建protobuf-c之前,我们需要安装一些依赖库:autoconf、automake、protobuffer、libtool,当然也需要一些基本的系统依赖(如:gcc-c++等)。autoconf、automake和libtool可以直接使用apt-get、yum、brew等安装。protobuffer虽然也可以使用libprotobuf,不过还是推荐源码安装。
构建protobuf-c
注意如果在构建protobuf-c之前没有安装protobuf的话,生成protobuf-c的configure文件肯定会报如下错误!!
configure: error: Package requirements (protobuf >= 2.6.0) were not met:No package ‘protobuf’ found
需要先下载protobufcpp 1.34,地址在:
https://github.com/google/protobuf/releases,
先编译protobufcpp1.34。
执行./configure了,但是根目录下居然没有configure文件,却有一个autogen.sh,原来是因为protobuf的编译方式做了修改,要执行autogen.sh才会生成configure脚本。
但在执行autogen.sh时出错了,因为google.com被墙了,我的虚拟机里无法下载gtest,于是手动下载googletest-release-1.5.0.zip,解压缩后,改名为gtest放在protobuf-1.34目录下.
构建protobuf-c其实跟protobuffer几乎没任何区别,也是通过autogen.sh脚本生成configure配置脚本,然后执行make和install。但是需要注意的是protobuf-c在构建的时候不会自动把相关头文件拷贝到/usr/include下,需要手动拷贝。
从https://github.com/protobuf-c/protobuf-c.git 克隆下protobuf-c源码。
git clone https://github.com/protobuf-c/protobuf-c.git
与构建protobuffer一样,分别执行:
./autogen.sh
接下来 make,make install
最后把头文件拷贝到/usr/include下
sudo cp -r /usr/local/protobuf-c/include/protobuf-c /usr/include
按照网上教程,应该执行./configure了,但是根目录下居然没有configure文件,却有一个autogen.sh,原来是因为protobuf的编译方式做了修改,要执行autogen.sh才会生成configure脚本。
但在执行autogen.sh时出错了,因为google.com被墙了,我的虚拟机里无法下载gtest,于是手动下载googletest-release-1.5.0.zip,解压缩后,改名为gtest放在protobuf目录下
configure: error: required protobuf header file not found export PKG_CONFIG_PATH=/home/linux/arm/protobuf/lib/pkgconfig/ export PKG_CONFIG_PATH=/usr/local/protobuf3.4/lib/pkgconfig/ ./configure --prefix=/usr/local/protobuf-c protobuf-c 1.3.0
CC: gcc -std=gnu99
CFLAGS: -g -O2
CXX: g++
CXXFLAGS: -g -O2
LDFLAGS:
LIBS:
prefix: /usr/local/protobuf-c
sysconfdir: ${prefix}/etc
libdir: ${exec_prefix}/lib
includedir: ${prefix}/include
pkgconfigdir: ${libdir}/pkgconfig
bigendian: no
protobuf version: libprotoc 3.4.0
make ,make install
root@yang-vir:/usr/local/protobuf-c/bin# ./protoc-c --version
protobuf-c 1.3.0
libprotoc 3.4.0
接下来再交叉编译:
1、打包下载protobuf-c,地址:https://github.com/protobuf-c/protobuf-c
2、解压后得到protobuf-c-master文件夹,进入该文件夹执行如下命令
3、./autogen.sh
4、CC=arm-linux-gnueabi-gcc CXX=g++ ./configure --host=arm-linux-gnueabi
5、make
6、等待完成,最终会在protobuf-c-master /protobuf-c/.libs目录下生成.so动态库
在给protobuf-c进行环境配置的时候,查找不到上一步所安装protobuf的库文件,而这些库文件又是通过pkgconfig配置进行查找的。 该配置文件此时是在/usr/local/lib/pkgconfig/下 ,也就是问题中所提示的:Consider adjusting the PKG_CONFIG_PATH environment variable if you installed software in a non-standard prefix. 。所以我们只需要将PKG_CONFIG_PATH 指定到/usr/local/lib/pkgconfig/即可
在交叉编译protobufcpp3.4时会报个错,解决办法如下:
I just send #3934 to fix the issue. You can just edit the src/Makefile.am locally and remove the "BUILT_SOURCES = ..." line. After that "make" should work. CC=arm-linux-gnueabihf-gcc CXX=arm-linux-gnueabihf-g++ ./configure --prefix=/home/linux/arm/protobuf-c --host=arm-linux export PKG_CONFIG_PATH=/home/linux/arm/protobuf3.41/lib/pkgconfig/
附带一个使用示例:
1、首先写一个.proto扩展名的文件test.proto,内容格式如下
message test { required uint32 test_1=1; required string test_2=2; required string test_3=3; required string test_4=4; }
2、执行命令生成.c和.h文件,protoc-c可执行文件已经预先生成了。
./protoc-c test.proto
3、写示例代码main.c:
解析:protobuf的核心就是pack和unpack以及最后的free_unpack,比如客户端要给服务端发送一个msg,客户端把pack好的pBuf缓冲区数据直接发出去,服务端收到数据之后,再从pBuf里面“取出”out结构体指针指向的msg,最后调用free_unpacked释放out就可以了。
//main.c #include <stdio.h> #include <stdlib.h> #include <stdint.h> #include "test.pb-c.h" int main(void) { Test msg,*out; unsigned char *pBuf; unsigned int Len; test__init(&msg); //init default msg.test_1=1; msg.test_2="5149013220584027"; msg.test_3="5149013108519750"; msg.test_4="121212121"; Len=test__get_packed_size(&msg); printf("msg pack size %d\n",Len); pBuf=malloc(Len); if(pBuf) { test__pack(&msg,pBuf); //construct msg to pBuf FILE *fp =fopen("protobuf.txt","wb+"); //output raw if(fp) { fwrite(pBuf,Len,1,fp); fclose(fp); fp=NULL; } out=test__unpack(NULL,Len,pBuf); if(out) { printf("out->test_1=%d\n",((Test*)out)->test_1); printf("out->test_2=%s\n",((Test*)out)->test_2); printf("out->test_3=%s\n",((Test*)out)->test_3); printf("out->test_4=%s\n",((Test*)out)->test_4); test__free_unpacked(out,NULL); } } printf("End\n"); }
4、编译,最终生成main可执行文件,将main放在开发板上,注意,相关的libc库和libprotobuf-c.so链接库都放在了开发板上/usr/arm-linux-gnueabi/lib目录下,否则运行是找不到.so库的
arm-linux-gnueabi-gcc main.c -o main test.pb-c.c -I./ -lprotobuf-c -L./protobuf-c-arm/lib -Wl,-rpath,/usr/arm-linux-gnueabi/lib
5、运行./main
实现了msg消息发送给out输出,同样类型的消息,Json需要91个字节,protobuf只需要49个字节,其实json里面的键值对name是完全不需要传输的,因为通讯双方都知道对应的name,只需要传输的只是value,但是每次传输数据,都要把name都传来传去,消耗了大量的带宽和数据存储空间。
export PKG_CONFIG_PATH=/home/linux/arm/protobuf3.41/lib/pkgconfig/ arm-linux-gnueabihf-gcc main.c -o main test.pb-c.c -I./ -lprotobuf-c -L./lib root@b503_lcd:/app/city_app/opt# ls enGPIO.sh libprotobuf-c.so.1 restart.sh~ setconfig.sh test.out libprotobuf-c.so main rz setconfig.sh~ root@b503_lcd:/app/city_app/opt# ./main msg pack size 49 out->test_1=1 out->test_2=5149013220584027 out->test_3=5149013108519750 out->test_4=121212121 End
附录:
1、经过测试,我们发现,其实protobuf的原理很简单,和两端都是C语言实现的client/server直接传输结构体变量原理是一样的,我们都知道,C语言结构体成员的存储方式都是顺序存储。所以发送和接收方都按照对应的成员排列位置进行解析,就可以实现数据的传输。
2、但是protobuf设计初衷应该是为了适应不同的语言之间数据传输,像java写的server里面就没有结构体,所以就不能传输C写的client里面的结构体变量给对方,对方是解析不了的。另外protobuf在.proto文件里面指定了具体的位置编号,否则应该就没办法生成.c和.h文件,如果后续双方通讯格式要做调整,双方都使用同一个修改后的.proto文件重新生产对应的源文件,重新编译即可。
3、为什么说用protobuf比json简单高效,原因就是你用json传输数据,每次字符串里面都传输了一堆没用的数据,比如键值对的冒号,以及键值名字和值的双引号,还有大小括号,因为通讯双方都知道对应的键值名以及怎么解析json(如果不知道键值名字,收到的数据还怎么解析?)。
双方都有的数据还每次传来传去,不是浪费是什么? 纯粹就是浪费带宽和存储,要传输的对方没有的数据,这才是有用数据。有人就说,这几个括号和键值名字能浪费多少带宽和空间,别小看这些小东西,假如数据交互量大和非常频繁,你就知道了,这里面的存储空间和带宽消耗差距是可怕惊人的。
测试结果如下:
yang@yang-vir:/mnt/hgfs/b503/new/protoc$ make Building app... arm-poky-linux-gnueabi-gcc -march=armv7ve -marm -mfpu=neon -mfloat-abi=hard -mcpu=cortex-a7 --sysroot=/opt/myir-imx-fb/4.1.15-2.0.1/sysroots/cortexa7hf-neon-poky-linux-gnueabi -c -g -Wall -I./ test.pb-c.c -o test.pb-c.o arm-poky-linux-gnueabi-gcc -march=armv7ve -marm -mfpu=neon -mfloat-abi=hard -mcpu=cortex-a7 --sysroot=/opt/myir-imx-fb/4.1.15-2.0.1/sysroots/cortexa7hf-neon-poky-linux-gnueabi -c -g -Wall -I./ main.c -o main.o Generating ... arm-poky-linux-gnueabi-gcc -march=armv7ve -marm -mfpu=neon -mfloat-abi=hard -mcpu=cortex-a7 --sysroot=/opt/myir-imx-fb/4.1.15-2.0.1/sysroots/cortexa7hf-neon-poky-linux-gnueabi -o test_protoc ./test.pb-c.o ./main.o -L ./lib -g -lprotobuf-c OK! yang@yang-vir:/mnt/hgfs/b503/new/protoc$ ^C yang@yang-vir:/mnt/hgfs/b503/new/protoc$ ls test.pb-c.c test.pb-c.o lib main.c makefile test_protoc test.pb-c.h test.proto main main.o protobuf-c yang@yang-vir:/mnt/hgfs/b503/new/protoc$ arm-linux-gnueabihf-gcc main.c -o main test.pb-c.c -I./ -lprotobuf-c -L./lib root@b503_lcd:/app/city_app/opt# ls enGPIO.sh libprotobuf-c.so.1 restart.sh~ setconfig.sh test.out libprotobuf-c.so main rz setconfig.sh~ root@b503_lcd:/app/city_app/opt# ./main msg pack size 49 out->test_1=1 out->test_2=5149013220584027 out->test_3=5149013108519750 out->test_4=121212121 End
测试demo:
######################################## #makefile ######################################## #-rdynamic -pthread -lrt -lasound -lucgui -lpicc -licc -lmenures1 -LzfbAuth -lposoffline -lhw_b503 #编译主程序 BINARY := test_protoc OBJ_DIR := ./ #CC= gcc #LD= ld CFLAGS= -g -Wall -I./ LDSCRIPT= -g -lprotobuf-c LDFLAGS= -L ./lib SRC = $(wildcard *.c) DIR = $(notdir $(SRC)) OBJS = $(patsubst %.c,$(OBJ_DIR)%.o,$(DIR)) .PHONY: clean all: prebuild $(BINARY) prebuild: @echo Building app... $(BINARY) : $(OBJS) @echo Generating ... $(CC) -o $(BINARY) $(OBJS) $(LDFLAGS) $(LDSCRIPT) @echo OK! $(OBJ_DIR)%.o : %.c $(CC) -c $(CFLAGS) $< -o $@ clean: rm -f $(OBJ_DIR)*.o @echo Removed!