Protocol Buffer是一种免费开源的跨平台轻量级高效结构化数据存储格式,可以编译成各种语言的代码,包括C++、Java、C#、Python等等。在平时的开发中,我们经常会用到json和xml这两种数据存储格式。不过,Protocol Buffer相比于它们更加的简单,序列化和反序列化的速度更快,数据体积更加小,简单上手,这样的工具谁不爱呢?目前,也已经有很多大厂在将其应用到自己的项目之中。真的是Google出品,必属精品啊!是不是已经迫不及待想要尝试一下?
安装
在使用Protocol Buffer之前,我们需要先安装它。不过,由于某些原因大陆无法直接访问官方下载,我们可以从github上进行下载。大家也可在下方留言或私信获取。
github下载地址:https://github.com/protocolbuffers/protobuf/releases
linux平台安装
我们选择一个版本的cpp版本的压缩包,以protobuf-cpp-3.17.3.tar.gz为例,将下载的压缩包放到/var目录下并进行解压,解压命令如下:
tar -zxvf protobuf-cpp-3.17.3.tar.gz
解压
进入解压后的protobuf-3.17.3目录,查看目录中是否有configure可执行文件,如果没有,可以通过执行./autogen.sh生成。
protobuf
接下来执行下面的命令进行配置、编译和安装,编译过程需要一定的时间,大家要耐心等待。这里注意我们的环境需要事先安装好g++和make工具,否则就要悲剧了~
./configure --prefix=/usr/local/protobuf
make
make install
安装完成后,我们还需要将安装目录在/etc/profile文件中添加到环境变量(如下),然后,执行source /etc/profile即可生效。
export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/
当然,为了安全考虑,我们还可以在当前用户的~/.bashrc中添加。
环境变量配置完成后,我们就可以使用protoc --version进行查看是否安装成功了。
version
Windows安装:方法一
对于Windows版本,已经预编译生成了protoc可执行程序并发布了出来,如果仅仅只是在window平台下编写消息格式并生成对应格式的源码,就直接下载protoc可执行程序即可。
我们选择对应Windows版本的release包下载,再把下载完成后的压缩包对其进行解压。这里为了方便测试我就解压到了C:protoc目录下。
protoc-win
解压后,我们可以发现会有两个子目录分别是bin和include。其中,protoc编译器执行程序就在bin目录里。接下来,我们需要将刚刚解压好的bin子目录地址添加到环境变量PATH中,添加完成后就可以使用了。
环境变量Path
执行protoc --version可以查看版本信息,检查是否安装成功。
version
Windows安装:方法二
当然,如果需要在Windows平台进行基于Protocol Buffer的应用编译的话,还需要根据源代码制作lib库和头文件,因为没有Protocol Buffer的库和相应的头文件的话,我们的应用是没法编译通过的。
接下来,我们一起探究如何编译protocol buffer的源码并安装,大家一定事先准备好CMake和VS哦!
由于我们下载的是最新3.17.3版本的源码,它需要c++11支持,因此,需要安装VS2015以上的版本。这点很重要,会省掉很多不必要的麻烦。
对于CMake,我们可以在命令行中执行cmake --version,确认是否配置好环境变量,否则需要将cmake的安装目录加到环境变量中。
cmake
环境准备好之后,我们就可以开工啦!
同样的我们需要先解压源码压缩包protobuf-cpp-3.17.3.tar.gz,打开VS的开发命令行Developer Command Prompt(我们可以从开始菜单中查找),进入源码的cmake目录。
Developer Command Prompt
由于不同的工程有不同的配置,我们需要创建一个目录build来存放cmake生成的工程配置。
mkdir build & cd build
接下来,我们就可以使用CMake工具构建VS工程啦!
这里我们以VS2019为例,执行下面的命令:
mkdir vs2019 & cd vs2019
cmake -G "Visual Studio 16 2019" ^
-DCMAKE_INSTALL_PREFIX=../../../../install ^
../..
如下图,VS工程就在vs2019目录下生成成功啦!
vs2019工程目录
如下图,在CMake构建工程的过程中可能出现找不到编译器的情况,就有可能是VS2019缺少某些包导致,检查是否安装相应的安装包。
找不到编译器
这里因为缺少了CRT SDK没有安装导致了这种错误,安装之后,问题解决。
CRT SDK
现在我们就可以使用VS2019打开protobuf.sln,在Build菜单中选择Build Solution对整个工程进行编译。等待片刻之后,整个工程即可编译完成。
编译成功
现在我们就可以到编译输出目录(这里是Debug目录)将生成的静态库libprotobufd.lib libprotocd.lib以及可执行程序protoc.exe取出使用了。
静态库和可执行程序
我们可以把编译生成的protoc.exe放在C:protocprotoc-3.17.3-debugbin目录,libprotobufd.lib libprotocd.lib两个静态库放在C:protocprotoc-3.17.3-debuglib目录。然后,再将这两个目录添加到环境变量中。
如果你按照方法一已经安装过官方编译好的protoc.exe,别忘了将方法一配置的环境变量删掉。
我们知道只有静态库没有头文件是没法使用的,所以还需要相应的头文件。在vs2019目录下已经生成了一个脚本extract_includes.bat,我们只需运行此脚本,便会生成一个include文件夹,我们将其复制到C:protocprotoc-3.17.3-debug目录下,并将其添加到环境变量中即可。
生成头文件
安装好了之后,我们来看看如何使用protocol buffer呢?准备好,要开始上代码啦!
消息格式
首先,需要定义一个消息格式。新建一个文件hello.proto用来自定义一个消息格式,添加内容如下:
syntax = 'proto3';
package msg;
message helloworld{
int32 id = 1 ;
string str = 2;
optional int32 opt = 3;
}
proto文件可以用来定义消息数据类型,文件开头的syntax可以指定proto3或proto2,缺省情况下是proto2。
正如上面我们定义的消息格式,在定义消息时,消息中的每一个字段需要有如下部分组成:
- 数据类型(field type)
- 名字(field name)
- 标识号(unique number)
- 字段规则
上面的helloworld数据类型中使用了int32和string两种类型,当然,它不仅支持使用一些简单的数据类型,也可以支持使用自定义的数据类型以及枚举类型等。下表是一些常见的数据类型:
数据类型
标识号是指每个字段都需要一个唯一的编号,它决定了数据的二进制数据的格式,而且一旦消息被使用之后,这个值是不能被修改的。
大家应该发现在上面的helloworld消息中,字段定义中并没有字段规则,这是什么原因?
字段在定义时除了类型,名字和标识号之外,还需要一个字段规则作为修饰符,在proto3中字段规则主要有以下2种:
- singular:它是proto3的默认规则,可以设置也可以不设置它的值
- repeated: 可以认为是动态分配的数组
不过,对于proto2除了repeated还有下面2种:
- optional: 可以设置,也可以不设置它的值,这个是和proto3里的singular是类似的;
- required: 必须设置它的值
生成源码
定义好了消息格式后,之前安装的protoc编译器就可以派上用场啦!protoc编译器通过这个格式文件,就可以生成对应语言的源代码,这里我们选择生成的是C++的源码。可以使用如下命令生成C++源码:
protoc -I=. --cpp_out=. hello.proto
注意,命令中的几个参数:
- -I指明了.proto文件所在的具体目录,如果省略这个参数,则使用当前的目录;
- 参数--cpp_out=./是指定在当前目录生成c++源码文件;
- hello.proto是我们定义的消息格式文件。
所以,在hello.proto之前是有一个空格的哦!
生成源码
命令执行完成后,我们将会在消息格式目录下面找到生成的源码文件hello.pb.cc和hello.pb.h。
源码文件
对于这一部分linux和Windows平台区别不大。
读写消息
一切已经就绪,就差一个栗子了,哈哈!下面我就可以使用生成的源码进行读写数据了。这里我们将编写这样一个例子,将数据写到hello.data文件中,然后再将文件中的内容读取出来。废话不多说,直接上代码!
// test.cpp
#include <iostream>
#include <fstream>
#include "hello.pb.h"
int main()
{
msg::helloworld m1;
m1.set_id(1);
m1.set_str("hello world");
m1.set_opt(3);
std::fstream f1("hello.data", std::ios::out | std::ios::trunc | std::ios::binary);
if(!m1.SerializeToOstream(&f1))
{
std::cout << "save data error" << std::endl;
return -1;
}
f1.close();
std::cout << "write data to hello.data successfully!!!" << std::endl;
std::cout << std::endl;
std::fstream f2("hello.data", std::ios::in | std::ios::binary);
msg::helloworld m2;
if(!m2.ParseFromIstream(&f2))
{
std::cout << "parse data error" << std::endl;
return -1;
}
f2.close();
std::cout << "read data from hello.data" << std::endl;
std::cout << "id = " << m2.id() << std::endl;
std::cout << "std = " << m2.str() << std::endl;
std::cout << "opt = " << m2.opt() << std::endl;
return 0;
}
大家有没有发现?这里我们可以很方便的调用生成的API对数据进行操作,是不是简单而又方便?
编译和运行
想必大家应该已经知道到最终的输出结果是什么了吧?我们将自动生成的消息代码hello.pb.cc hello.pb.h和测试代码test.cpp放到一起,通过c++编译器生成一个可执行文件,看看是不是如大家所想的那样?
下面我们分别用Linux平台和Windows平台验证一下结果。
Linux平台
我们在上面的安装这一步骤中已经配置好protocol buffer的Linux平台开发环境,将源码按照下面的命令进行编译即可。
g++ hello.pb.cc test.cpp -o test `pkg-config --cflags --libs protobuf` -lprotobuf -std=c++11 -lpthread
这里需要注意的是,在编译时需要添加-lprotobuf -std=c++11 -lpthread等参数,否则会有惊喜出现哦!
一切顺利,最终生成了可执行文件test,我们再执行./test看看结果如何?
结果
最后,再来看一下我的测试工程目录结构:
工程目录
windows平台
我们使用vs2019创建一个新项目test,并将hello.pb.cc hello.pb.h和测试代码test.cpp添加到工程中。
test工程
接下来,我们还需要再对工程进行一些配置,首先将之前生成的头文件目录和静态链接库目录配置到项目属性中。
添加头文件和静态库目录
然后,再添加依赖,将libprotobufd.lib libprotocd.lib两个静态库名字添加到依赖中。(Linker -> Input -> Additional Dependencies)
添加依赖
由于之前的protocol buffer工程的运行库是MTD方式,如果要使用其生成的静态库就需要当前的工程相匹配,因此,这里我们也选择MTD方式,否则,在链接时将会出现运行时不匹配的错误。
Runtime Library
最后,编译完成后,运行观察结果。
运行结果
至此,大家都应该已经学会如何使用protocol buffer了吧?
最后
无疑protocol buffer是一个非常强大的存在,广受众多开发者的一致好评。然而,世界上没有绝对完美的东西,protocol buffer也是如此。由于protocol buffer是以二进制的方式进行存储的,在可读性方面就没那么友好了,它就无法像xml那样进行直接的编辑和修改。当然,工具是死的人是活的,只要我们知道.proto文件的格式,我们就可以通过工具对其进行修改,来提高便利性。