加入星计划,您可以享受以下权益:

  • 创作内容快速变现
  • 行业影响力扩散
  • 作品版权保护
  • 300W+ 专业用户
  • 1.5W+ 优质创作者
  • 5000+ 长期合作伙伴
立即加入
  • 正文
  • 推荐器件
  • 相关推荐
  • 电子产业图谱
申请入驻 产业图谱

还只会用json和xml?是时候掌握Google Protocol Buffer了

04/26 17:20
1627
阅读需 19 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

Protocol Buffer是一种免费开源的跨平台轻量级高效结构化数据存储格式,可以编译成各种语言的代码,包括C++、Java、C#、Python等等。在平时的开发中,我们经常会用到json和xml这两种数据存储格式。不过,Protocol Buffer相比于它们更加的简单,序列化和反序列化的速度更快,数据体积更加小,简单上手,这样的工具谁不爱呢?目前,也已经有很多大厂在将其应用到自己的项目之中。真的是Google出品,必属精品啊!是不是已经迫不及待想要尝试一下?

安装

在使用Protocol Buffer之前,我们需要先安装它。不过,由于某些原因大陆无法直接访问官方下载,我们可以从github上进行下载。大家也可在下方留言或私信获取。

github下载地址:https://github.com/protocolbuffers/protobuf/releases

linux平台安装

我们选择一个版本的cpp版本的压缩包,以protobuf-cpp-3.17.3.tar.gz为例,将下载的压缩包放到/var目录下并进行解压,解压命令如下:

tar -zxvf protobuf-cpp-3.17.3.tar.gz


解压

进入解压后的protobuf-3.17.3目录,查看目录中是否有configure可执行文件,如果没有,可以通过执行./autogen.sh生成。


protobuf

接下来执行下面的命令进行配置、编译和安装,编译过程需要一定的时间,大家要耐心等待。这里注意我们的环境需要事先安装好g++和make工具,否则就要悲剧了~

./configure --prefix=/usr/local/protobuf
make
make install

安装完成后,我们还需要将安装目录在/etc/profile文件中添加到环境变量(如下),然后,执行source /etc/profile即可生效。

export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/

当然,为了安全考虑,我们还可以在当前用户的~/.bashrc中添加。

环境变量配置完成后,我们就可以使用protoc --version进行查看是否安装成功了。


version

Windows安装:方法一

对于Windows版本,已经预编译生成了protoc可执行程序并发布了出来,如果仅仅只是在window平台下编写消息格式并生成对应格式的源码,就直接下载protoc可执行程序即可。

我们选择对应Windows版本的release包下载,再把下载完成后的压缩包对其进行解压。这里为了方便测试我就解压到了C:protoc目录下。


protoc-win

解压后,我们可以发现会有两个子目录分别是bin和include。其中,protoc编译器执行程序就在bin目录里。接下来,我们需要将刚刚解压好的bin子目录地址添加到环境变量PATH中,添加完成后就可以使用了。


环境变量Path

执行protoc --version可以查看版本信息,检查是否安装成功。


version

Windows安装:方法二

当然,如果需要在Windows平台进行基于Protocol Buffer的应用编译的话,还需要根据源代码制作lib库和头文件,因为没有Protocol Buffer的库和相应的头文件的话,我们的应用是没法编译通过的。

接下来,我们一起探究如何编译protocol buffer的源码并安装,大家一定事先准备好CMake和VS哦!

由于我们下载的是最新3.17.3版本的源码,它需要c++11支持,因此,需要安装VS2015以上的版本。这点很重要,会省掉很多不必要的麻烦。

对于CMake,我们可以在命令行中执行cmake --version,确认是否配置好环境变量,否则需要将cmake的安装目录加到环境变量中。


cmake

环境准备好之后,我们就可以开工啦!

同样的我们需要先解压源码压缩包protobuf-cpp-3.17.3.tar.gz,打开VS的开发命令行Developer Command Prompt(我们可以从开始菜单中查找),进入源码的cmake目录。


Developer Command Prompt

由于不同的工程有不同的配置,我们需要创建一个目录build来存放cmake生成的工程配置。

mkdir build & cd build

接下来,我们就可以使用CMake工具构建VS工程啦!

这里我们以VS2019为例,执行下面的命令:

mkdir vs2019 & cd vs2019
cmake -G "Visual Studio 16 2019" ^
-DCMAKE_INSTALL_PREFIX=../../../../install ^
../..

如下图,VS工程就在vs2019目录下生成成功啦!


vs2019工程目录

如下图,在CMake构建工程的过程中可能出现找不到编译器的情况,就有可能是VS2019缺少某些包导致,检查是否安装相应的安装包。


找不到编译器

这里因为缺少了CRT SDK没有安装导致了这种错误,安装之后,问题解决。


CRT SDK

现在我们就可以使用VS2019打开protobuf.sln,在Build菜单中选择Build Solution对整个工程进行编译。等待片刻之后,整个工程即可编译完成。


编译成功

现在我们就可以到编译输出目录(这里是Debug目录)将生成的静态库libprotobufd.lib libprotocd.lib以及可执行程序protoc.exe取出使用了。


静态库和可执行程序

我们可以把编译生成的protoc.exe放在C:protocprotoc-3.17.3-debugbin目录,libprotobufd.lib libprotocd.lib两个静态库放在C:protocprotoc-3.17.3-debuglib目录。然后,再将这两个目录添加到环境变量中。

如果你按照方法一已经安装过官方编译好的protoc.exe,别忘了将方法一配置的环境变量删掉。

我们知道只有静态库没有头文件是没法使用的,所以还需要相应的头文件。在vs2019目录下已经生成了一个脚本extract_includes.bat,我们只需运行此脚本,便会生成一个include文件夹,我们将其复制到C:protocprotoc-3.17.3-debug目录下,并将其添加到环境变量中即可。


生成头文件

安装好了之后,我们来看看如何使用protocol buffer呢?准备好,要开始上代码啦!

消息格式

首先,需要定义一个消息格式。新建一个文件hello.proto用来自定义一个消息格式,添加内容如下:

syntax = 'proto3';

package msg;

message helloworld{

int32 id = 1 ;
string str = 2;
optional int32 opt = 3;

}

proto文件可以用来定义消息数据类型,文件开头的syntax可以指定proto3或proto2,缺省情况下是proto2。

正如上面我们定义的消息格式,在定义消息时,消息中的每一个字段需要有如下部分组成:

  • 数据类型(field type)
  • 名字(field name)
  • 标识号(unique number)
  • 字段规则

上面的helloworld数据类型中使用了int32和string两种类型,当然,它不仅支持使用一些简单的数据类型,也可以支持使用自定义的数据类型以及枚举类型等。下表是一些常见的数据类型:


数据类型

标识号是指每个字段都需要一个唯一的编号,它决定了数据的二进制数据的格式,而且一旦消息被使用之后,这个值是不能被修改的。

大家应该发现在上面的helloworld消息中,字段定义中并没有字段规则,这是什么原因?

字段在定义时除了类型,名字和标识号之外,还需要一个字段规则作为修饰符,在proto3中字段规则主要有以下2种:

  • singular:它是proto3的默认规则,可以设置也可以不设置它的值
  • repeated: 可以认为是动态分配的数组

不过,对于proto2除了repeated还有下面2种:

  • optional: 可以设置,也可以不设置它的值,这个是和proto3里的singular是类似的;
  • required: 必须设置它的值

生成源码

定义好了消息格式后,之前安装的protoc编译器就可以派上用场啦!protoc编译器通过这个格式文件,就可以生成对应语言的源代码,这里我们选择生成的是C++的源码。可以使用如下命令生成C++源码:

protoc -I=. --cpp_out=. hello.proto
注意,命令中的几个参数:

  • -I指明了.proto文件所在的具体目录,如果省略这个参数,则使用当前的目录;
  • 参数--cpp_out=./是指定在当前目录生成c++源码文件;
  • hello.proto是我们定义的消息格式文件。

所以,在hello.proto之前是有一个空格的哦!


生成源码

命令执行完成后,我们将会在消息格式目录下面找到生成的源码文件hello.pb.cc和hello.pb.h。


源码文件

对于这一部分linux和Windows平台区别不大。

读写消息

一切已经就绪,就差一个栗子了,哈哈!下面我就可以使用生成的源码进行读写数据了。这里我们将编写这样一个例子,将数据写到hello.data文件中,然后再将文件中的内容读取出来。废话不多说,直接上代码!

// test.cpp

#include <iostream>
#include <fstream>
#include "hello.pb.h"

int main()
{
msg::helloworld m1;
m1.set_id(1);
m1.set_str("hello world");
m1.set_opt(3);

std::fstream f1("hello.data", std::ios::out | std::ios::trunc | std::ios::binary);
if(!m1.SerializeToOstream(&f1))
{
std::cout << "save data error" << std::endl;
return -1;
}
f1.close();
std::cout << "write data to hello.data successfully!!!" << std::endl;
std::cout << std::endl;

std::fstream f2("hello.data", std::ios::in | std::ios::binary);
msg::helloworld m2;
if(!m2.ParseFromIstream(&f2))
{
std::cout << "parse data error" << std::endl;
return -1;
}
f2.close();

std::cout << "read data from hello.data" << std::endl;
std::cout << "id = " << m2.id() << std::endl;
std::cout << "std = " << m2.str() << std::endl;
std::cout << "opt = " << m2.opt() << std::endl;

return 0;
}

大家有没有发现?这里我们可以很方便的调用生成的API对数据进行操作,是不是简单而又方便?

编译和运行

想必大家应该已经知道到最终的输出结果是什么了吧?我们将自动生成的消息代码hello.pb.cc hello.pb.h和测试代码test.cpp放到一起,通过c++编译器生成一个可执行文件,看看是不是如大家所想的那样?

下面我们分别用Linux平台和Windows平台验证一下结果。

Linux平台

我们在上面的安装这一步骤中已经配置好protocol buffer的Linux平台开发环境,将源码按照下面的命令进行编译即可。

g++ hello.pb.cc test.cpp -o test `pkg-config --cflags --libs protobuf` -lprotobuf -std=c++11 -lpthread

这里需要注意的是,在编译时需要添加-lprotobuf -std=c++11 -lpthread等参数,否则会有惊喜出现哦!

一切顺利,最终生成了可执行文件test,我们再执行./test看看结果如何?


结果

最后,再来看一下我的测试工程目录结构:


工程目录

windows平台

我们使用vs2019创建一个新项目test,并将hello.pb.cc hello.pb.h和测试代码test.cpp添加到工程中。


test工程

接下来,我们还需要再对工程进行一些配置,首先将之前生成的头文件目录和静态链接库目录配置到项目属性中。


添加头文件和静态库目录

然后,再添加依赖,将libprotobufd.lib libprotocd.lib两个静态库名字添加到依赖中。(Linker -> Input -> Additional Dependencies)


添加依赖

由于之前的protocol buffer工程的运行库是MTD方式,如果要使用其生成的静态库就需要当前的工程相匹配,因此,这里我们也选择MTD方式,否则,在链接时将会出现运行时不匹配的错误。


Runtime Library

最后,编译完成后,运行观察结果。


运行结果

至此,大家都应该已经学会如何使用protocol buffer了吧?

最后

无疑protocol buffer是一个非常强大的存在,广受众多开发者的一致好评。然而,世界上没有绝对完美的东西,protocol buffer也是如此。由于protocol buffer是以二进制的方式进行存储的,在可读性方面就没那么友好了,它就无法像xml那样进行直接的编辑和修改。当然,工具是死的人是活的,只要我们知道.proto文件的格式,我们就可以通过工具对其进行修改,来提高便利性。

推荐器件

更多器件
器件型号 数量 器件厂商 器件描述 数据手册 ECAD模型 风险等级 参考价格 更多信息
AD73311ARSZ-REEL 1 Rochester Electronics LLC SPECIALTY TELECOM CIRCUIT, PDSO20, SSOP-20
$9.29 查看
KSZ8895MLXI 1 Microchip Technology Inc DATACOM, ETHERNET TRANSCEIVER
暂无数据 查看
TJA1051TK/3,118 1 NXP Semiconductors TJA1051 - High-speed CAN transceiver SON 8-Pin

ECAD模型

下载ECAD模型
$1.64 查看

相关推荐

电子产业图谱