c语言使用protobuf与后台前置通信优点及使用总结

C/C++编程:Protobuf 使用 概述 前言 在移动互联网时代,手机流量、电量时最为有限的资源,而移动端的即使通讯应用无疑必须的直面这两点 解决流量过大的基本方法是使用高度压缩的通信协议,而数据压缩后流量减少带来的自然结果也就是省电:因为大数据量传输必然需要更久的网络操作、、数据序列化及反序列化操作,这些都是电量消耗过快的根源。 当前即时通讯应用中最热门的通信协议无疑就是Google的Protobuf了,相比于它的前辈xml、json,它的体量更小,解析速度更快,所以在 IM 这种通信应用中,非常适合将 Protobuf 作为数据传输格式 阅读详情

ProtoBuf是Google开源的一套二进制流网络传输协议,它独立于语言,独立于平台。google 提供了多种语言的实现:java、c#、c++、Go 和Python,每一种实现都包含了相应语言的编译器以及库文件。由于它是一种二进制的格式,比使用 xml 进行数据交换快许多。可以把它用于分布式应用之间的数据通信或者异构环境下的数据交换。作为一种效率和兼容性都很优秀的二进制数据传输格式,可以用于诸如网络传输、配置文件、数据存储等诸多领域。

优点:传输效率快(比xml和json快10-20倍),文档型协议; 
缺点:使用不太方便,仅是相对而言;

这里简单解释一下什么是文档型协议,向我们的xml和json一般在使用的时候都需要保存一份说明文档和一个实际的java类,而protobuf在使用的时候其定义的格式就是说明文档,简单明了而且可以将其编译成各个平台的类库,以java平台为例,其编程成jar之后,若定义文件发生了变化,则在使用jar包的话就会报错,必须重新编译,这也就保证了App端与服务器端的协议统一性。

基于前两篇对protobuf的介绍。如果嵌入式终端设备c语言,与后台前置通信,使用protobuf,能带来效率的提升吗?

举例,假如终端pos需要从后台采集前置下载票价,终端上传消费记录给采集前置posp。

传统的模式是采集前置定义好协议,然后终端和采集前置都按照协议一个一个来组包,收到数据后再按照协议一个一个来解包。

如果,按protobuf来做,会是什么样的呢?

同样采集前置和终端约定好*.proto文件。

通信协议简单了,定义为上送和下发proto文件的字节流。

收到之后,解析容易多了,因为直接就反序列化成对象了。直接取值即可。

记录上传,终端如果把记录存储为probuf格式的文件,在大小上并不会占用太多空间。

直接上送给前置,前置省略了解析的步骤。且中间避免了因对照协议解析的错误。

不用等待平台和采集一块联调,可以各自开始,因为 prptobuf 各个平台下都是通用的。

大大的提高了效率。

如果有机会,可以尝试尝试。但是这种尝试,需要采集和平台也接受这种技术,配合着才行。

最后介绍下简单使用:

linux平台下的使用,可以编译个工具,参见我的另一篇博客编译protobuf工具,或者网上能找个linux下能用的:protobuf在嵌入式linux下的移植及c语言调用_独行猫A 的沉淀、积累、总结。天天学习,好好向上...linux,Android,Vue,Go)-CSDN博客_protobuf 移植

Windows平台下使用,有很多现成的proto-c.exe程序工具,找一个能用的下载下来即可。

如可以在这下载:Releases · protocolbuffers/protobuf · GitHub

但是这些下载的不支持c语言的代码生成,仅支持c++,golang,java等语言的。要想c语言下使用,

参见我的另一篇博客编译protobuf工具。从GitHub - protobuf-c/protobuf-c: Protocol Buffers implementation in C 克隆下protobuf-c源码编译。

总结:

Google出品,必属精品。

1、经过测试,我们发现,其实protobuf的原理很简单,和两端都是C语言实现的client/server直接传输结构体变量原理是一样的,我们都知道,C语言结构体成员的存储方式都是顺序存储。所以发送和接收方都按照对应的成员排列位置进行解析,就可以实现数据的传输。

2、但是protobuf设计初衷应该是为了适应不同的语言之间数据传输,像java写的server里面就没有结构体,所以就不能传输C写的client里面的结构体变量给对方,对方是解析不了的。另外protobuf在.proto文件里面指定了具体的位置编号,否则应该就没办法生成.c和.h文件,如果后续双方通讯格式要做调整,双方都使用同一个修改后的.proto文件重新生产对应的源文件,重新编译即可。

3、为什么说用protobuf比json简单高效,原因就是你用json传输数据,每次字符串里面都传输了一堆没用的数据,比如键值对的冒号,以及键值名字和值的双引号,还有大小括号,因为通讯双方都知道对应的键值名以及怎么解析json(如果不知道键值名字,收到的数据还怎么解析?)。

双方都有的数据还每次传来传去,不是浪费是什么? 纯粹就是浪费带宽和存储,要传输的对方没有的数据,这才是有用数据。有人就说,这几个括号和键值名字能浪费多少带宽和空间,别小看这些小东西,假如数据交互量大和非常频繁,你就知道了,这里面的存储空间和带宽消耗差距是可怕惊人的。

Linux下protobuf和 protobuf-c安装使用 阅读详情

相关推荐

protobuf-c简介与使用

protobuf-c简介 一、数据类型照 proto类型 C/C++类型 proto类型 C/C++类型 double double float float int32 int32 int64 int64 uint32 uint32 uint64 uint64 sint32 int32 sint64 int64 fixed32 uint32 fixed64 uint64 sfixed32 int32 sfixed64 int64 bool bool string st

六斤的小猪猪呀 5160

protobuf 编译和使用(C语言)

protobuf编译和使用(C语言) 文章目录前言一、什么是Protobuf二、Protobuf有什么三、如何编译3.1 protobuf编译安装3.2 protobuf-c编译安装四、如何使用 前言 某次面试,面试官问到了SIP中的松散路由(loose router)与严格路由(strict router),由于不了解,自行学习之后在这里进行总结。 一、什么是Protobuf XML和JSON是目前常用的数据交换格式,它们直接使用字段名称维护序列化后类实例中字段与数据之间的映射关系,一般用字符串的形

m0_37915666的博客 1万+

Protobuf && protobuf-c

Protobuf(Protocol Buffers)是Google开发的高效二进制数据序列化工具,具有体积小、速度快、跨平台等优势。相比JSON/XML,Protobuf采用二进制编码,数据体积可缩小3-10倍,序列化速度更快,并支持强类型检查和多语言支持。其核心包括.proto定义文件、protoc编译器和各语言运行时库。典型应用包括gRPC通信、微服务数据传输等场景。虽然需要预定义Schema且调试不便,但在性能敏感场景优势明显。示例展示了从定义proto文件到生成代码、序列化/反序列化的完整流程,并提

hqyj15121的博客 603

protobuf与c语言

谷歌的protobuf支持很多种语言,唯独不支持c,而在嵌入式设备上大都是c语言开发,有很大的需求, 由此出现了很多非官方的支持c语言版ptotobuf。一直在更新的好像就nanopb和protobuf-c。 比如 nanopb protobuf-c lwpb(too old) Protobuf-Embedded-C(too old) empb(too old) pbc(too o...

Henry_Wu001的专栏 2499

Go 语言微服务架构搭建:基于 gRPC 和 Protobuf 的高效通信实践

微服务架构是一种将应用拆分为一组小的、独立的服务的架构模式。每个微服务都围绕一个特定的业务功能构建,具有自己的数据库、业务逻辑和 API。松耦合:服务之间通过 API 进行交互,独立部署和扩展。可伸缩性:每个服务可以单独扩展,适应不同的负载。技术多样性:不同的微服务可以使用不同的技术栈。然而,随着微服务数量的增多,服务间的通信变得复杂,如何高效、安全、可靠地进行服务间通信成为微服务架构设计中的一个关键问题。gRPC。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1248

protobuf的静态编译及反射的使用示例

protobuf编译、protobuf反射运用、完整代码

li__________的博客 1670

Linux:protobuf——一种更小、更快、更高效的协议(protobuf-c使用方法)

前言 之前分享关于JSON的使用:例说嵌入式实用知识之JSON数据。JSON类型数据可读性很好,但是整个数据包中会带有一些无用的数据,会在一定程度上带来通信负担。 本篇文章我们来分享一种更轻量的数据格式——protobuf。 protobuf的优点: 更小、更快、更简单。 支持多种编程语言 。 解析速度快。 可扩展性强。 什么是protobuf、protobuf-c? Protocol Buffers,是Google公司开发的一种数据格式,类似于XML能够将结构化数据序列化.

weixin_44498318的博客 2453

STM32F429网络通信避坑指南:用CubeMX搞定LAN8720+LWIP+FreeRTOS(附完整代码)

本文详细介绍了STM32F429通过CubeMX配置LAN8720+LWIP+FreeRTOS实现网络通信的避坑指南,涵盖硬件连接、CubeMX配置、LWIP优化及调试技巧,提供完整代码和实战经验,帮助开发者高效解决以太网通信中的常见问题。

weixin_26873711的博客 145

C++使用protobuf实现序列化与反序列化

考虑设计一个协议? 高效、简单、扩展、兼容 解决拆包粘包: Protobuf的工作流程: 1. 首先设计一个 .proto 文件,其中是开发人员设计的协议内容; 2. 然后通过 protobuf 自带的 解析工具,将 .proto 文件进行解析,生成目标语言(c, cpp, java, py 等)的文件; 3. 最后将生成的目标语言的文件引入项目。 一个 .proto 文件编写示例: //addrbooks.proto syntax = "proto3"; //表示协议版本 //syntax: n.

ArtAndLife的博客 2万+

B-Tree数据存储

SQLITE数据存储1. B-Tree的优势  在SQLite中数据库、表、索引都是通过B-Tree和B+Tree的形式进行存储的。如果采用传统的二叉树查找树、红黑树的查找深度一般为log2(N) \log{_2}(N)(其中N表示的是整个树的关键字的数目),在数据库中如果存储的资源过多,就会导致查找一个数据过程中出现较多的磁盘I/O操作,而过多的磁盘操作就会导致整个查找的效率较低,而基于二叉树的一

Promiscuous_youth的博客 1142

海康威视门禁考勤设备数据对接实战:从被动推送到主动拉取

本文深入探讨了海康威视门禁考勤设备数据对接的两种核心方案:HTTP推送与SDK主动拉取。文章对比了两种方式的适用场景、技术实现与优缺点,为开发者提供了从设备配置、代码编写到工程化部署的完整实战指南,帮助读者根据项目规模、网络环境及数据稳定性要求,做出最合适的技术选型。

weixin_29284657的博客 673

Linux下使用protobuf-c实现自定义协议

1、背景需求    通信协议设计,考虑了后续跨语言的支持(如Java、Python、C),需求一种序列化、反序列化的库2、相关知识    Google Protocol BUffer 提供了一种适用于RPC系统、持续数据存储系统的混合语言数据标准,可用于通信协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前有C++、C、Java、Python三种语言的API。2.1 pro...

staticnetwind的专栏 1万+

ck3m多轴运动控制器笔记1:电机的配置与注意事项

利用PMAC(CK3M)运动控制器来实现对电机的控制,对具体的配置流程和注意事项讲解

p975468132的博客 4645

Ubuntu下使用protoBuf

protobuf是用来干嘛的?protobuf是一种用于 对结构数据进行序列化的工具,从而实现 数据存储和交换。(主要用于网络通信中 收发两端进行消息交互。所谓的“结构数据”是指类似于struct结构体的数据,可用于表示一个网络消息。当结构体中存在函数指针类型时,直接对其存储或传输相当于是“浅拷贝”,而对其序列化后则是“深拷贝”。**序列化:**将结构数据或者对象转换成能够用于存储和传输的格式。**反序列化:**在其他的计算环境中,将序列化后的数据还原为数据结构和对象。

weixin_45312249的博客 2973

论文代码复现 | 无人机与卡车联合配送(Python+Gurobi)(The flying sidekick traveling salesman problem)

无人机配送-代码复现The flying sidekick traveling salesman problem-Part 1文献笔记:(无人机配送-代码复现)The flying sidekick traveling salesman problem-Part 1摘要论文主要图标摘录数值实验算例结果参考文献 文献笔记:(无人机配送-代码复现)The flying sidekick traveling salesman problem-Part 1 摘要 Once limited to the milit

HsinglukLiu的博客 3万+

什么是 SAPGUI 里的 Logon Group/Server

这意味着,不同的用户连接可以被分配到不同的应用服务器,以实现均衡的资源利用和降低某一服务器的负载压力。在这种配置下,欧洲的用户登录时选择“EUROPE_GROUP”,系统将自动选择一个位于欧洲的数据中心的服务器进行连接,这样不仅减少了网络延迟,还实现了服务器间的负载均衡。用户在 SAPGUI 中登录时,只需选择相应的 Logon Group(例如“FIN_GROUP”),系统就会自动将他们的连接请求分配到当前负载最小的应用服务器上,这种动态分配大大提升了系统的响应速度和稳定性。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1073

ProtoBuf介绍与使用

ProtoBuf介绍与使用

冯同学的博客 6582

把 Client 当成 ABAP 系统的多租户底座:从 sy-mandt 到 CDS_CLIENT 的隔离机制与工程实践

本文深入解析SAP ABAP系统中Client概念的本质与应用。Client不仅是数据表的MANDT字段,更是会话级别的隔离边界,贯穿用户登录、授权和数据访问控制全过程。文章从ABAP SQL的隐式Client处理机制出发,详细介绍了USING CLIENT、USING ALL CLIENTS等安全跨客户端访问方式,并对比了传统CLIENT SPECIFIED的风险。同时阐述了ABAP CDS中@ClientHandling注解的类型与算法选择,包括#AUTOMATED自动拼接和#SESSION_VARIA

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 186

swift使用swift-protobuf协议通讯,使用指北

Protobuf(Protocol Buffers)协议😉 Protobuf 是一种由 Google 开发的二进制序列化格式和相关的技术,它用于高效地序列化和反序列化结构化数据,通常用于网络通信、数据存储等场景。为什么要使用Protobuf?

2926

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

在C语言环境下使用google protobuf

本文写给经常使用C编程且不喜欢C++而又要经常使用google protobuf的人。 经常写通讯程序的人对数据进行序列化或者反序列化时,可能进程使用google的protobuf(PB),其优点多多,不用我在这里赘述。 PB可以跨语言使用,唯独缺了C语言。礼失求诸野,我在网上找到了一个非官方的protobuf-c,其官方网址是http://code.google.com/p/protobuf

menggucaoyuan的专栏 1万+

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

Golang版protobuf的安装与使用

Protobuf 介绍 序列化库在网络传输,RPC,数据库访问等环境中经常用到,它的性能的好坏直接影响着整个产品的性能, 所以我们有必要对一些优秀的序列化库进一步的学习与掌握. protobuf是Google开发的一种数据描述语言语言,能够将结构化的数据序列化,可用于数据存储,通信协议等方面,官方版本支持 Go, C++, Java, Python,社区版本支持更多语言. 相对于JSON和X...

weixin_41282397的博客 3752

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Protobuf简单使用

Protobuf是Google开发一种数据描述语言,能够将结构化数据序列化,可用于数据存储、通信协议等方面。据Google官方文档介绍,现在Google内部已经有48,162个消息类型定义在12,183个proto文件中。简介protobuf是Google开发的一种数据描述语言语言,能够将结构化的数据序列化,可用于数据存储,通信协议等方面,官方版本支持C++,Java,Python,社区版本支持更多

码农的成长之路 1813

protobuf简介和使用方法

Protobuf 是一种灵活、高效的数据序列化工具,特别适用于需要在不同系统和语言间传输结构化数据的场景,同时也提供了易于使用的接口和强大的数据定义和管理能力。

fhb1922702569的博客 1980

嵌入式Linux:编译和使用Protobuf库

Protobuf提供了Protobuf工具,用于将.proto文件转换为C源代码和头文件,而Protobuf-c生成了编译所需的动态库。

不脱发的程序猿 2179

分布式系统通信解决方案:Netty 与 Protobuf 高效应用

Protobuf 是一种语言无关、平台无关的数据序列化协议。它通过定义 `.proto` 文件来描述数据结构,然后使用 Protobuf 编译器(`protoc`)生成特定语言的代码来实现数据的序列化与反序列化操作。 Protobuf 提供了一种高效、紧凑的方式来存储和交换数据,与传统的 JSON 和 XML 相比,它更加节省带宽和存储空间,特别适用于高并发、低延迟的网络通信场景。

qq_36534560的博客 1058
上一篇: protobuf在java, Android下的使用总结
下一篇: 若一开始代码架构不清晰,就是前人挖坑,后面所有人掉坑里
特立独行的猫a
特立独行的猫a 领域专家: 嵌入式与硬件开发技术领域 领域专家: 嵌入式与硬件开发技术领域
博客等级 码龄14年 14万+粉丝 977原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

特立独行的猫a

您的鼓励是我的创作动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值