博客
关于我
protobuf + maven 爬坑记
阅读量:298 次
发布时间:2019-03-03

本文共 2009 字,大约阅读时间需要 6 分钟。

疯狂创客圈 死磕Netty 亿级流量架构系列之12 【 】

本文说明

本篇是 netty+Protobuf 整合实战的 第一篇,完成一个 基于Netty + Protobuf 实战案例。

要实现高并发、大流量,首先需要高传输效率的协议,Protobuf 是迄今为止最高性能之一的传输格式,我们首先将 Protobuf 和Netty整合起来。

本案例源代码

源代码下载链接:

1.1. protobuf 代码生成

在创建好**.proto协议文件之后,就需要按照好了对应版本的 protoc.exe工具protoc.exe工具是生成Java文件的工具软件。 安装的方法,前面已经讲了。

这里需要提示一下版本。Java 的maven 配置文件中 proto 包的版本,和 .proto文件的版本, 以及生成java 代码的protoc.exe的版本,三者需要一致。

1.1.1. 使用命令生成

下面开始生成 消息的 Java代码。 需要用到下面的指令:

protoc.exe --java_out=输出的Java文件路径名称 .proto文件路径名称

例如:

protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

输入完之后,回车即可在目标目录看到已经生成好的Java文件,然后将该文件放到项目中该文件指定的路径下即可。

本案例的工程中,以及给大家准备好了**.bat** windows 的命令文件,在 .bat 目录 下执行**.bat** 文件即可。 .bat 文件如下:

d:

cd D:\crazymakercircleJava\nettydemo\chatcommon
protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

使用的时候,注意调整为实际的目录。

1.1.2. 命令生成代码的两个大坑

1.1.2.1. 大坑一:可劲儿提示没有协议版本

使用protoc.exe指令生成java代码时,提示没有设置协议版本。错误如下:

D:\crazymakercircleJava\nettydemo\chatcommon>protoc.exe --java_out=./src/main/java/ ./proto/ProtoMsg.proto

[libprotobuf WARNING T:\src\github\protobuf\src\google\protobuf\compiler\] No syntax specified for the proto file: proto/ProtoMsg.proto. Please use ‘syntax = “proto2”;’ or ‘syntax = “proto3”;’ to specify a syntax version. (Defaulted to proto2 syntax.)

实际上,协议版本是已经设置好了的。

1.1.2.2. 大坑二: 没有生成Java代码

通过切换到老的protobuf代码生成器版本,比方说2.6.1 ,这时候,会没有错误提示了。

但是,新的问题来了,在代码生成的目标目录下,就是看不到生成Java代码。说明代码还是没有生成成功。

爬出这两个大坑,会浪费大量的时间。

1.1.3. 使用Maven插件生成Java代码

其实,天无绝人之路。

一条更好的路等着你来。这就是maven插件。

使用protobuf-maven-plugin,可以非常方便的生成Java代码。

插件的配置如下:

org.xolstice.maven.plugins protobuf-maven-plugin 0.5.0 true ${project.basedir}/proto/protoConfig ${project.build.sourceDirectory} false ${project.build.directory}/protoc-temp ${project.basedir}/proto/protobin/protoc3.6.1.exe compile test-compile

插件的配置项中,需要配置的内容如下:

(1)protoSourceRoot : protobuf 协议文件的路径

(2)outputDirectory :java 文件的目标路径

(3)protocExecutable : protobuf 代码生成工具的路径

配置好之后,执行插件的compile命令, Java代码就利索的生成了。


疯狂创客圈 分布式实战社群
  • 亿级流量 高并发 IM后台 开源项目实战

  • Netty 源码、原理、JAVA NIO 原理

  • Java 面试题 一网打尽

  • 疯狂创客圈


转载地址:http://fbfm.baihongyu.com/

你可能感兴趣的文章
ngrok | 内网穿透,支持 HTTPS、国内访问、静态域名
查看>>
ngrok内网穿透可以实现资源共享吗?快解析更加简洁
查看>>
NHibernate学习[1]
查看>>
NHibernate异常:No persister for的解决办法
查看>>
NIFI1.21.0_java.net.SocketException:_Too many open files 打开的文件太多_实际操作---大数据之Nifi工作笔记0051
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_日期类型_以及null数据同步处理补充---大数据之Nifi工作笔记0057
查看>>
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_更新时如果目标表中不存在记录就改为插入数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0059
查看>>
NIFI1.21.0_NIFI和hadoop蹦了_200G集群磁盘又满了_Jps看不到进程了_Unable to write in /tmp. Aborting----大数据之Nifi工作笔记0052
查看>>
NIFI1.21.0_Postgresql和Mysql同时指定库_指定多表_全量同步到Mysql数据库以及Hbase数据库中---大数据之Nifi工作笔记0060
查看>>
NIFI1.21.0最新版本安装_连接phoenix_单机版_Https登录_什么都没改换了最新版本的NIFI可以连接了_气人_实现插入数据到Hbase_实际操作---大数据之Nifi工作笔记0050
查看>>
NIFI1.21.0最新版本安装_配置使用HTTP登录_默认是用HTTPS登录的_Https登录需要输入用户名密码_HTTP不需要---大数据之Nifi工作笔记0051
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增加修改实时同步_使用JsonPath及自定义Python脚本_03---大数据之Nifi工作笔记0055
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_插入修改删除增量数据实时同步_通过分页解决变更记录过大问题_01----大数据之Nifi工作笔记0053
查看>>
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056
查看>>
NIFI1.23.2_最新版_性能优化通用_技巧积累_使用NIFI表达式过滤表_随时更新---大数据之Nifi工作笔记0063
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_根据binlog实现数据实时delete同步_实际操作04---大数据之Nifi工作笔记0043
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置binlog_使用处理器抓取binlog数据_实际操作01---大数据之Nifi工作笔记0040
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_实现数据插入数据到目标数据库_实际操作03---大数据之Nifi工作笔记0042
查看>>
NIFI从MySql中增量同步数据_通过Mysql的binlog功能_实时同步mysql数据_配置数据路由_生成插入Sql语句_实际操作02---大数据之Nifi工作笔记0041
查看>>