七叶笔记 » golang编程 » 如何在skynet框架中使用socket+protobuf

如何在skynet框架中使用socket+protobuf

分类: golang编程 | 浏览: 716

引言：

假如我们要建立的skynet服务器与客户端的连接方式为长连接，且选择了Google的Protobuf来定制我们的网络协议，那么，接下来我们要解决的问题就是： 如何在skynet框架中使用 socket +protobuf 。

API

几个常用的skynet接口： 

 *   输出错误信息：          skynet.error(...)
*   获取本地服务句柄方式：   skynet.localname(...)
*   设置定时器方式：        skynet.timeout(...)
*   skynet强制退出方式：    skyname.abort()
*   服务开始方式：          skynet.start(...)
*   服务注销方式：          skynet.exit()
*   发送原始文本消息方式：   skynet.core.send(...)

protobuf在skynet中使用：

由于protobuf的lua版本的支持存在着部分缺陷，为了避免踩坑，这里我们直接使用云风博客中推荐的 pbc 动态proto解析库。

资源下载：

下载 pbc ：跟下载skynet源码一样，通过 git 将 pbc 的源码克隆到本地： 

 bogon:project linshuhe$ git clone 
Cloning into 'pbc'...
remote: Counting objects: 1156, done.
remote: Total 1156 (delta 0), reused 0 (delta 0), pack-reused 1156
Receiving objects: 100% (1156/1156), 302.95 KiB | 310.00 KiB/s, done.
Resolving deltas: 100% (682/682), done.
Checking connectivity... done.

编译并合入项目：

项目编译：
可以在pbc根目录下运行make指令编译项目： 

 linsh@ubuntu:/ application /pbc$ sudo make
cd build && ar rc libpbc.a ../build/o/context.o ../build/o/varint.o ../build/o/array.o ../build/o/pattern.o ../build/o/register.o ../build/o/proto.o ../build/o/map.o ../build/o/alloc.o ../build/o/rmessage.o ../build/o/wmessage.o ../build/o/bootstrap.o ../build/o/stringpool.o ../build/o/decode.o
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o addressbook ../test/addressbook.c -lpbc
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o pattern ../test/pattern.c -lpbc
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o pbc ../test/pbc.c -lpbc
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o float ../test/float.c -lpbc
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o map ../test/map.c -lpbc
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o test ../test/test.c -lpbc
cd build && gcc -O2 -fPIC -Wall -I.. -L. -o decode ../test/decode.c -lpbc
protoc -obuild/addressbook.pb test/addressbook.proto
protoc -obuild/descriptor.pb test/descriptor.proto
protoc -obuild/float.pb test/float.proto
protoc -obuild/test.pb test/test.proto

假如编译结果报错了： 

 make: protoc：命令未找到
make: *** [build/addressbook.pb] 错误 127

这是因为当前环境还没安装 protobuf ，安装步骤如下：

指令安装： 

 sudo apt-get install protobuf-c-compiler protobuf-compiler 1

查询版本验证完成： 

 linsh@ubuntu:/application/pbc$ protoc --version libprotoc 2.5.0 12

给大家推荐一个关于skynet项目实战的一个训练营 现在报名相当于免费，（后台私信“skynet”获取地址）主讲内容：

多核并发编程
消息队列。线程池
actor消息调度
网络模块实现
时间轮定时器实现
lua/c/接口编程
skynet编程精要
demo演示actor编程思维
更多skynet及c/c++ linux服务器开发资料加群： 812855908 免费领取！

（ 包括C/C++，Linux，golang技术，Nginx，ZeroMQ，MySQL，Redis，fastdfs，MongoDB，ZK，流媒体，CDN，P2P，K8S，Docker，TCP/IP，协程，DPDK，ffmpeg等 ）

工具编译：
用终端进入pbc项目 pbc/binding/lua53 目录下面编译出protobuf.so： 

 cd pbc/binding/lua
sudo make

编译成功的话，将 protobuf.so 放在config文件中 lua_cpath 项配置的目录下面，同时将 protobuf.lua 放在config文件 lua_path 配置的目录下，就可以调用protobuf中的库方法。我当前项目这两项的配置如下： 

 lua_path = root.."lualib/?.lua;"..root.."lualib/?/init.lua"
lua_cpath = root .. "luaclib/?.so"

则移动文件命令可以如下： 

 sudo cp protobuf.so /application/skynet/luaclib 
sudo cp protobuf.lua /application/skynet/lualib

编译报错：

在 pbc/binding/lua 目录下编译，出现以下错误： 

 linsh@ubuntu:/application/pbc/binding/lua$ sudo make
gcc -O2 -fPIC -Wall -shared -o protobuf.so -I../.. -I/usr/local/include -L../../build pbc-lua.c -lpbc
pbc-lua.c:4:17: fatal error: lua.h: 没有那个文件或目录
#include "lua.h"
                ^
compilation terminated.
make: *** [protobuf.so] 错误 1

报错原因： 这里因为没有安装 lua5.3 ，不能是 lua5.2 或是 lua5.1 等低版本，否则会报错。因为pbc用到了 lua_rotate 这是 lua5.3 新增的类型。
解决方案： 安装一下 lua5.3 即可解决，步骤如下：

到lua官网下载lua5.3的安装包：
lua-5.3.0.tar.gz
也可以使用命令行下载工具 axel ： 

 linsh@ubuntu:/application/pbc/binding$ sudo axel 
初始化下载: 
 file  size: 278045 bytes
打开输出文件 lua-5.3.0.tar.gz
开始下载

[  0%]  .......... .......... .......... .......... ..........  [  53.8KB/s]
[ 18%]  .......... .......... .......... .......... ..........  [  73.1KB/s]
[ 36%]  .......... .......... .......... .......... ....
连接 3 结束
        ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,......  [  96.9KB/s]
[ 55%]  .......... .......... .......... .......... ..........  [  92.5KB/s]
[ 73%]  .......... .......... .......... ......
连接 0 结束
        ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,.... ........
连接 1 结束
        ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,,, ,,,,,,,,..  [  80.5KB/s]
[ 92%]  .......... .......... .

271.5 千字节 已下载，用时 6 秒。（43.52 千字节/秒）

使用压缩包进行解压和安装：
先将下载好的文件拷贝到 usr/local/src 目录下 

 sudo cp lua-5.3.0.tar.gz /usr/local/src

依次执行以下指令： 

 sudo tar zxf lua-5.3.0.tar.gz 
cd lua-5.3.0/ 
sudo make linux test

创建软链接，是lua可以在当前环境下随处可用： 

 sudo ln -s /usr/local/src/lua-5.3.0/src/lua /usr/bin/lua

测试一下软连接是否成功： 

 linsh@ubuntu:/usr/local/src/lua-5.3.0/src$ lua
程序 'lua' 已包含在下列软件包中：
* lua5.2
* lua5.1
* lua50
请尝试：sudo apt-get install <选定的软件包>

我也出现过这个问题，最后查到原因是因为添加软链接时第一个地址（lua的安装地址） /usr/local/src/lua-5.3.0/src/lua 被我写成了 /usr/local/src/lua5.3.0/src/lua ，解决问题和可以看到： 

 linsh@ubuntu:/usr/bin$ lua
Lua 5.3.0  Copyright (C) 1994-2015 Lua.org, PUC-Rio
>

修改 pbc/binding/lua/Makefile 中lua库的地址配置信息 LUADIR 为当前lua安装的地址： 

 LUADIR = /usr/local/src/lua-5.3.0/src 1

再次运行编译指令，并查询当前目录下文件的变化： 

 linsh@ubuntu:/application/pbc/binding/lua$ sudo make
gcc -O2 -fPIC -Wall -shared -o protobuf.so -I../.. -I/usr/local/src/lua-5.3.0/src -L../../build pbc-lua.c -lpbc
linsh@ubuntu:/application/pbc/binding/lua$ ls
build_ios.sh  Makefile  parser.lua  pbc-lua.c  protobuf.lua  protobuf.so  README.md  test2.lua  test.lua  testparser.lua

测试：

先在项目根目录下创建一个 protos 文件夹，用来存放协议文件，创建一个 Person.proto 协议文件，内容如下： 

 sudo mkdir protos 
cd protos 
sudo vi Person.proto

协议文件的内容如下： 

 package  cs ; 
message Person { 
required string name = 1; 
required int32 id = 2; // Unique ID number for this person. 
optional string email = 3; 
enum PhoneType { 
MOBILE = 0; 
HOME = 1; 
WORK = 2; 
} 
message PhoneNumber { 
required string number = 1; 
optional PhoneType type = 2 [default = HOME]; 
} 
repeated PhoneNumber phone = 4; 
}

将协议文件到处为 .pb 格式： 

 linsh@ubuntu:/application/skynet/protos$ sudo protoc --descriptor_set_out Person.pb Person.proto 
linsh@ubuntu:/application/skynet/protos$ ls 
Person.pb Person.proto

目录下多出了一个对应的.pb文件。

在lua中注册对应的协议文件：

引入protobuf.lua： 

 local pb = require "protobuf" 1

注册.proto协议文件所对应的.pb文件，注册方法有两种：

方法一：直接注册文件： 

 pb.register_file "Person.pb" 

方法二：通过io读取文件，然后再获取文本内容进行注册： 

 file = io.open("Person.pb","rb") 
buffer = file:read "*a" 
file:close() 
pb.register(buffer)

通过 encode 和 decode 两个接口来实现编码和解码，完整测试脚本： 

  local skynet = require "skynet" 
local protobuf = require "protobuf" 
skynet.start(function() 
protobuf.register_file "./protos/Person.pb" 
skynet.error("注册协议文件：Person.pb") 
stringbuffer = protobuf.encode("cs.Person", { 
name = "linsh", 
id = 1,
 }) 
local data = protobuf.decode("cs.Person",stringbuffer) 
skynet.error(" 数据编码 ：name="..data.name..",id="..data.id) 
end) 
```

运行正确的结果： 

 [:0100000c] 注册协议文件：Person.pb
[:0100000c] 数据编码：name=linsh,id=1

除外， 云风 还自定义了一套协议格式 sproto ，据说比 protobuf 还要简单。

相关文章