黑马程序员技术交流社区

标题: 【上海校区】Mxnet/Gluon中网络和参数的存取方式 [打印本页]

---

作者: 梦缠绕的时候    时间: 2019-1-15 10:05
标题: 【上海校区】Mxnet/Gluon中网络和参数的存取方式
来对最近的Mxnet、Gluon网络和参数存取进行更新。

Gluon是MXnet的高层封装，网络设计简单易用，与Keras类似。随着深度学习技术的普及，类似于Gluon这种高层封装的深度学习框架，被越来越多的开发者接受和使用。

在开发深度学习算法的时候，必然会涉及到网络(symbol)和参数(params)的存储和加载，Gluon模型的存取接口与MXnet略有不同。在MXnet体系中，网络与参数是分离的，这样的设计是有利于迁移学习(Transfer Learning)中参数的复用。

在MXnet体系中，net=symbol+params
1  Mxnet

MXNet中网络和参数是分离的，这两部分需要分别存储和读取。

1.1 symbol

MXnet的网络(symbol)使用json格式存储：

1、创建填充变量data,即vd=mx.symbol.var('data')
2、将填充变量置入网络，即vnet=net_triplet(vd)
3、获取填充之后的网络、转换为json对象，即symbol_json=vnet.to_json()
4、将json对象写入文件，即write_line(json_file,symbol_json)
1.2 parameters

MXnet的参数(parameters)存储比较简单：

(1)在训练过程中，自动调整网络的参数；

(2)在训练过程中，调用网络的save_parameters()函数，即可保存参数，即net.save_parameters(path)

1.3  加载symbol和parameters

MXnet网络和参数的加载方式：

网络（symbol）：调用SymbolBlock()创建网络，output是已加载的json结构，input是填充的data变量；

参数(parameters)：调用load_parameters()加载参数，params是参数路径，ctx是context,即CPU/GPU环境

实现：

sym = os.path.join(ROOT_DIR, self.config.cp_dir, "sym.json")
params = os.path.join(ROOT_DIR, self.config.cp_dir, "triplet_loss_model_88_0.9934.params")
self.model = gluon.nn.SymbolBlock(outputs=mx.sym.load(sym), inputs=mx.sym.var('data'))
self.model.load_parameters(params, ctx=ctx)
2  Gluon

Gluon相对于MXnet，提供了更加高层的存取方法，简单高效。

2.1  存储

除了MXNet的存储方式之外，Gluon网络提供特定的export()方法，同时支持导出网络和参数：

输入：path是文件前缀；epoch是epoch数，支持训练中多次保存。

输出：[前缀]-symbol.json的网络；[前缀]-[epoch].params

实现

symbol_file = os.path.join(ROOT_DIR, self.config.cp_dir, 'triplet-net')
self.model.export(path=symbol_file, epoch=epoch)  # gluon的export
2.2  读取

Gluon支持通过文件前缀(即export()的输出)的方式，加载网络与参数

(1)load_checkpoint()，读取前缀数据：

输入：prefix是前缀，epoch是epoch数

输出:  sym是网络，arg_params是权重参数，aux_params是辅助状态；

(2)SymbolBlock()，设置网络结构，与MXNet类似

outputs：已加载的json结构

inputs:填充的data变量

(3)  collect_params()参数

权重参数:arg_params

辅助状态:net_params

当加载完成网络和参数之后，就完成了Gluon模型的创建

实现：

prefix = os.path.join(ROOT_DIR, self.config.cp_dir, "triplet-net")  # export导出的前缀
sym, arg_params, aux_params = mx.model.load_checkpoint(prefix=prefix, epoch=5)
net = gluon.nn.SymbolBlock(outputs=sym, inputs=mx.sym.var('data'))  # 加载网络结构
# 设置网络参数
net_params = net.collect_params()
for param in arg_params:
    if param in net_params:
        net_params[param]._load_init(arg_params[param], ctx=ctx)
for param in aux_params:
    if param in net_params:
        net_params[param]._load_init(aux_params[param], ctx=ctx
加载参数的时候会出现前缀不同错误的情况，该情况还在研究中。

---

作者: 不二晨    时间: 2019-1-16 09:03
奈斯

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2