使用说明

tf2paddle.py脚本中的工具类TFModelConverter实现了将TensorFlow训练好的模型文件转换为PaddlePaddle可加载的模型文件。目前能够支持图像领域常用的:卷积(Convolution)层、Batch Normalization层和全连接(Full Connection)层。图像领域常用的 ResNet VGG 网络都以这些层此为基础,使用TensorFlow训练的ResNetVGG模型能够被转换为PaddlePaddle可加载的模型,进一步用于预训练或是预测服务的开发等。

模型转换的基本流程是: 1. 将TensorFlow模型等价地使用PaddlePaddle Python API接口进行改写。 1. 在TensorFlow中可学习参数用 Variable 表示,基于TensorFlow的Python API获取网络中的 Variable。 1. 确定TensorFlow模型中Variable与PaddlePaddle中paddle.layer的可学习参数的对应关系。 1. 对TensorFlow中的Variable进行一定的适配(详见下文),转化为PaddlePaddle中的参数存储格式并进行序列化保存。

需要遵守的约定

为使TensorFlow模型中的Variable能够正确对应到paddle.layer中的可学习参数,目前版本在使用时有如下约束需要遵守:

  1. 目前仅支持将TensorFlow中 conv2dbatchnormfc这三种带有可学习Variable的Operator训练出的参数向PaddlePaddle模型参数转换。
  2. TensorFlow网络配置中同一Operator内的Variable属于相同的scope,以此为依据将Variable划分到不同的paddle.layer
  3. conv2dbatchnormfc的scope需分别包含convbnfc,以此获取对应paddle.layer的类型。也可以通过为TFModelConverter传入layer_type_mapdict,将scope映射到对应的paddle.layer的type来规避此项约束。
  4. conv2dfcVariable的顺序为:先可学习WeightBiasbatchnormVariable的顺序为:scaleshiftmeanvar,请注意参数存储的顺序将Variable对应到paddle.layer.batch_norm相应位置的参数。
  5. TensorFlow网络拓扑顺序需和PaddlePaddle网络拓扑顺序一致,尤其注意网络包含分支结构时分支定义的先后顺序,如ResNet的bottleneck模块中两分支定义的先后顺序。这是针对模型转换和PaddlePaddle网络配置均使用PaddlePaddle默认参数命名的情况,此时将根据拓扑顺序进行参数命名。
  6. 若PaddlePaddle网络配置中需要通过调用param_attr=paddle.attr.Param(name="XX"))显示地设置可学习参数名字,这时可通过为TFModelConverter传入layer_name_mapparam_name_map字典(类型为Python dict),在模型转换时将Variable的名字映射为所对应的paddle.layer.XX中可学习参数的名字。
  7. 要求提供build_model接口以从此构建TensorFlow网络,加载模型并返回session。可参照如下示例进行编写:

    def build_model():
        build_graph()
        sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True))
        sess.run(tf.tables_initializer())
        saver = tf.train.Saver()
        saver.restore(sess, 'model/model.ckpt')
        return sess
    

使用说明

按照以上原则操作后,tf2paddle.py 脚本的main函数提供了一个调用示例,将TensorFlow训练的ResNet50模型转换为PaddlePaddle可加载模型。若要对其它各种自定义的模型进行转换,只需修改相关变量的值,在终端执行python tf2paddle.py即可。

下面是一个简单的调用示例:

# 定义相关变量
tf_net = "TF_ResNet50"                       # 提供build_model的module名
paddle_tar_name = "Paddle_ResNet50.tar.gz"   # 输出的Paddle模型的文件名

# 初始化并加载模型
converter = TFModelConverter(tf_net=tf_net,
                             paddle_tar_name=paddle_tar_name)
# 进行模型转换
converter.convert()

注意事项

  1. 由于TensorFlow中的padding机制较为特殊,在编写PaddlePaddle网络配置时,对paddle.layer.conv这种需要padding的层可能需要推算size后在paddle.layer.conv外使用paddle.layer.pad进行padding。
  2. 与TensorFlow图像输入多使用NHWC的数据组织格式有所不同,PaddlePaddle按照NCHW的格式组织图像输入数据。