SWHL / LGPMA_Infer

表格结构识别LGPMA推理

LGPMA_Infer

• 整理自于: DAVAR-Lab-OCR
• 因为该模型都是基于英文表格训练而来，因此对于中文表格识别能力较差，但是也具有一定的适应能力。
• 相关介绍博客：论文阅读: （ICDAR2021 海康威视）LGPMA（表格识别算法）及官方源码对应解读

模型下载

• pth (Access Code: zUoX) 177M ResNet50
• 下载之后放到models目录下即可

环境搭建

• mmdet: 该库不用安装，因为仓库中已经有了mmdet离线包，该包是下载的2.25.0，为了可以转onnx，里面做了一些修改，不影响现在的推理
• 其他库安装：

  pip install -r requirements.txt -i https://pypi.douban.com/simple/

demo运行

python test_pub.py

# 输出结果，会在output目录下保存绘制框线的图像
# OK

• 结果示例：

  • 原图：

    

  • 识别结果:

    

模型转onnx

• 状态：可以成功转换,转换时也特别耗费内存-_-!，同时因基于ONNXRuntime推理时，太耗费内存，而放弃
• 转换脚本:

  bash model_2_onnx.sh

• 转换之后onnx模型下载link，仅供参考，推理尚未成功
• 验证推理代码：

  # 在davarocr/davar_common/apis/inference.py#L119行插入
  import onnxruntime
  session = onnxruntime.InferenceSession('lgpma.onnx')
  input_name = session.get_inputs()[0].name
  inputs = {
      input_name: data['img'][0].numpy().astype(np.float32)
  }
  outs = session.run(None, inputs)

参考链接

• mmdet/pytorch2onnx
• ONNX and grid_sample layer
• Pytorch转ONNX遇到的问题及解决方案