将PaddleOCR 转为 ONNX 运行

paddleocr,onnx · 浏览次数 : 0

小编点评

本文将介绍如何将PaddleOCR的PP_OCRv4模型转换为ONNX格式，以便在不需要使用Paddle框架的情况下使用PaddleOCR的强大检测性能。文章分为两个步骤：步骤1：将PaddleOCR模型转换为ONNX格式 1. 访问PaddleOCR项目主页（https://github.com/PaddlePaddle/PaddleOCR），下载最新的v4版检测与识别模型。 2. 安装PaddlePaddle到ONNX的模型转换工具：https://github.com/PaddlePaddle/Paddle2ONNX。 3. 使用paddle2onnx工具将paddle格式模型转换为ONNX格式。具体命令如下： ``` paddle2onnx --model_dir /mnt/d/Downloads/202406/paddelocr/pp/ch_PP-OCRv4_det_infer/ --model_filename inference.pdmodel --params_filename inference.pdiparams --opset_version 11 --save_file /mnt/d/Downloads/202406/paddelocr/onnx/ch_PP-OCRv4_det_infer.onnx ``` 同样地，将模型目录更改为/pp_ch_PP-OCRv4_rec_infer/，并运行第二个命令进行转换。步骤2：运行ONNX推理 1. 下载基于转换后的ppocr_server_v2.0模型的OnnxOCR代码（https://github.com/jingsongliujing/OnnxOCR）。 2. 在此代码基础上集成转换好的ONNX模型。修改部分包括： - 在`preprocess.py`文件中添加预处理部分的代码。 - 在`inference.py`文件中添加后处理部分的代码。 3. 运行Inference代码，使用转换后的ONNX模型进行文本识别。总结：本文介绍了如何将PaddleOCR的PP_OCRv4模型转换为ONNX格式，以便在没有Paddle框架的情况下使用PaddleOCR的强大检测性能。通过使用Paddle2ONNX工具，可以将PaddleOCR模型轻松转换为ONNX格式，从而避免Paddle框架带来的兼容性问题。在此基础上，利用OnnxOCR代码完成预处理和后处理步骤，实现文本识别任务。

正文

PaddleOCR 是目前最好的开源OCR框架, 但paddle框架的兼容性实在不怎么好, 部署的时候容易出现各种各样的问题. 如果能把PaddleOCR转成ONNX, 就可以跳过paddle框架坑的同时, 又可以白嫖PaddleOCR的强大检测性能.

本文会介绍一下, 如何把最新的PP_OCRv4模型转成onxx格式, 并正确运行.

步骤1: PaddleOCR模型转ONNX

原始网络权重下载
在PaddleOCR的项目主页 https://github.com/PaddlePaddle/PaddleOCR 下载最新的v4版检测与识别模型.

模型权重转ONNX
用pip安装PaddlePaddle到ONNX的模型转换工具: https://github.com/PaddlePaddle/Paddle2ONNX.
参照如下命令转换paddle格式模型到ONNX格式.

paddle2onnx --model_dir /mnt/d/Downloads/202406/paddelocr/pp/ch_PP-OCRv4_det_infer/ --model_filename inference.pdmodel --params_filename inference.pdiparams --opset_version 11 --save_file /mnt/d/Downloads/202406/paddelocr/onnx/ch_PP-OCRv4_det_infer.onnx

paddle2onnx --model_dir /mnt/d/Downloads/202406/paddelocr/pp/ch_PP-OCRv4_rec_infer/ --model_filename inference.pdmodel --params_filename inference.pdiparams --opset_version 11 --save_file /mnt/d/Downloads/202406/paddelocr/onnx/ch_PP-OCRv4_rec_infer.onnx

步骤2: ONNX推理运行

转换格式成功后得到的ONNX模型可以进行推理。若要用于识别任务，还需补充输入图片的预处理和检测结果的输出等外围数据处理步骤。

https://github.com/jingsongliujing/OnnxOCR

该项目基于转换后的ppocr_server_v2.0模型，已经完成了文本识别所需的外围数据处理部分。

经过测试，pp_ocr系列模型的预处理和后处理部分是通用的。只需在此代码基础上集成转换好的ONNX模型即可。

https://github.com/CKboss/pp_onnx

这是基于原项目fork后的修改版，支持运行PP_OCRv4，并能调用v4版本的det和rec OCR模型。旋转检测部分的cls模型保持不变，仍使用server_v2.0版本。此外，还修改了可能导致引用冲突的包名和部分模型输入参数。

注:

转换为ONNX格式后的模型精度损失情况尚不明确，但从简单的demo来看，模型能够正常进行推理。