horysk / ax-pipeline

The Pipeline example based on AXear-Pi (AX620A) shows the software development skills of ISP, Image Processing, NPU, Encoding, and Display modules, which is helpful for users to develop their own multimedia applications.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

ax-pipeline

License GitHub Workflow Status

简介

AX-Pipeline爱芯元智 主导开发。该项目基于 AXera-Pi 展示 ISP 图像处理NPU编码显示 等功能模块软件调用方法,方便社区开发者进行快速评估和二次开发自己的多媒体应用。

已支持开发板

快速上手

文档

示例

示例 简介
sample_vin_ivps_joint_vo IVPS 出两路视频,一路用作屏幕显示,一路用作 NPU 推理
sample_vin_ivps_joint_venc_rtsp IVPS 出三路视频,两路用作 RTSP 推流,一路用作 NPU 推理
sample_vin_ivps_joint_venc_rtsp_vo IVPS 出三路视频,一路用作 RTSP 推流,一路用作屏幕显示,一路用作 NPU 推理
sample_vin_ivps_joint_vo_h265 IVPS 出三路视频,一路用作屏幕显示,一路用作 h265 文件保存,一路用作 NPU 推理
sample_h264_ivps_joint_vo 读取 h264 文件解码,通过IVPS 出两路视频,一路用作屏幕显示,一路用作 NPU 推理
sample_rtsp_ivps_joint_rtsp_vo rtsp 输入,IVPS出三路视频,一路用作屏幕显示,一路用作 RTSP 推流,一路用作 NPU 推理
sample_rtsp_ivps_joint_vo rtsp 输入,IVPS出两路视频,一路用作屏幕显示,一路用作 NPU 推理
sample_v4l2_ivps_joint_vo USB的 jpeg 输入,IVPS 出两路视频,一路用作屏幕显示,一路用作 NPU 推理
sample_v4l2_user_ivps_joint_vo USB的 jpeg 输入,使用libjpeg解码成NV12,输入到IVPS中,IVPS 出两路视频,一路用作屏幕显示,一路用作 NPU 推理,演示了如何将NV12的图像输入到IVPS中
sample_rtsp_ivps_joint_rtsp rtsp 输入,IVPS 出两路视频,一路用作 RTSP 推流,一路用作 NPU 推理
sample_multi_rtsp_ivps_joint_multi_rtsp 多路 rtsp 输入,推理模型进行 OSD 后,多路 rtsp 输出

更新日志

2023-01-16 新增YoloV8,详情请查阅 ModelZoo

2022-12-29 新增直接输入 NV12 数据的示例 sample_v4l2_user_ivps_joint_vo,如果用户可以获取到 NV12 的数据,则可以参考此示例。为满足日益增加的模型支持列表,修改了枚举类 SAMPLE_RUN_JOINT_MODEL_TYPE 的数值。

2022-12-26 新增 rtsp 输入的示例代码 sample_rtsp_ivps_joint_vo

2022-12-26 新增人脸识别

2022-12-16 新增 usb 相机输入的 sample。新增车牌检测、车牌识别,详情请查阅 ModelZoo

2022-12-14 新增 h264 文件输入 pipeline,新增yolov7-face、yolov7-palm-hand

2022-12-09 新增简化的 pipeline 构建 api,降低构建 pipeline 的难度,详情请看 new_pipeline

2022-11-29 新增人手检测加手势识别,感谢 FeiGeChuanShu,详情请查阅 ModelZoo。自适应联机模型输入格式,联级模型现在可以不需要相同的输入色彩空间格式

2022-11-24 新增爱芯元智开源版本人体检测以及姿态模型

2022-11-21

  • 新增 pp-human-seg 人像分割、yolov5s-seg 实例分割
  • 新增二级推理模型 hrnet-pose(基于yolov5s检测人体后抠图实现的人体姿态检测),配置文件 MODEL_TYPE 支持字符串以及int设置,设置值对应见枚举 SAMPLE_RUN_JOINT_MODEL_TYPE 或者 ModelZoo
  • 新增模型详细内容见 ModelZoo
  • 配置文件新增 MODEL_PATH,用户可以对其进行设置,参考 hrnet_pose.json

2022-11-17 新增 yolov7-tiny、yolox-s 检测模型,配置文件新增了 MODEL_TYPE 的 int 属性,这个值必须要设置,不然就不跑了,设置值对应见枚举 SAMPLE_RUN_JOINT_MODEL_TYPE 或者 ModelZoo

2022-11-15 解耦 sample_run_joint,可以同时加载不同任务的模型,方便进行类似人脸识别、人体姿态、车牌识别等多级模型任务的推理

2022-11-14 新增自适应 NV12/RGB/BGR 模型,通过 IVPS 直接输出模型需要的数据格式,现在 ax-samples 的模型可以直接白嫖到 ax-pipeline 了(除了 yolov5 和 yolov5face,其他模型还是需要用户移植后处理部分)

DEMO视频

demo.mp4
VID_20221103_144016.mp4
pphumseg.mp4
yolov5-seg.mp4
ax_pose.mp4

技术讨论

  • Github issues
  • QQ 群: 139953715

About

The Pipeline example based on AXear-Pi (AX620A) shows the software development skills of ISP, Image Processing, NPU, Encoding, and Display modules, which is helpful for users to develop their own multimedia applications.

License:BSD 3-Clause "New" or "Revised" License


Languages

Language:CMake 100.0%