# 铁路无人机智能巡检平台开源模型选型结论

## 1. 文档信息

| 项目 | 内容 |
| --- | --- |
| 文档名称 | 开源模型选型结论 |
| 适用系统 | 铁路无人机智能巡检平台 |
| 所属业务域 | 样本与模型、智能分析 |
| 覆盖模型组 | 可见光检测、语义分割、变化检测、点云分析、红外分析 |
| 适用阶段 | 模型接入、样本训练、测试验证、生产发布、边缘部署 |
| 设计状态 | 选型基线 |

## 2. 总体结论

系统中的五个模型是五类稳定的算法能力槽位，不限定为五个固定网络。每个模型组可维护多个模型版本，并按照运行场景分别发布边缘版、标准版和高精度版。

优先采用国内维护成熟、训练与部署链路完整、许可证适合项目交付的开源生态：

- 二维检测优先采用 PaddleDetection，PyTorch 路线采用 OpenMMLab 或 YOLOX。
- 语义分割优先采用 PaddleSeg 或 MMSegmentation。
- 双时相变化检测优先采用 Open-CD。
- 点云分析采用 Open3D 几何算法与 Pointcept 点云语义模型组合。
- 红外分析采用目标检测、辐射测温解算和异常检测三类组件组合。
- 统一将生产制品导出为 ONNX；NVIDIA GPU 和 Jetson 使用 TensorRT，CPU 使用 ONNX Runtime。
- 闭源交付场景优先选择 Apache-2.0 或 MIT 许可证组件。

通用预训练权重只能用于初始化和技术验证。铁路异物、扣件、钢轨、轨枕、接触网、防护网、边坡、防洪点和红外热点等业务类别必须使用项目数据重新训练或微调，并经过独立测试集、现场数据和生产灰度验证。

## 3. 模型选型矩阵

| 系统模型组 | 国内常用候选 | 生产推荐 | 主要用途 |
| --- | --- | --- | --- |
| `vision-detector` | PP-YOLOE、PP-YOLOE-SOD、PP-YOLOE-R、RT-DETR、RTMDet、YOLOX | PP-YOLOE-SOD + RT-DETR | 异物、人员、车辆、落石、鸟巢、缺失部件和设备缺陷检测 |
| `vision-segmenter` | PP-LiteSeg、SegFormer、DeepLabV3+、SegNeXt、Mask2Former | PP-LiteSeg + SegFormer-B2 | 钢轨、轨枕、道床、防护网、积水、裂缝、边坡区域分割 |
| `change-detector` | BIT、Changer、ChangeFormer、ChangeStar、SNUNet、TinyCD、LightCDNet | BIT-R18 + Changer-R18 | 前后期影像变化、异物新增、施工变化、边坡和防洪点变化 |
| `pointcloud-analyzer` | Open3D、Point Transformer V3、RandLA-Net、PointNet++、PointPillars、CenterPoint | Open3D + Point Transformer V3 | 点云配准、构件分割、断面分析、沉降、位移和形变检测 |
| `thermal-analyzer` | PP-YOLOE、RTMDet、YOLOX、PatchCore、PaDiM、EfficientAD | PP-YOLOE/RTMDet + PatchCore | 电力设备定位、热点检测、温升分析和未知异常筛查 |

## 4. 分组结论

### 4.1 可见光目标检测

#### 4.1.1 推荐模型

| 模型 | 定位 | 推荐场景 |
| --- | --- | --- |
| PP-YOLOE-SOD-s | 小目标检测主力模型 | 无人机高空影像中的人员、工具、扣件、异物等小目标 |
| PP-YOLOE-R | 旋转框检测模型 | 钢轨、轨枕、接触网零部件等细长或倾斜目标 |
| RT-DETR-R50 | 中心端高精度模型 | 离线复核、重点区段和高精度告警分析 |
| RTMDet-tiny/s | PyTorch 边缘模型 | Jetson 等边缘设备实时推理 |
| YOLOX-s/m | 许可证友好的通用备选 | ONNX、TensorRT、ncnn 或 OpenVINO 部署 |

#### 4.1.2 选型结论

- 边缘端以 PP-YOLOE-SOD-s 或 RTMDet-tiny 为主，优先保证小目标召回率和实时性。
- 中心端以 RT-DETR-R50 为主，用于二次复核和高精度分析。
- 对细长、倾斜目标启用 PP-YOLOE-R，输出旋转框，减少普通水平框中的背景干扰。
- 对裂纹、破损区域等没有稳定矩形边界的缺陷，不单独依赖目标检测，应与语义分割或实例分割联合使用。

### 4.2 场景语义分割

#### 4.2.1 推荐模型

| 模型 | 定位 | 推荐场景 |
| --- | --- | --- |
| PP-LiteSeg-STDC1 | 实时轻量模型 | 边缘端轨道区域、积水和道床分割 |
| SegFormer-B0/B2 | 精度与速度均衡 | 中心端通用语义分割和缺陷区域提取 |
| SegNeXt | 复杂纹理和边界模型 | 裂缝、边坡、植被侵限等不规则区域 |
| Mask2Former | 高精度统一分割模型 | 精细复核、实例和语义联合分析 |
| DeepLabV3+ | 稳定基线 | 小规模数据集上的模型对照和回归基线 |

#### 4.2.2 选型结论

- 边缘端发布 PP-LiteSeg-STDC1，中心端发布 SegFormer-B2。
- 对细裂纹和小面积破损增加边界损失、Dice/Focal Loss，并使用高分辨率切片推理。
- Mask2Former 作为高精度备选，不作为资源受限设备的默认模型。
- SAM 2 用于交互式标注、视频目标传播和预标注，不直接替代铁路缺陷语义分割生产模型。

### 4.3 栅格变化检测

#### 4.3.1 推荐模型

| 模型 | 定位 | 推荐场景 |
| --- | --- | --- |
| BIT-R18 | 稳定基线 | 双时相影像二值变化检测 |
| Changer-R18 | 生产主力 | 综合精度、速度和特征交互能力 |
| ChangeFormer | 高精度模型 | 大范围、复杂背景和尺度变化明显的场景 |
| ChangeStar | 实例级变化 | 新增施工设施、设备和目标级变化 |
| TinyCD/LightCDNet | 轻量模型 | 边缘端快速筛查和低算力部署 |
| SNUNet | 卷积基线 | 数据规模有限时的稳定对照模型 |

#### 4.3.2 选型结论

- 首期以 BIT-R18 建立可复现基线，以 Changer-R18 作为生产候选。
- 对需要区分新增、消失和类别变化的场景，使用语义变化检测或 ChangeStar，而不是只输出二值变化掩码。
- 模型输入前必须完成坐标统一、正射校正、亚像素配准、分辨率统一和亮度归一化。
- 季节、阴影、积雪、光照和植被变化应作为困难负样本加入训练集，避免产生大面积伪变化。

### 4.4 点云形变分析

点云形变不是单一神经网络任务，生产方案采用“几何配准 + 语义分割 + 几何差分”组合。

```text
RTK/PPK 初始定位
  -> 坐标系转换和时间同步
  -> 离群点去除及体素降采样
  -> 特征匹配与全局粗配准
  -> Point-to-Plane ICP 精配准
  -> 点云语义分割
  -> 钢轨、轨枕、接触网或边坡几何拟合
  -> 点云距离、断面和体积差分
  -> 沉降、横移、净空和形变量计算
  -> 置信度评估与结果入库
```

#### 4.4.1 推荐组件

| 组件或模型 | 定位 | 推荐用途 |
| --- | --- | --- |
| Open3D | 几何处理基础组件 | 滤波、法向量、RANSAC/FGR、ICP、鲁棒核和距离计算 |
| Point Transformer V3 | 高精度语义模型 | 轨道设施、边坡和环境点云精细分割 |
| RandLA-Net | 大规模轻量语义模型 | 长距离线路点云快速分割 |
| PointNet++ | 稳定基线 | 小规模点云训练和算法对照 |
| PointPillars/CenterPoint | 三维目标检测模型 | 障碍物、车辆或大型目标检测，不直接承担精密形变计算 |

#### 4.4.2 选型结论

- Open3D 负责可解释、可量化的几何配准与形变量计算。
- Point Transformer V3 负责精细语义分割，RandLA-Net 作为大场景轻量备选。
- RTK/PPK 结果只作为初始约束，最终变化量必须在稳定控制点或稳定结构上完成精配准后计算。
- 输出必须包含配准残差、有效点数、覆盖率和置信度，超过质量阈值时禁止自动生成确定性形变告警。

### 4.5 红外温度分析

红外分析拆分为三个独立但可组合的处理环节：

```text
设备或部件定位
  + 辐射测温原始数据解算
  + 已知缺陷分类或未知异常检测
```

#### 4.5.1 推荐模型

| 模型或组件 | 定位 | 推荐用途 |
| --- | --- | --- |
| PP-YOLOE-s | 部件检测 | 绝缘子、接头、线夹和电气设备 ROI 定位 |
| RTMDet-s/m | PyTorch 检测备选 | 红外目标定位和缺陷检测 |
| PatchCore | 无监督异常主力模型 | 缺陷样本少、正常样本充足时的热点和纹理异常筛查 |
| PaDiM | 轻量异常基线 | 快速建立无监督异常检测基线 |
| EfficientAD | 实时异常模型 | 对推理吞吐要求较高的场景 |
| 厂商辐射测温 SDK | 温度解算组件 | 原始温度矩阵、发射率和环境参数校正 |

#### 4.5.2 选型结论

- 使用 PP-YOLOE 或 RTMDet 定位待测部件，使用 PatchCore 识别未知异常。
- 绝对温度由热像仪辐射测温原始数据和厂商 SDK 解算，算法模型不承担原始温度恢复。
- 普通伪彩 JPEG 只能用于外观分析，不能作为可靠绝对测温依据。
- 温度阈值应按设备类型、负载、环境温度、发射率和同类设备温差配置，不能全系统共用一个固定阈值。

## 5. 推荐发布组合

### 5.1 首期生产基线

```yaml
vision-detector:
  edge: PP-YOLOE-SOD-s
  server: RT-DETR-R50

vision-segmenter:
  edge: PP-LiteSeg-STDC1
  server: SegFormer-B2

change-detector:
  baseline: BIT-R18
  production: Changer-R18

pointcloud-analyzer:
  geometry: Open3D
  segmentation: Point-Transformer-V3
  lightweight: RandLA-Net

thermal-analyzer:
  component_detector: PP-YOLOE-s
  anomaly_detector: PatchCore
  temperature_decoder: Vendor-Radiometric-SDK
```

### 5.2 高精度备选

| 模型组 | 高精度备选 | 启用条件 |
| --- | --- | --- |
| 可见光检测 | RT-DETR-R50/R101、RTMDet-l | 中心端 GPU 资源充足，允许增加推理时延 |
| 语义分割 | Mask2Former、SegFormer-B4/B5 | 精细复核或重点缺陷分析 |
| 变化检测 | ChangeFormer、ChangeStar | 复杂大场景或实例级变化分析 |
| 点云分析 | Point Transformer V3 大模型 | 点云密度和训练数据满足要求 |
| 红外分析 | 检测模型 + PatchCore 双模型复核 | 重点电力设备或高等级告警 |

### 5.3 边缘轻量备选

| 模型组 | 轻量备选 | 部署目标 |
| --- | --- | --- |
| 可见光检测 | PP-PicoDet、RTMDet-tiny、YOLOX-tiny | Jetson、边缘服务器、低功耗设备 |
| 语义分割 | PP-LiteSeg、SegFormer-B0 | 实时区域分割 |
| 变化检测 | TinyCD、LightCDNet | 快速变化筛查 |
| 点云分析 | RandLA-Net + 降采样几何流程 | 大范围点云快速处理 |
| 红外分析 | PP-YOLOE-s + EfficientAD | 实时设备定位和异常筛查 |

## 6. 训练与验收要求

### 6.1 数据要求

- 数据集按线路、区段、设备、季节、天气、昼夜、飞行高度和传感器型号分层建设。
- 训练集、验证集和测试集按任务或区段隔离，禁止同一航次相邻帧跨集合泄漏。
- 小目标、遮挡、逆光、雨雪、运动模糊、复杂背景等困难样本必须单独统计。
- 每个样本保留原始文件、标注版本、采集参数、坐标、时间和设备信息。
- 红外样本额外保存辐射测温数据、发射率、距离、环境温度、湿度和负载信息。
- 点云样本额外保存坐标参考系、RTK/PPK 轨迹、控制点和传感器标定信息。

### 6.2 指标要求

| 模型组 | 核心指标 | 业务补充指标 |
| --- | --- | --- |
| 可见光检测 | mAP、Precision、Recall、F1 | 小目标召回率、每公里误报数、推理时延 |
| 语义分割 | mIoU、Dice、类别 IoU | 边界误差、最小缺陷检出面积 |
| 变化检测 | F1、IoU、Precision、Recall | 伪变化面积、最小变化面积、配准敏感度 |
| 点云分析 | mIoU、配准 RMSE、点云距离误差 | 沉降误差、横移误差、净空误差、有效覆盖率 |
| 红外分析 | 检测 mAP、异常 AUROC、像素 AUROC | 测温误差、热点漏报率、同类温差误差 |

模型不得只依据公开数据集指标上线。发布门槛应由业务风险确定，其中危及行车安全、供电安全和防洪安全的类别优先控制漏报率，并通过人工复核控制误报带来的工单压力。

## 7. 部署与许可证

### 7.1 部署路线

```text
训练框架模型
  -> 固化预处理和后处理定义
  -> 导出 ONNX
  -> ONNX 一致性验证
  -> TensorRT FP16 基准测试
  -> 必要时进行 INT8 校准
  -> 封装推理服务
  -> 样本回归测试
  -> 灰度发布
  -> 指标监控与可回滚发布
```

- PaddleDetection 和 PaddleSeg 模型通过官方导出工具生成部署制品。
- OpenMMLab 模型通过 MMDeploy 转换到 ONNX Runtime、TensorRT、ncnn 或 OpenVINO。
- 每个模型版本固化模型文件哈希、标签字典、输入尺寸、归一化参数、后处理参数和运行时版本。
- TensorRT 引擎与 GPU 架构、CUDA 和 TensorRT 版本绑定，不作为跨硬件通用制品。
- INT8 模型必须使用铁路项目代表性数据校准，并重新执行精度回归。

### 7.2 许可证结论

| 项目 | 许可证 | 使用结论 |
| --- | --- | --- |
| PaddleDetection / PaddleSeg | Apache-2.0 | 推荐用于生产和闭源项目交付 |
| MMDetection / MMSegmentation / MMDetection3D / MMDeploy | Apache-2.0 | 推荐用于生产和闭源项目交付 |
| Open-CD | Apache-2.0 | 推荐用于变化检测 |
| YOLOX | Apache-2.0 | 可作为许可证友好的检测备选 |
| Open3D | MIT | 推荐用于点云几何处理 |
| Point Transformer V3 | MIT | 可用于点云模型训练和二次开发 |
| Anomalib | Apache-2.0 | 推荐用于红外和工业异常检测 |
| SAM 2 | Apache-2.0 | 适合标注、视频传播和辅助分割 |
| Ultralytics YOLO | AGPL-3.0 / 企业许可证 | 闭源部署和交付前必须完成专项许可证审查 |

引入任何模型代码、预训练权重或第三方数据集前，应分别核验代码许可证、权重使用条款、训练数据授权和专利约束。许可证兼容性检查结果纳入模型版本发布审批记录。

## 8. 最终决策

1. 五个模型组保持稳定，模型架构和版本通过模型管理模块动态维护。
2. 首期按“PaddleDetection + PaddleSeg + Open-CD + Open3D/Pointcept + Anomalib”建设生产基线。
3. 统一采用 ONNX 作为模型交换格式，TensorRT 和 ONNX Runtime 作为主要生产运行时。
4. 检测、分割和变化检测均设置边缘版与中心版，按任务风险和设备算力动态路由。
5. 点云形变采用组合算法，不以单一深度模型输出直接替代几何测量结果。
6. 红外温度解算必须接入辐射测温原始数据，伪彩影像只用于辅助识别。
7. 通用权重不直接发布生产，所有模型必须使用铁路数据微调并完成离线、现场和灰度验证。
8. 默认避开会给闭源交付带来不确定性的许可证；确需采用时，必须先完成法务和商业授权确认。

## 9. 开源项目地址

- PaddleDetection：<https://github.com/PaddlePaddle/PaddleDetection>
- PaddleSeg：<https://github.com/PaddlePaddle/PaddleSeg>
- MMDetection：<https://github.com/open-mmlab/mmdetection>
- MMSegmentation：<https://github.com/open-mmlab/mmsegmentation>
- MMDetection3D：<https://github.com/open-mmlab/mmdetection3d>
- MMDeploy：<https://github.com/open-mmlab/mmdeploy>
- Open-CD：<https://github.com/likyoo/open-cd>
- Open3D：<https://github.com/isl-org/Open3D>
- Point Transformer V3：<https://github.com/Pointcept/PointTransformerV3>
- YOLOX：<https://github.com/Megvii-BaseDetection/YOLOX>
- Anomalib：<https://github.com/open-edge-platform/anomalib>
- SAM 2：<https://github.com/facebookresearch/sam2>
- Ultralytics YOLO：<https://github.com/ultralytics/ultralytics>
