自动驾驶BEV感知算法指南

作者简介

9.4 本章小结

9.3.2 视觉大模型的技术挑战与实践难点

9.3.1 视觉大模型发展相对落后的原因

9.3 视觉大模型的难点

9.2.4 自动驾驶的重建和数据生成

9.2.3 将多个小模型合并成大模型

9.2.2 模型蒸馏给小模型赋能

9.2.1 辅助标注数据

9.2 赋能自动驾驶数据生产和模型训练

9.1.2 UniAD架构

9.1.1 UniAD的提出背景

9.1 端到端的自动驾驶系统UniAD

第9章 大模型在自动驾驶领域的应用

8.4 本章小结

8.3 模型部署

8.2.2 安装BEVFormer

8.2.1 创建虚拟环境

8.2 环境搭建

8.1.2 模型训练过程

8.1.1 数据处理

8.1 代码详解

第8章 BEVFormer实践

7.4 本章小结

7.3.4 训练和测试BEVFusion

7.3.3 编译BEVFusion环境

7.3.2 安装BEVFusion

7.3.1 搭建PyTorch环境

7.3 环境搭建

7.2.2 模型训练过程

7.2.1 nuScenes数据集处理

7.2 代码详解

7.1.4 融合模块

7.1.3 点云支路

7.1.2 图像支路

7.1.1 网络架构

7.1 原理详解

第7章 BEVFusion实践

6.5 本章小结

6.4 隐式转换DETR、DETR3D和PETR的主要差别

6.3.4 DETR和DETR3D的异同

6.3.3 二分图匹配

6.3.2 特征查询模块

6.3.1 图像特征提取

6.3 DETR3D计算过程

6.2.3 PETR

6.2.2 DETR3D

6.2.1 BEVFormer

6.2 主要的隐式视角转换的BEV感知算法

6.1.2 DETR类方法的优点

6.1.1 传统目标检测方法的局限性

6.1 传统目标检测方法与DETR类方法

第6章 隐式视角转换的BEV感知算法

5.4 本章小结

5.3 BEVDet4D中的时序对齐

5.2 BEVDet中的视角转换过程

5.1.2 BEVDet4D

5.1.1 BEVDet

5.1 基于LSS方法的显式视角转换的BEV感知算法

第5章 显式视角转换的BEV感知算法

4.3 本章小结

4.2.4 BEV感知算法中的时序融合

4.2.3 混合注意力机制

4.2.2 空间注意力机制

4.2.1 通道注意力机制

4.2 BEV感知算法中的注意力机制

4.1.4 LSS代码实现与模型运行

4.1.3 LSS原理

4.1.2 坐标系转换与视角转换模块

4.1.1 自动驾驶中的坐标系

4.1 视角转换模块

第4章 BEV感知算法的基本模块

3.3 本章小结

3.2.2 PV-RCNN算法

3.2.1 PointPillar算法

3.2 激光雷达模态中点云目标检测的代表算法

3.1.2 图像特征提取和ResNet原理

3.1.1 相机的内外参数

3.1 图像模态

第3章 BEV感知算法的特征提取

2.6 本章小结

2.5 不同数据集之间的对比

2.4 Waymo数据集

2.3.3 其他辅助指标计算公式

2.3.2 跟踪任务评测指标计算公式

2.3.1 检测任务评测指标计算公式

2.3 nuScenes数据集常用的评测指标及计算方法

2.2 nuScenes数据集

2.1 KITTI数据集

第2章 BEV感知算法的数据集

1.5 本章小结

1.4 BEV感知算法的不足

1.3.4 基于Transformer的方法

1.3.3 基于多层感知器的方法

1.3.2 基于深度估计的方法

1.3.1 基于单应性的方法

1.3 BEV感知算法的分类

1.2 BEV感知算法的常见范式

1.1 BEV感知算法解决的问题

第1章 快速了解BEV感知算法

前言

内容简介

版权信息

封面

封面

版权信息

内容简介

前言

第1章 快速了解BEV感知算法

1.1 BEV感知算法解决的问题

1.2 BEV感知算法的常见范式

1.3 BEV感知算法的分类

1.3.1 基于单应性的方法

1.3.2 基于深度估计的方法

1.3.3 基于多层感知器的方法

1.3.4 基于Transformer的方法

1.4 BEV感知算法的不足

1.5 本章小结

第2章 BEV感知算法的数据集

2.1 KITTI数据集

2.2 nuScenes数据集

2.3 nuScenes数据集常用的评测指标及计算方法

2.3.1 检测任务评测指标计算公式

2.3.2 跟踪任务评测指标计算公式

2.3.3 其他辅助指标计算公式

2.4 Waymo数据集

2.5 不同数据集之间的对比

2.6 本章小结

第3章 BEV感知算法的特征提取

3.1 图像模态

3.1.1 相机的内外参数

3.1.2 图像特征提取和ResNet原理

3.2 激光雷达模态中点云目标检测的代表算法

3.2.1 PointPillar算法

3.2.2 PV-RCNN算法

3.3 本章小结

第4章 BEV感知算法的基本模块

4.1 视角转换模块

4.1.1 自动驾驶中的坐标系

4.1.2 坐标系转换与视角转换模块

4.1.3 LSS原理

4.1.4 LSS代码实现与模型运行

4.2 BEV感知算法中的注意力机制

4.2.1 通道注意力机制

4.2.2 空间注意力机制

4.2.3 混合注意力机制

4.2.4 BEV感知算法中的时序融合

4.3 本章小结

第5章 显式视角转换的BEV感知算法

5.1 基于LSS方法的显式视角转换的BEV感知算法

5.1.1 BEVDet

5.1.2 BEVDet4D

5.2 BEVDet中的视角转换过程

5.3 BEVDet4D中的时序对齐

5.4 本章小结

第6章 隐式视角转换的BEV感知算法

6.1 传统目标检测方法与DETR类方法

6.1.1 传统目标检测方法的局限性

6.1.2 DETR类方法的优点

6.2 主要的隐式视角转换的BEV感知算法

6.2.1 BEVFormer

6.2.2 DETR3D

6.2.3 PETR

6.3 DETR3D计算过程

6.3.1 图像特征提取

6.3.2 特征查询模块

6.3.3 二分图匹配

6.3.4 DETR和DETR3D的异同

6.4 隐式转换DETR、DETR3D和PETR的主要差别

6.5 本章小结

第7章 BEVFusion实践

7.1 原理详解

7.1.1 网络架构

7.1.2 图像支路

7.1.3 点云支路

7.1.4 融合模块

7.2 代码详解

7.2.1 nuScenes数据集处理

7.2.2 模型训练过程

7.3 环境搭建

7.3.1 搭建PyTorch环境

7.3.2 安装BEVFusion

7.3.3 编译BEVFusion环境

7.3.4 训练和测试BEVFusion

7.4 本章小结

第8章 BEVFormer实践

8.1 代码详解

8.1.1 数据处理

8.1.2 模型训练过程

8.2 环境搭建

8.2.1 创建虚拟环境

8.2.2 安装BEVFormer

8.3 模型部署

8.4 本章小结

第9章 大模型在自动驾驶领域的应用

9.1 端到端的自动驾驶系统UniAD

9.1.1 UniAD的提出背景

9.1.2 UniAD架构

9.2 赋能自动驾驶数据生产和模型训练

9.2.1 辅助标注数据

9.2.2 模型蒸馏给小模型赋能

9.2.3 将多个小模型合并成大模型

9.2.4 自动驾驶的重建和数据生成

9.3 视觉大模型的难点

9.3.1 视觉大模型发展相对落后的原因

9.3.2 视觉大模型的技术挑战与实践难点

9.4 本章小结

作者简介