高等院校教师

第1章?绪论 1
1.1?机器人视觉概述 1
1.1.1?人类视觉的组成与功能 1
1.1.2?机器人视觉的定义 3
1.1.3?机器人视觉的特点与优势 4
1.2?机器人视觉系统组成 5
1.2.1?视觉传感器 6
1.2.2?光源 7
1.2.3?图像采集模块 8
1.2.4?视觉计算模块 9
1.3?机器人视觉任务分类 10
1.3.1?空间感知任务 10
1.3.2?类别感知任务 11
1.4?机器人视觉的应用领域 13
1.4.1?工业制造 14
1.4.2?智能交通 15
1.4.3?医疗健康 16
1.4.4?农业 17
1.4.5?安防 18
1.4.6?服务机器人 19
1.5?机器人视觉未来挑战与发展趋势 20
1.6?本书的内容安排 21
习题与思考题 23
参考文献 23
第2章?相机成像和投影理论 26
2.1?成像原理简介 26
2.2?相机模型 27
2.3?相机标定 29
2.3.1?棋盘格定义和检测 30
2.3.2?相机位姿、内参和畸变参数求解 31
2.3.3?非线性优化标定 33
2.3.4?工具箱 34
2.4?投影理论 34
2.4.1?平面几何 35
2.4.2?消失点理论 37
2.4.3?距离测量 39
本章小结 40
习题与思考题 41
参考文献 41
第3章?机器人视觉图像处理基础 42
3.1?图像的表示和存储 42
3.1.1?图像的基本概念 42
3.1.2?数字图像表示 42
3.1.3?图像的分类 44
3.2?图像的基本操作 45
3.2.1?图像变换 46
3.2.2?灰度变换 51
3.3?图像的滤波和增强 53
3.3.1?图像的滤波 53
3.3.2?图像的增强 56
3.4?图像的检测与分割 57
3.4.1?图像的检测 57
3.4.2?图像的分割 69
本章小结 76
习题与思考题 76
参考文献 77
第4章?双目视觉和对极几何 78
4.1?双目视觉原理 78
4.2?双目视觉标定 79
4.3?对极几何及双目矫正 81
4.3.1?双目的对极几何约束 81
4.3.2?基础矩阵 83
4.3.3?双目矫正 83
4.4?双目匹配及深度估计 85
4.4.1?双目匹配 86
4.4.2?深度估计 88
4.4.3?误差分析 89
4.5?主动双目视觉 90
本章小结 91
习题与思考题 91
参考文献 92
第5章　特征提取与匹配 93
5.1　视觉特征 93
5.2　特征提取方法 94
5.2.1　角点提取 94
5.2.2　快速计算 96
5.2.3　不变性 98
5.2.4　尺度不变性 99
5.3　特征描述方法 100
5.3.1　主方向 101
5.3.2　尺度不变特征变换 102
5.4　特征的匹配 103
本章小结 104
习题与思考题 104
参考文献 105
第6章　机器人位姿估计 106
6.1　机器人位姿估计的概念与数字表示 106
6.1.1　状态估计简介 106
6.1.2　位姿估计的数学表示 106
6.2　基于特征点法的视觉里程计 109
6.2.1　基于对极几何的2D-2D位姿求解 109
6.2.2　基于PnP的2D-3D位姿求解 113
6.2.3　基于ICP的3D-3D位姿求解 117
6.3　基于直接法的视觉里程计 119
6.3.1　光流估计 120
6.3.2　直接法求解机器人位姿 122
6.4　关键帧的概念及其选取策略 124
6.4.1　关键帧的概念 124
6.4.2　关键帧选取策略 125
本章小结 126
习题与思考题 127
参考文献 127
第7章　机器人视觉同时定位与建图 128
7.1　SLAM概述 128
7.1.1　SLAM的概念与分类 128
7.1.2　经典视觉SLAM算法框架 129
7.2　前端设计方案 131
7.2.1　传感器选型 131
7.2.2　里程计估计方法 132
7.3　后端优化方法 132
7.3.1　滤波器方法 133
7.3.2　图优化方法 136
7.4　闭环检测 139
7.4.1　闭环检测的概念与意义 139
7.4.2　词袋模型 139
7.4.3　相似度计算 141
7.5　全局地图构建与表示 144
7.5.1　面向机器人应用的地图表达与存储 144
7.5.2　典型地图表示方法 146
本章小结 148
习题与思考题 148
参考文献 148
第8章　机器人目标识别 150
8.1　目标识别的基本任务和分类 150
8.2　目标分类方法 150
8.2.1　基于聚类的方法 151
8.2.2　基于机器学习的算法 154
8.2.3　基于深度学习的算法 158
8.3　目标检测方法 163
8.3.1　两阶段检测 163
8.3.2　一阶段检测 167
8.4　目标分割方法 173
8.4.1　全卷积网络 173
8.4.2　U-Net网络 175
8.4.3　SegNet网络 176
8.4.4　DeepLab系列 177
8.4.5　PSPNet网络 179
8.4.6　Transformer 180
本章小结 185
习题与思考题 186
参考文献 186
第9章　机器人目标位姿估计 188
9.1　面向抓取的目标位姿估计应用背景 188
9.1.1　工业场景 188
9.1.2　家用场景 189
9.1.3　目标位姿估计技术难点 189
9.2　目标3D位姿表示与描述 191
9.2.1　变换矩阵 191
9.2.2　欧拉角与四元数 192
9.2.3　评价指标 194
9.3　目标位姿估计方法分类 196
9.3.1　基于特征点匹配的目标位姿估计 196
9.3.2　基于深度学习的目标位姿估计 198
9.4　基于深度学习的3D目标位姿估计 198
9.4.1　基于深度学习的非端到端目标位姿估计 199
9.4.2　基于深度学习的端到端目标位姿估计 202
9.4.3　发展趋势 204
本章小结 206
习题与思考题 207
参考文献 207