深度剖析360环视“黑科技”

谈到汽车驾驶盲区解决的问题，估计很多人都会想到360环视，事实上360环视确实很好的解决了驾驶盲区问题。

随着360环视逐步被市场接受，其背后的相关技术也被扒出来。在网上可以找到各种关于360环视的技术概念、逻辑、原理甚至是算法等。但是很少看到有人把此项“黑科技”的来龙去脉以及未来发展方向说说清道明。

360环视所采用的底层技术是计算机图像处理技术，此项技术已经在医学影像领域得到了广泛的应用，称为医学图像后处理技术，并发展出了一系列成熟、完善的模型、方法。这种技术被广泛用于辅助观察、检测和诊断，典型的应用场景包含IGSN（图像引导的手术导航）、IGRT（图像引导的放疗）、CAD（计算机辅助诊断）、VE（虚拟内窥镜）等。

可以这么理解，医学图像后处理技术本质上就是计算机图像处理技术的一个分支，同时由于医学上对图像处理结果要求非常严格、应用的场景极为复杂，医学图像处理技术也推动了计算机图像处理技术的发展，甚至拓展了计算机图像处理技术的覆盖领域。这就把这项技术的应用发挥到了极致。医学上在整个处理过程中加入了更多技术环节和微观操作，使得处理效果十分清晰，处理图像的像素尺度可以达到微米甚至纳米级别，还需要对亚像素级别的信息进行处理。而对于车载领域，通常厘米级别的精度就完全可以满足需求。

目前市场上能够提供360环视产品的供应商大多数都使用计算机图像处理技术，只有个别供应商引入了“医学图像处理”技术，我们暂且称之为“计算机流派”和“医学流派”。

无论是“计算机流派”还是“医学流派”，都是采用广角摄像头获取图像，然后对图像进行预处理、空间映射、融合三个层面处理。不同的是 “医学流派”在图像预处理中，除了使用常见的邻域平均等低通滤波“去噪”方法外，还使用了医学图像中对成像探测器量子噪声进行建模估计的方法，进行深度去噪和图像增强，这就有利于后期处理效果提升。在空间映射处理过程中，“医学流派”对特征点的提取更精细，描述更严谨，引入高阶特征量，对标定点进行领取定位，并进行空间变换矩阵的计算，对于空间变换后的图像，使用样条函数进行精细化操作，使得后期融合“空隙”极小化。“医学流派”在融合处理过程中除了常用的加权平均法之外，还对融合区域色彩特征进行采样，对融合区域进行偏移量矫正，并将多种方法进行交叉融合处理，最终形成一幅完美的拼接图像。

相比而言，“医学流派”对图像处理的层次更深，更精致，这就导致他们在产品方面与“计算机流派”相比，具有明显的优势。主要体现在两个方面，一个是“静态拼接”处理的可视化范围大小和可视化效果上，另一个是“动态拼接”处理的可操作性。

所谓“静态拼接”处理指的是被拼接物的形体规则，并且保持不变，多个摄像头的取图点在保持相对静止的情况下，持续获取图像进行处理。“计算机流派”基本上都属于“静态处理”，这就导致他们的产品只能在一体车上安装。加之在处理过程中存在“偷工减料”的行为，使得处理结果的可视化范围有很大的限制，处理结果存在瑕疵。因此“计算机流派”产品只能用于乘用车，对于过长的商用车和特殊车辆，经常会出现拼接不起来，可视化界面扭曲，重影等现象。

所谓“动态拼接”处理指的是被拼接物形体会不规则，而且时刻在发生变化，多个摄像头的取图点在不断变化的情况下，持续取获取图像进行处理。“这种情况在医学图像处理中极为常见，因为人体脏器大多柔软且形状一直在变化，弹性、形变、动态模型在医学图像处理中的应用比比皆是。这就使得他们的产品能够在“多厢拖挂式”商用车上安装。加之在极致的处理过程，使得他们处理结果的可视化范围不受限制。所以“医学流派”的产品多用于各类商用车以及特种车辆。

“医学流派”的“动态处理”究竟是怎么一回事？我们以“鹰驾科技”的拖挂车360环视产品为例进行剖析。

拖挂车由主车（牵引功能）和挂车（承载功能）两部分构成，中间通过一个 “牵引桥”链接在一起。常见的拖挂车有半挂式、全挂式、以及半挂和全挂集连式三种类型。

相对于其他商用车，拖挂车的除了车身更长之外，最大的特点是主车和挂车之间的“牵引桥”属于非刚性链接，这就导致在转弯的时候，车体会随着弯道以及移动速度不断发生变化。通常主车和挂车之间的夹角变化范围最大可以达到正负90°以上，这就使得盲区范围更大，分布更复杂，且盲区位置和形状随着主车和挂车之间的夹角变化而变化。如下图所示，黄色是牵引车前轮轨迹，对应的橙色部分是挂车轨迹。这个过程中橙色区域就一个超级“死亡月牙”，同时车辆右侧后半部分也处于完全性的盲区。

开过拖挂车的驾驶员在驾驶过程中，通常要利用多种方式对车外复杂的盲区进行反复的动态观测，同时要估计挂车的行驶区域，从而对牵引车进行操控，因此有了“一个弯道一身汗的说法”。

“鹰驾科技”的拖挂车360环视在原有环视方案的基础上，将摄像头扩展至6-8路进行分别取像。其中6路用来对拖挂车环视进行取像，另外2路安装在主车和挂车左右两侧取像，并布置自主研发的转角传感器，用来获取主车和挂车之间的夹角θ。随着主车和挂车之间夹角的变化，动态调整每个摄像头负责的成像区域进行处理。这种引入动态参数夹角θ的处理的技术在国内外都属于首创。

布置在牵引车和挂车上的转角传感器和车辆自身转轴结构无关，从而避免了因不同车辆连接方式不同导致传感器无法使用。另外，该方案拓展性非常强，对于多级拖挂车辆，只要在每级挂车上以同样的方式布置转角传感器和摄像头，则可实现多级拖挂车全景系统的拓展。

“鹰驾科技”基于拖挂车全景系统，还实现了拖挂车轨迹计算。虽然车辆行驶轨迹计算在乘用车上已经实现，但对于拖挂车而言，由于其轨迹和多个因素有关，其难度要远远大于常规的行驶轨迹线。“鹰驾科技”通过车身CAN通讯获得车辆方向盘转角后，采用自主研发的算法计算车辆每一个位置形式轨迹，并在全景视图中绘制轨迹线。同时对轨迹内的区域通过视频、雷达等方式进行重点检测，和精准预警。在转弯、倒车等若干场景中对司机起到重要的辅助作用，大大降低了驾驶员的操控难度。

鹰驾科技的拖挂车360环视产品不仅完美解决了拖挂车驾驶过程中的盲区问题，同时具备了行车轨迹规划功能，是商用车驾驶员的福音，更为汽车安全驾驶行业做出了卓越贡献。