在泛机器人、无人机、元宇宙和多种新兴应用的推动下，3D视觉正在成为全球追逐的热点技术。
从技术方案上看，目前常见的3D视觉方案主要包括双目、结构光和TOF 三个技术方向。这三种技术方向各有所长，国内外也有不少厂商围绕着这三个方向打造其解决方案。在银牛微电子（下称“银牛”）首席产品官白逸看来，以双目立体视觉为核心的多传感器融合方案，是未来3D视觉应用的重要发展趋势。
全球唯一量产，单芯片集成
和基于TOF、结构光原理的深度相机不同，双目立体视觉技术完全依靠同时拍摄的两张图片所产生的视差信息（彩色RGB或者灰度图）来计算目标物体的深度信息。为此在实际的方案打造中，除了对双目立体视觉算法的芯片化要求更高以外，为了整个设计的灵活性，开发者也对芯片乃至整个方案的尺寸和成本有着更严苛的要求。
正如白逸所说，业界通用做3D双目立体视觉方案时，都是在传统的CPU、FPGA等上跑相关算法，这样不但导致硬件算力需求过高，同时在系统功耗方面也带来了挑战。为此，3D视觉行业在借鉴了音视频编解码从“通用芯片+软件”的解决方案到定制芯片方案的发展历程，算法芯片化的高集成度方案成为了3D双目立体视觉的重要发展方向。
从技术方案上看，目前常见的3D视觉方案主要包括双目、结构光和TOF 三个技术方向。这三种技术方向各有所长，国内外也有不少厂商围绕着这三个方向打造其解决方案。在银牛微电子（下称“银牛”）首席产品官白逸看来，以双目立体视觉为核心的多传感器融合方案，是未来3D视觉应用的重要发展趋势。
全球唯一量产，单芯片集成
和基于TOF、结构光原理的深度相机不同，双目立体视觉技术完全依靠同时拍摄的两张图片所产生的视差信息（彩色RGB或者灰度图）来计算目标物体的深度信息。为此在实际的方案打造中，除了对双目立体视觉算法的芯片化要求更高以外，为了整个设计的灵活性，开发者也对芯片乃至整个方案的尺寸和成本有着更严苛的要求。
正如白逸所说，业界通用做3D双目立体视觉方案时，都是在传统的CPU、FPGA等上跑相关算法，这样不但导致硬件算力需求过高，同时在系统功耗方面也带来了挑战。为此，3D视觉行业在借鉴了音视频编解码从“通用芯片+软件”的解决方案到定制芯片方案的发展历程，算法芯片化的高集成度方案成为了3D双目立体视觉的重要发展方向。
银牛顺应行业发展趋势，深耕3D算法芯片化的高集成度单芯片解决方案，并致力于成为3D视觉时代全球领先的半导体企业。“我们的自研系列芯片是全球唯一量产单芯片集成3D视觉感知、AI（人工智能）、SLAM（实时定位与建图）的系统级芯片”，白逸在日前举办的光博会上告诉笔者。他同时强调，银牛是国内唯一一家把3D双目立体视觉算法实现芯片化的企业，在国际上也是唯二的。“我们实际上是在边缘端整合了一个空间计算和点云的异构平台，打造了一系列感算一体化的3D视觉芯片”。
目前，银牛已经推出了基于12nm先进工艺打造的NU4000及NU4100这两颗3D视觉芯片。
白逸介绍说，NU4000芯片的特点在于将双目立体视觉技术的算法芯片化，同时也集成了全球领先的3D感知处理硬件单元、AI与SLAM硬件引擎，能有效分担系统算力、降低系统功耗和成本。
白逸介绍说，NU4000芯片的特点在于将双目立体视觉技术的算法芯片化，同时也集成了全球领先的3D感知处理硬件单元、AI与SLAM硬件引擎，能有效分担系统算力、降低系统功耗和成本。
据了解，通过芯片内建的完全可编程AI CNN引擎，银牛自研系列芯片最高能提供3.5TOPS算力，不仅提供完整的人工智能/深度学习解决方案和算法库，同时提供客制化人工智能算法API接口满足客户灵活需求相比业界通用方法将软件算法直接运行在系统处理器；通过实现SLAM的芯片化，银牛自研系列芯片将SLAM流程分工到不同芯片模块中运行，节省了系统主控芯片算力。
2022年成功量产的NU4100芯片，与NU4000相比，其深度感知及SLAM引擎保持不变，但额外集成了2路4K的ISP，并对片上AI引擎进行了迭代升级，使得其AI算力相比NU4000几乎翻倍，能以更低成本、更低功耗的方式帮助客户实现系统升级。正是得益于这两项关键性技术点的提升，让NU4100在越来越多的彩色图像与3D视觉结合的场景中 (如无人机、3D扫描、智能制造、MR头显应用等)，处理起来更加得心应手。
作为一系列内建包括3D深度处理引擎、SLAM引擎和通用视觉加速引擎等众多自研处理器引擎的芯片，银牛的自研芯片可以直接充当系统协处理器，为系统提供强劲的边缘感知计算能力。
拥有了这些领先的芯片和技术，银牛能够针对不同市场的需求，提供更全面的服务。
从芯片到方案，全面覆盖
在与白逸的交流中，他强调，银牛不但可以为行业客户提供3D视觉芯片，为加快他们的开发速度，公司针对不同应用的需求，提供端到端芯片、算法、模组和系统的全栈解决方案，以加速3D立体视觉技术在泛机器人等市场应用的落地。“我们现在主要瞄准的方向包括了泛机器人、元宇宙、物流无人机等领域。”白逸补充说。
白逸举例指出，公司的一颗芯片可以支持6路摄像头，那就意味着只用两颗芯片就能支持类似苹果Vision Pro的12路摄像头方案。在他看来，搭载银牛芯片的解决方案，不但拥有功耗低、空间小等优势，使用银牛芯片的系统方案成本也拥有现有方案难以比拟的价格优势。
在光博会现场，银牛除了带来了目前市场上唯一一款支持SLAM算法和自主导航避障等多功能于一体的3D双目立体视觉模组C158外，公司还带来R132、R130和R112等产品的展示。
2022年成功量产的NU4100芯片，与NU4000相比，其深度感知及SLAM引擎保持不变，但额外集成了2路4K的ISP，并对片上AI引擎进行了迭代升级，使得其AI算力相比NU4000几乎翻倍，能以更低成本、更低功耗的方式帮助客户实现系统升级。正是得益于这两项关键性技术点的提升，让NU4100在越来越多的彩色图像与3D视觉结合的场景中 (如无人机、3D扫描、智能制造、MR头显应用等)，处理起来更加得心应手。
作为一系列内建包括3D深度处理引擎、SLAM引擎和通用视觉加速引擎等众多自研处理器引擎的芯片，银牛的自研芯片可以直接充当系统协处理器，为系统提供强劲的边缘感知计算能力。
拥有了这些领先的芯片和技术，银牛能够针对不同市场的需求，提供更全面的服务。
从芯片到方案，全面覆盖
在与白逸的交流中，他强调，银牛不但可以为行业客户提供3D视觉芯片，为加快他们的开发速度，公司针对不同应用的需求，提供端到端芯片、算法、模组和系统的全栈解决方案，以加速3D立体视觉技术在泛机器人等市场应用的落地。“我们现在主要瞄准的方向包括了泛机器人、元宇宙、物流无人机等领域。”白逸补充说。
白逸举例指出，公司的一颗芯片可以支持6路摄像头，那就意味着只用两颗芯片就能支持类似苹果Vision Pro的12路摄像头方案。在他看来，搭载银牛芯片的解决方案，不但拥有功耗低、空间小等优势，使用银牛芯片的系统方案成本也拥有现有方案难以比拟的价格优势。
在光博会现场，银牛除了带来了目前市场上唯一一款支持SLAM算法和自主导航避障等多功能于一体的3D双目立体视觉模组C158外，公司还带来R132、R130和R112等产品的展示。
据介绍，C158是一款宽基线的3D双目立体视觉模组，有U口版和工业网口版两个版本可选。该款模组搭载了高达2T运算能力的NU4000 SOC芯片，集成了3D、Al、SLAM算法，有强大的深度和RGB感知能力，可为不同的应用场景提供高精度、高质量的深度数据，另外，它还搭配了双鱼眼和六轴IMU，能达到800Hz采样，实现实时的高精度建图和重定位。
银牛方面也强调，因双目立体视觉技术的特性，使得C158不但在室内有非常好的深度数据效果，在室外也表现出色，甚至在强光超过15万Lux的光照条件下深度数据依然精准。
银牛方面也强调，因双目立体视觉技术的特性，使得C158不但在室内有非常好的深度数据效果，在室外也表现出色，甚至在强光超过15万Lux的光照条件下深度数据依然精准。
R132则是大广角的3D双目立体视觉系列模组，同样有U口版、工业网口版和专注3D扫描的R132-scan版本可选。该款模组体积小但功能强大，内部同时搭载彩色RGB和六轴IMU，可为不同的应用场景提供高精度、高质量的深度数据和彩色数据。由于它大广角的视野和宽广的测量范围，可轻松应用到各种感知和测量解决方案中。“该系列模组可以满足泛机器人客户高度关注的大视场角需求，同时，R132系列模组的盲区小至10cm，能够更好地支持机器人在窄小空间进行自主避障。”白逸说。
本次光博会上展出的R130和R112则是银牛在今年发布的最新视觉模组。其中R130模组基于双目立体视觉技术获取物体的深度图像，同时利用彩色相机采集物体的彩色影像，适用于 0.2m-3m 距离进行3D物体的感知、测量等，可广泛应用在机器人感知、避障、导航等场景；R112则是一款高精度的近距版双目立体视觉模组，主打定位是短距深度测量，探测距离可低达5cm，精度在亚毫米级，能帮助客户设备近距离、高精度地拾取和放置小型物体，也可应用在缺陷检测等场景。
从银牛的介绍我们可以看到，公司的解决方案已经在泛机器人、元宇宙、物流无人机、AIoT、智慧医疗和消费电子等领域落地。展望未来，白逸认为，银牛的3D双目立体视觉方案能在汽车自动驾驶市场上找到新的机会。
写在最后
白逸表示，纵观当前的汽车自动驾驶解决方案，纯视觉解决方案——通过对海量的视觉数据进行训练并学习——具有强大的适用性和竞争力，这就让3D双目立体视觉方案找到了发力点。
但是，要实现这个目标，就需要终端芯片拥有更强大的AI算力，这也将是银牛未来重点发展的技术方向之一。
如文章开头所说，3D立体视觉有几种不同的技术方向，但在白逸看来，以双目立体视觉为核心的多传感器融合方案将会是最有竞争力的答案。以单纯ToF技术为例，归根到底这就不是一个视觉感知方案，而是通过计算飞行时间来实现的，高度依赖定制器件，这就意味着如果要增大对感知目标深度图像的刷新率和分辨率要求，就要加大投入去定制传感器和投射仪，这都是昂贵的系统成本，从而导致可能无法快速大规模商用。
“我们芯片的多传感器融合技术和异构解决方案，拥有很大的发展潜力”，白逸说。
