内部NVIDIA的新型机器人研究实验室

Nvidia首席执行官Jensen Huang（左）和机器人研究饮食福克斯高级总监在NVIDIA的机器人实验室。

机器人报告命名为nvidia a2019年必看的机器人公司由于其新的Jetson Agx Xavier模块，它希望成为下一代机器人的转向大脑。现在有更多的原因来关注NVIDIA的机器人动作：加利福尼亚州圣克拉拉的Charmaker刚刚开设了第一个全面的机器人研究实验室。

英伟达(NVIDIA)的机器人实验室位于西雅图，距离华盛顿大学(University of Washington)仅几步之遥。该实验室的任务是推动突破性研究，使下一代协作机器人在人类中可靠而安全地运行。英伟达的机器人实验室由迪特尔·福克斯领导，他是英伟达机器人研究的高级主管，也是华盛顿大学保罗·g·艾伦计算机科学与工程学院的教授。

“所有这一切都在努力实现下一代智能机械手，这些智能机械手也可以在不结束的环境中运行，而不是一切都专门为它们设计，”福克斯说。“通过拉动最近的感知，控制，学习和仿真的进步，我们可以帮助研究界解决机器人中的一些最大挑战。”

这个13,000平方英尺的实验室将容纳50名机器人专家，其中包括20名英伟达的研究人员，以及来自世界各地的访问教师和实习生。英伟达希望机器人能够在真实世界的非结构化环境中自然地与人类一起执行任务。要做到这一点，机器人需要能够理解人们想要做什么，并弄清楚如何帮助实现目标。

NVIDIA的机器人实验室的想法在2017年夏季来到夏威夷。福克斯和Nvidia首席执行官Jensen Huang在CVPR，一年一度的计算机愿景会议上举行，并讨论了机器人学中令人兴奋的地区和难题。

“英伟达致力于解决计算机能够解决的非常困难的挑战。机器人技术无疑是人工智能的最后前沿之一。这需要多种技术的融合。机器人报告．“我们想奉献自己为机器人学领域做出贡献。一路来，它会旋转各种大型计算机科学和AI知识。我们真的希望将创造的技术将允许医疗保健的行业来制造到运输和物流，以提高进步。“

NVIDIA表示，目前有十几个项目，NVIDIA将开展其研究论文。福克斯说，NVIDIA主要感兴趣，至少至少在与机器人社区分享其软件开发时。“你在厨房演示中看到的一些核心技术将被包裹成真正强大的组件，”福克斯说。

我们参加了NVIDIA的机器人研究实验室的正式开放。这是一个偷看的里面。

厨房里的移动机械手

Nvidia的移动机械手包括Segway 210 UGV的弗兰卡·埃米卡熊猫Cobot。(来源:NVIDIA)

英伟达机器人实验室的主要测试区域是该公司从宜家购买的一间厨房。一款移动机械手将尝试完成越来越困难的任务，从从橱柜中取出物品，到学习如何清洁餐桌，再到帮助人们做饭。该机械手由一辆赛格威RMP 210 UGV上的Franka Emika Panda合作机器人手臂组成。

在开放式房屋期间，移动操纵器一直占用物体并将它们放入抽屉中，用夹具打开和关闭抽屉。福克斯承认这一任务有点容易。机器人使用深度学习仅基于自己的模拟来检测特定对象，并且不需要任何手动数据标记。机器人使用NVIDIA Jetson平台进行导航，并对NVIDIA Titan GPU的处理和操作进行实时推断。使用CUDNN加速的Pytorch深度学习框架接受了深度学习的感知系统。

福克斯还清楚了为什么NVIDIA选择在厨房里测试一个移动操纵器。“选择厨房的想法不是因为我们认为厨房将成为家里的杀手应用程序，”福克斯说。“真的只是对这些其他领域的立场。”厨房是一个结构化的环境，但福克斯表示，很容易以更复杂的任务的形式向机器人引入新的变量，例如处理未知物体或协助烹饪饭的人。“

深度对象姿态估计

NVIDIA深度对象姿态估计(DOPE)系统。(来源:NVIDIA)

NVIDIA于2018年10月推出其深度对象姿态估计（涂料）系统，并在西雅图展示。利用NVIDIA的算法和单个图像，机器人可以推断对象的3D姿势以抓握和操作。涂料仅在合成数据上培训。

合成数据的关键挑战之一是弥合现实差距的能力，以便在合成数据上训练的网络能够与现实数据正确地运行。英伟达表示，其一次性深度神经网络(尽管基础有限)已经实现了这一点。这一系统通过两步实现。首先，深度神经网络估计图像坐标系中所有目标的二维关键点的信念图;接下来，将这些信念图中的峰值输入标准的perspective-n-point (PnP)算法，以估计每个对象实例的6自由度姿态。

阅读我们对英伟达首席研究科学家Stan Birchfield关于DOPE系统的采访，这里．

条件反射TakkTile 2抓手右手机器人。

触觉感应

NVIDIA有两个演示展示触觉感应，这是商业化机器人夹具的缺失元素。一个演示特色条件反射TakkTile 2抓手右手机器人，最近为其分片技术筹集了2300万美元．Reflex Taktktile 2是一个带有三个手指的ROS兼容的机器人夹具。夹具具有三个弯曲的DOF和1个耦合的旋转DOF。传感能力包括常压传感器，旋转近端接头编码器和指尖IMU。

另一个演示是由英伟达(NVIDIA)高级机器人研究员卡尔·范·威克(Karl Van Wyk)进行的，展示了在韩国Wonik robotics公司的Allegro机械手上改装的SynTouch触觉传感器和KUKA LBR iiwa cobot。“它几乎感觉像一只宠物!”黄一边说，一边轻轻地触摸机器人的手指，让它们缩回来。“这是惊人的治疗。我能要一个吗?”

van Wyk说触觉传感器开始从研究实验室和现实世界中涓涓细流。“有很多强化和整合需要恰好在现实世界中举起来，但我们在那里取得了很大的进步。我们生活的世界是为我们而非机器人设计的。“

Kuka LBR IIWA没有使用任何愿景来感知其环境。“机器人看不到我们在它周围，但我们希望它不断感知和对其环境做出反应。所有关节中的臂都有扭矩感测，因此我可以觉得我正在推动它并对这一点做出反应。它不需要让我对我做出反应。

“我们有一只16个马达的手，有三个主指和一个可对生拇指，所以它就像我们的手。你想要一个像这样更复杂的抓手的原因是你想最终能够像我们每天做的那样在你的手中操纵物体。这是非常有用的，使解决体力任务更有效。SynTouch传感器测量当我们触摸和操纵某物时发生了什么。关闭这些传感器对控制很重要。如果我们能感觉到物体，我们就能重新调整手柄和手指的位置。”