耿逸然（左）安玻施（右） 意见意义性角逐与硬核应战

于人工智能顶级集会NeurIPS2022（第36届神经信息处置惩罚体系年夜会）上，由北京年夜学人工智能研究院杨耀东助理传授、计较机学院前沿计较研究中央董豪助理传授配合引导，北京年夜学信息科学技能学院2020级图灵班本科生耿逸然以及安玻施作为配合第一作者得到MyoChallenge应战赛Die Reorientation赛道冠军。 国际集会陈诉截图 应战赛提供了一套高传神度的肌肉-骨骼乖巧手模子和交互情况，参赛者需要设计一套科学有用的练习要领，造就出一个通用的人工智能算法，来节制仿生乖巧手完成随机的抓取、动弹骰子等既定使命，终极乐成率最高、需要肌肉施加力最小的团队将获胜。该应战吸引了来自全世界十多个国度的40个顶尖步队到场，共孕育发生了340余份有用方案。 如何教会人工智能熟悉骰子？如何引导它用手接近并抓取骰子？如何练习它动弹骰子到指定角度？看似有趣的角逐暗地里是一系列的应战。 差别在只能节制每一个自力枢纽关头的乖巧手，这次角逐接纳的基在肌肉的仿生乖巧手具备 牵一发而动全身 的特色，假如节制指尖的肌肉紧缩，整根手指的所有枢纽关头城市遭到影响；节制一个枢纽关头向差别标的目的动弹也将触及到差别的肌肉。此外，MyoChallenge的手部模子还引入了肌削减症、肌肉疲惫以及肌腱转移等异样环境，再加之应战情况包罗了物体初始位置随机化、使命方针随机化和物体的物理属性（如物体巨细以及磨擦力）的随机化等很多随机参数，象征着一个更靠近人类手部前提的繁杂仿外行以及一个随机变迁的未知情况，这既磨练人工智能从全无所闻到游刃有余的进修威力，也磨练作为 教员 的参赛者们的练习计谋。 左边：差别乖巧手节制体式格局；右边：MyoChallenge中的非凡乖巧手模子 怎么 教 人工智能？

角逐的焦点竞争集中于寻觅一个可以或许顺应非凡手部节制模子和参数随机化的计谋，也就是说，因材施教地引导人工智能自立进修。对于耿逸然以及安玻施来讲，于特定的问题配景中拔取适合的要领成为最年夜的应战。于履历了频频测验考试的掉败后，他们决议接纳强化进修框架来于模仿器里练习他们的计谋，经由过程奖励塑造（Reward Shaping）、课程进修（Curriculum Learning）以及多方针练习（Multi-target Training）等技巧来提高练习后的计谋的机能。 奖励塑造

这一要领就比如练习植物完成一些非凡动作的历程。水族馆中豢养员于海豚完成高难度动作后用作奖励的小鱼近似在强化进修框架下的奖励函数，于算法有但愿完成方针动作的时辰加年夜奖励函数，从而激励算法逐渐把握方针动作。 课程进修

这与人类从易到难进修一门常识的历程相似。假如一次性完成骰子重定向使命很难，那就拆分成三个课程别离进修：拿稳骰子、90 之内的重定向、180 之内的重定向。算法将先从最简朴的拿稳骰子学起，末了完成最坚苦的180 重定向使命，于慢慢增长课程难度的历程中使算法的机能不变上升。 多方针进修

比拟在课程进修经由过程转变情况难度慢慢完成使命，多方针进修则是于稳定的情况难度下将一个课程分化成多个子使命，这与体操角逐中的组合动作训练近似。于体操中，运带动需要持续地完成一系列差别的动作。多方针进修历程要求算法节制仿生乖巧手持续地完成多个重定向使命，从而提高对于物体的掌控威力。 要领概览 与之相伴的问题是，练习计谋的历程中需要年夜量算力撑持，耿逸然打了一个形象的比喻： 咱们面对的算力需求梗概是一样平常使用的 游戏本 电脑的10倍以至30倍，于此����Ϸapp根蒂根基上练习一个有竞争力的智能体需要的练习时间大抵为3到5天。 学院实时为他们提供了硬件上的撑持，于引导教员杨耀东以及董豪的帮忙之下，算力问题获得有用解决，这也为团队的研发打下精良的根蒂根基。终极，这些要领配合孕育发生的乐成率比MyoChallenge中给出的基线算法有了较着的改良（于应战的第一阶段晋升为70%，第二阶段为11%）。 颠末MyoChallenge提供的仿生乖巧手节制算法测试平台的验证，于本次的应战中，耿逸然以及安玻施团队接纳的强化进修框架下根蒂根基而有用的要领，证实了强化进修算法举行繁杂的骨骼-肌肉模子的运动节制和与物体交互的可行性。 发展的 膏壤

耿逸然以及安玻施可以或许于人工智能国际顶级集会的角逐中拿到冠军并于集会中做陈诉实属不容易。成绩的暗地里是北京年夜学图灵班以及北京通用人工智能研究院的无力支撑：图灵班的科研轮转为学生相识差别标的目的、进修多元内容、立体熟悉科研提供了精良的情况；而北京通用人工智能研究院搜集了一群顶级的人工智能专家，帮忙本科生也能走到国际科研最前沿。耿逸然坦言如许的科研情况之在他的主要作用：

我的科研导师是董豪教员以及杨耀东教员，他们总能给我实时的引导以及帮忙，从理论进修到试验设计，再到论文写作与投稿，都能 手把手 帮我解决问题。 除了此以外，图灵班科研轮转还提供了以及其他差别范畴的教员进修常识，拓展视线的时机：我别离于王鹤教员、穆亚东教员、卢宗青教员那里进修了三维视觉、呆板人以及视觉相干的联合内容和强化进修的理论常识。 而于北京通用人工智能研究院，朱松纯院长为我指了然研究标的目的，我也无机会以及很多很是优异的研究员一路互助。 北年夜2020级图灵班第一次班汇合影 于这些常识配景的滋养下，他于ICRA2023（国际呆板人与主动化顶级集会）中，再次与安玻施作为配合第一作者揭晓了题为RLAfford：End-to-End Affordance Learning for Robotic Manipulation（基在端到端可操作性进修的呆板人把持框架）的研究论文，并介入了别的两篇ICRA中稿论文的算法设计与试验。

于RLAfford中，作者哄骗强化进修历程中的接触信息，联合三维视觉表达可操作性信息，可以同一描写各种操作使命（如开关门，抓取物体等使命），并具备即插即用的特色。 于此次角逐的根蒂根基上，他与互助者继承摸索着人工智能与情况交互的问题，从机械臂到乖巧手，从简朴情况到繁杂场景，从虚拟引擎到真实世界，不停摸索人工智能的无穷可能性。 机械臂与乖巧手于虚拟情况以及真实世界中举行练习与测试/爱游戏