CoRL 是全球機(jī)器人學(xué)習(xí)領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議，每年匯聚來(lái)自全球頂尖學(xué)府的創(chuàng)新研究，評(píng)選出的最佳論文通常代表著前沿技術(shù)與重大突破。
清華團(tuán)隊(duì)此次獲獎(jiǎng)的論文標(biāo)題為《Data Scaling Laws in Imitation Learning for Robotic Manipulation》，關(guān)注的是數(shù)據(jù)規(guī)模定律在機(jī)器人操作中的模仿學(xué)習(xí)中的應(yīng)用，尤其是能否通過(guò)適當(dāng)?shù)臄?shù)據(jù)規(guī)模來(lái)實(shí)現(xiàn)零樣本泛化。
研究團(tuán)隊(duì)收集了超過(guò) 40,000 次演示，并進(jìn)行了 15,000 多次機(jī)器人實(shí)測(cè)。結(jié)果表明，策略的泛化要依賴于環(huán)境和對(duì)象的多樣性，而非單純的演示數(shù)量。
在此基礎(chǔ)上，他們?cè)O(shè)計(jì)了一種高效的數(shù)據(jù)收集方案，僅需四個(gè)采集者花一下午便能獲取足夠數(shù)據(jù)，使兩個(gè)任務(wù)在新環(huán)境和新對(duì)象上的成功率達(dá)到約 90%。
隨后，團(tuán)隊(duì)將機(jī)器人部署在各種野外環(huán)境中，包括火鍋店、咖啡館、電梯、噴泉和其他以前未收集數(shù)據(jù)的地方。結(jié)果顯示，模型在這些全新的環(huán)境中展現(xiàn)出極好的泛化能力，超出預(yù)期。
這篇論文的作者是來(lái)自清華大學(xué)交叉信息研究院的高陽(yáng)和他的學(xué)生林凡淇、胡英東、盛平岳、Chuan Wen、游嘉誠(chéng)，其中林凡淇、胡英東、Chuan Wen 同屬于上海期智學(xué)院和上海人工智能實(shí)驗(yàn)室。
研究團(tuán)隊(duì)選擇使用手持夾持器（UMI）在不同環(huán)境中收集人類演示數(shù)據(jù)，并使用擴(kuò)散策略（Diffusion Policy）對(duì)數(shù)據(jù)進(jìn)行建模，主要研究了策略的泛化性能如何隨著訓(xùn)練環(huán)境數(shù)量、物體數(shù)量和演示數(shù)量的變化而變化。
實(shí)驗(yàn)選擇了 Pour Water（倒水）和 Mouse Arrangement（鼠標(biāo)移動(dòng)）作為案例研究任務(wù)，并在此基礎(chǔ)上擴(kuò)展到 Fold Towels（疊毛巾）和 Unplug Charger（拔掉充電器）任務(wù)，收集了超過(guò) 40,000 次演示，并在超過(guò) 15,000 次實(shí)際機(jī)器人操作中進(jìn)行了評(píng)估。
具體的實(shí)驗(yàn)任務(wù)分為對(duì)象泛化、環(huán)境泛化以及跨環(huán)境和對(duì)象泛化三種類型，分別針對(duì)同一環(huán)境下的不同物體、不同環(huán)境下的同一物體和不同環(huán)境下的不同物體收集演示，隨機(jī)選擇部分演示進(jìn)行訓(xùn)練，并評(píng)估策略在未知情況下的的表現(xiàn)。每個(gè)實(shí)驗(yàn)設(shè)置下，策略在 8 個(gè)未見(jiàn)過(guò)的環(huán)境中進(jìn)行評(píng)估，每個(gè)環(huán)境有 5 次試驗(yàn)。
實(shí)驗(yàn)結(jié)果表明，策略的泛化能力與訓(xùn)練物體數(shù)量、環(huán)境數(shù)量和訓(xùn)練環(huán)境-物體對(duì)數(shù)關(guān)系密切，符合冪律分布。
隨著訓(xùn)練物體數(shù)量的增加，策略在未見(jiàn)過(guò)的物體上的表現(xiàn)顯著提高。當(dāng)訓(xùn)練物體數(shù)量達(dá)到 32 時(shí)，策略在未見(jiàn)過(guò)的物體上的表現(xiàn)超過(guò)了 0.9。
增加訓(xùn)練環(huán)境數(shù)量顯著提高了策略在未見(jiàn)過(guò)的環(huán)境上的表現(xiàn)。即使演示數(shù)量保持不變，環(huán)境擴(kuò)展仍然有效。
同時(shí)增加環(huán)境和物體數(shù)量顯著提高了策略的泛化能力。與單獨(dú)擴(kuò)展環(huán)境或物體相比，同時(shí)擴(kuò)展兩者的效果更好，且額外的演示對(duì)性能的提升更快飽和。
林凡淇，清華大學(xué)交叉信息研究院 （IIIS） 的一年級(jí)博士生，指導(dǎo)老師是高陽(yáng)教授。此前在清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系獲得學(xué)士學(xué)位。
他的研究重點(diǎn)是 Embodied AI（具身智能），這是一個(gè)集成機(jī)器人、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的跨學(xué)科領(lǐng)域。具體來(lái)說(shuō)，他的目標(biāo)是使機(jī)器人能夠通過(guò)大規(guī)模數(shù)據(jù)實(shí)現(xiàn)人類水平的操作能力。同時(shí)，他還熱衷于利用基礎(chǔ)模型來(lái)增強(qiáng)機(jī)器人的能力。
胡英東，清華大學(xué)交叉信息研究院 （IIIS） 的四年級(jí)博士生，指導(dǎo)老師是高陽(yáng)教授。此前在北京郵電大學(xué) （BUPT） 獲得學(xué)士學(xué)位。
他的研究重點(diǎn)也是具身智能，他研究了開(kāi)發(fā)通用機(jī)器人系統(tǒng)的基本挑戰(zhàn)，這些系統(tǒng)可以在各種非結(jié)構(gòu)化的現(xiàn)實(shí)世界環(huán)境中有效地適應(yīng)和推廣其學(xué)習(xí)行為。
盛平岳，清華大學(xué)交叉信息科學(xué)研究院 （IIIS） 姚班的一名本科生。他的研究興趣集中在機(jī)器人技術(shù)、模仿學(xué)習(xí)和算法上。
Chuan Wen，清華大學(xué)交叉信息科學(xué)研究院 （IIIS） 的博士生，指導(dǎo)老師是高陽(yáng)教授，同時(shí)與賓夕法尼亞大學(xué) GRASP 實(shí)驗(yàn)室的 Dinesh Jayaraman 教授密切合作。此前在上海交通大學(xué)電子工程系獲得學(xué)士學(xué)位，師從張亞教授和王新兵教授。他目前還是伯克利人工智能研究 （BAIR） 的訪問(wèn)學(xué)者，由 Pieter Abbeel 教授和林星宇博士指導(dǎo)。
高陽(yáng)，上海期智研究院 PI，清華大學(xué)交叉信息研究院助理教授。于美國(guó)加州大學(xué)伯克利分校獲得博士學(xué)位，師從 Trevor Darrell 教授。在獲得博士學(xué)位后，于加州伯克利大學(xué)與 Pieter Abbeel 等人合作完成了博士后研究。研究方向?yàn)閺?qiáng)化學(xué)習(xí)與機(jī)器人。
高陽(yáng)博士目前主持具身視覺(jué)與機(jī)器人實(shí)驗(yàn)室 (Embodied Vision and Robotics，簡(jiǎn)稱EVAR Lab)，專注于利用人工智能技術(shù)賦能機(jī)器人，致力于打造通用的具身智能框架。
論文摘要：研究團(tuán)隊(duì)提出了 POLIFORMER（Policy Transformer），這是一個(gè)僅使用 RGB 的室內(nèi)導(dǎo)航代理，通過(guò)端到端的強(qiáng)化學(xué)習(xí)在規(guī)模上進(jìn)行訓(xùn)練，并且能夠在沒(méi)有適應(yīng)的情況下泛化到現(xiàn)實(shí)世界。
POLIFORMER 使用了一個(gè)基礎(chǔ)的視頻變壓器編碼器和因果變壓器解碼器，實(shí)現(xiàn)了長(zhǎng)期記憶和推理能力。它經(jīng)過(guò)數(shù)億次交互，在各種環(huán)境中進(jìn)行了訓(xùn)練，利用并行化和多機(jī)部署以實(shí)現(xiàn)高效訓(xùn)練和高吞吐量。
POLIFORMER 是一個(gè)精通的導(dǎo)航器，在兩個(gè)不同的實(shí)施例中——LoCoBot 和 Stretch RE-1機(jī) 器人，以及四個(gè)導(dǎo)航基準(zhǔn)測(cè)試中都產(chǎn)生了最先進(jìn)的結(jié)果。它突破了以往工作的局限，實(shí)現(xiàn)了 CHORES-S 基準(zhǔn)測(cè)試中前所未有的 85.5% 的成功率，絕對(duì)成功率提高了 28.5%。
POLIFORMER 還可以輕松擴(kuò)展到多種下游應(yīng)用，如物體跟蹤、多對(duì)象導(dǎo)航和開(kāi)放詞匯導(dǎo)航，無(wú)需微調(diào)。
論文摘要：如果使自動(dòng)駕駛車輛能夠在輪胎力飽和的極限條件下可靠運(yùn)行，將提高它們的安全性，特別是在緊急避障或惡劣天氣等場(chǎng)景中。然而，解鎖這一能力由于任務(wù)的動(dòng)態(tài)本質(zhì)和對(duì)道路、車輛及其動(dòng)態(tài)相互作用的不確定屬性的高敏感性而具有挑戰(zhàn)性。
受到這些挑戰(zhàn)的啟發(fā)，研究團(tuán)隊(duì)提出了一個(gè)框架，利用包含不同環(huán)境中不同車輛軌跡的無(wú)標(biāo)簽數(shù)據(jù)集，學(xué)習(xí)用于高性能車輛控制的條件擴(kuò)散模型。
研究團(tuán)隊(duì)設(shè)計(jì)的擴(kuò)散模型能通過(guò)物理信息驅(qū)動(dòng)的動(dòng)力學(xué)模型的多模態(tài)參數(shù)分布來(lái)捕捉復(fù)雜數(shù)據(jù)集的軌跡分布。通過(guò)在生成過(guò)程中進(jìn)行在線測(cè)量，將擴(kuò)散模型集成到實(shí)時(shí)模型預(yù)測(cè)控制框架中，用于在極限條件下駕駛，并展示了它能夠即時(shí)適應(yīng)給定的車輛和環(huán)境。
在豐田Supra和Lexus LC 500上的廣泛實(shí)驗(yàn)表明，單個(gè)擴(kuò)散模型在操作時(shí)能夠在不同輪胎和不同道路條件下可靠地實(shí)現(xiàn)自動(dòng)駕駛漂移。
該模型在特定任務(wù)上的專家模型的性能匹配，同時(shí)在泛化到未見(jiàn)條件方面表現(xiàn)優(yōu)于它們，為自動(dòng)駕駛在處理極限下的通用、可靠方法鋪平了道路。雷峰網(wǎng)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))