轉(zhuǎn)自 CAAI認(rèn)知系統(tǒng)與信息處理專(zhuān)委會(huì)

本文提出了一種在多任務(wù)機(jī)器人技能獲取框架背景下耦合內(nèi)部引導(dǎo)學(xué)習(xí)和社交互動(dòng)的方法。更具體地說(shuō)，專(zhuān)注于通過(guò)結(jié)合主動(dòng)內(nèi)在動(dòng)機(jī)學(xué)習(xí)和主動(dòng)模仿學(xué)習(xí)來(lái)學(xué)習(xí)機(jī)器人運(yùn)動(dòng)基元的參數(shù)化分布。由機(jī)器人通過(guò)經(jīng)驗(yàn)。這種方法旨在通過(guò)依賴技能獲取機(jī)制盡可能有效地結(jié)合體驗(yàn)式學(xué)習(xí)和觀察式學(xué)習(xí)，其中代理/機(jī)器人能以迭代方式編排不同的學(xué)習(xí)策略，并根據(jù)以前的經(jīng)驗(yàn)調(diào)整這些模式的使用。模擬的 7-DoF Franka Emika 機(jī)器人證明了本文的方法在垃圾扔任務(wù)上的有效性，在學(xué)習(xí)過(guò)程的每次迭代中，機(jī)器人可以在觀察/模仿學(xué)習(xí)和體驗(yàn)/內(nèi)在動(dòng)機(jī)學(xué)習(xí)之間進(jìn)行主動(dòng)選擇。

人類(lèi)和其他動(dòng)物通過(guò)終身學(xué)習(xí)以開(kāi)放式的方式獲得和完善技能，因此在他們的環(huán)境中進(jìn)行互動(dòng)和學(xué)習(xí)時(shí)具有自主性和多功能性。盡管人工智能取得了重要進(jìn)展，但機(jī)器人仍然缺乏這種能力。賦予機(jī)器人以開(kāi)放式方式增量地自主發(fā)現(xiàn)和解決多項(xiàng)任務(wù)的能力是當(dāng)今機(jī)器人技術(shù)的最大挑戰(zhàn)之一，也是發(fā)展機(jī)器人技術(shù)領(lǐng)域的目標(biāo)。特別是，人類(lèi)有能力使用多種學(xué)習(xí)方式，最有趣的是根據(jù)其可靠性來(lái)仲裁他們的選擇。本文通過(guò)提出一種結(jié)合內(nèi)在動(dòng)機(jī)學(xué)習(xí)和模仿學(xué)習(xí)的有原則的計(jì)算方法來(lái)探索實(shí)現(xiàn)這一目標(biāo)的可能途徑。在機(jī)器人技術(shù)中，技能習(xí)得最常通過(guò)專(zhuān)注于單一學(xué)習(xí)策略或通過(guò)預(yù)先定義學(xué)習(xí)策略的基本序列（例如，用演示初始化的強(qiáng)化學(xué)習(xí)問(wèn)題）來(lái)研究。這導(dǎo)致了大量的研究工作致力于開(kāi)發(fā)專(zhuān)門(mén)用于單個(gè)領(lǐng)域的非常精細(xì)的算法（從演示中學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、好奇心驅(qū)動(dòng)的學(xué)習(xí)）。

本文認(rèn)為，可以通過(guò)允許多種學(xué)習(xí)策略并提供一種機(jī)制來(lái)以開(kāi)放式和交互方式選擇這些學(xué)習(xí)方式，從而降低這種復(fù)雜性。就像我們不能僅僅通過(guò)看電視來(lái)學(xué)習(xí)踢球，也不能僅僅根據(jù)比賽規(guī)則從頭開(kāi)始學(xué)習(xí)足球戰(zhàn)術(shù)一樣。我們認(rèn)為機(jī)器人應(yīng)該依賴多種學(xué)習(xí)策略，其順序只能確定在學(xué)習(xí)過(guò)程中，以終身學(xué)習(xí)的方式。上述論點(diǎn)受到各個(gè)領(lǐng)域的研究的推動(dòng)，包括認(rèn)知科學(xué)、行為學(xué)、神經(jīng)計(jì)算和機(jī)器人學(xué)，所有這些都以不同的形式證明了見(jiàn)解，關(guān)于結(jié)合多種學(xué)習(xí)方式來(lái)獲得技能的重要性。特別是，多項(xiàng)發(fā)展研究表明，模仿學(xué)習(xí)是兒童發(fā)展中社會(huì)學(xué)習(xí)的關(guān)鍵組成部分。孩子們傾向于模仿他們看到的東西，即使觀察到的一些動(dòng)作不一定有用。從發(fā)展機(jī)器人學(xué)的角度來(lái)看，本文認(rèn)為在技能獲取過(guò)程中編排多種學(xué)習(xí)策略可以更好地應(yīng)對(duì)每個(gè)單獨(dú)策略的特定優(yōu)勢(shì)和局限性。事實(shí)上，這些策略通常是相互補(bǔ)充的，因此有必要將她們結(jié)合起來(lái)。內(nèi)在動(dòng)機(jī)學(xué)習(xí)不需要外部指導(dǎo)，即不需要人在場(chǎng)，但通常涉及與環(huán)境的長(zhǎng)期交互過(guò)程。另一方面，模仿學(xué)習(xí)需要人類(lèi)在場(chǎng)，但演示提供了大量信息，而這些信息需要大量時(shí)間才能自主獲取。

本文提出了一種可以在不同方面發(fā)揮作用的主動(dòng)學(xué)習(xí)方法_在基元級(jí)別，通過(guò)以開(kāi)放式方式?jīng)Q定當(dāng)前最合適的學(xué)習(xí)方式，在低級(jí)別，通過(guò)決定哪些代理當(dāng)前需要自己體驗(yàn)或要求作為演示的條件/情況/背景。本文的貢獻(xiàn)是用于學(xué)習(xí)機(jī)器人運(yùn)動(dòng)原語(yǔ)的貝葉斯計(jì)算框架，提供這種高級(jí)和低級(jí)仲裁能力，即_策略選擇_機(jī)器人根據(jù)其先前的經(jīng)驗(yàn)在模仿學(xué)習(xí)和內(nèi)在動(dòng)機(jī)學(xué)習(xí)之間主動(dòng)選擇。示范選擇_在模仿學(xué)習(xí)策略中，機(jī)器人主動(dòng)選擇期望的目標(biāo)產(chǎn)生最有趣的演示。策略探索_在內(nèi)在動(dòng)機(jī)學(xué)習(xí)策略中，機(jī)器人主動(dòng)選擇哪個(gè)動(dòng)作最能提高其對(duì)任務(wù)的知識(shí)。據(jù)本文所知，本文的工作是第一個(gè)將這三個(gè)學(xué)習(xí)方面集成到計(jì)算框架中的工作。

通過(guò) 7-DoF 模擬 Franka Emika Panda 機(jī)器人的垃圾投擲任務(wù)展示了本文方法的穩(wěn)健性。本文通過(guò)將每個(gè)主動(dòng)學(xué)習(xí)算法與替代基線進(jìn)行比較來(lái)研究她們的有用性，并表明在所有實(shí)驗(yàn)中，本文的算法都提供了最佳性能。本文方法的基本要素在于對(duì)運(yùn)動(dòng)的聯(lián)合分布進(jìn)行建模。以此可以計(jì)算幾種形式的條件分布（在本文的例子中，量化特定機(jī)器人運(yùn)動(dòng)對(duì)物體的內(nèi)在激勵(lì)學(xué)習(xí)的影響，或者將物體帶到所需的最終模仿位置所需的機(jī)器人運(yùn)動(dòng)學(xué)習(xí)）。此外，由于內(nèi)在動(dòng)機(jī)學(xué)習(xí)和模仿學(xué)習(xí)基于相同的運(yùn)動(dòng)聯(lián)合模型，本文可以定量比較這些非常不同的學(xué)習(xí)方式。在未來(lái)的工作中，本文將研究是否可以將額外的學(xué)習(xí)方式添加到框架中。特別是，使用人類(lèi)反饋?zhàn)鳛橐环N學(xué)習(xí)方式可能特別有趣，因?yàn)槿祟?lèi)用戶向機(jī)器人提供部分反饋而不是完整演示會(huì)不那么麻煩。未來(lái)還將調(diào)查所提議的主動(dòng)學(xué)習(xí)方法是否可以擴(kuò)展到技能的不同方面，以允許不同的學(xué)習(xí)方式改進(jìn)任務(wù)的不同方面（例如，通過(guò)觀察學(xué)習(xí)獲得運(yùn)動(dòng)學(xué)方面，以及通過(guò)體驗(yàn)式學(xué)習(xí)的動(dòng)態(tài)方面）。