做靈巧手如果不會用工具,跟咸魚(夾爪)有什么區(qū)別?
別急,能擰螺絲、掄錘子,玩“轉(zhuǎn)”各類工具的靈巧手,這就來了。
圖片
上面這位擰螺絲的“老師傅”,出自銀河通用最新推出的靈巧手神經(jīng)動力學(xué)模型DexNDM。
在DexNDM的加持下,靈巧手實現(xiàn)了從能動到能用的飛躍,通過分布有偏的真實數(shù)據(jù)訓(xùn)練,無需成功示例,即可精準(zhǔn)彌合Sim2Real鴻溝,首次讓通用靈巧手能夠?qū)Χ囝愇矬w實現(xiàn)穩(wěn)定、多姿態(tài)、多軸向的旋轉(zhuǎn)操作。
跨物體精準(zhǔn)操控:從微小零件到大書本、長棍、復(fù)雜幾何體,首次實現(xiàn)跨類別、跨尺寸、跨姿態(tài)的穩(wěn)定旋轉(zhuǎn)。
任意姿態(tài)多軸旋轉(zhuǎn):無論手掌朝上、朝下或側(cè)向,均能沿任意軸向進(jìn)行穩(wěn)定、持續(xù)的旋轉(zhuǎn)。
高靈巧高魯棒遙操作:可自如地抓、轉(zhuǎn)、擰各類工具,勝任擰螺絲、家具組裝等長程、復(fù)雜操作任務(wù)。
彌合Sim2Real的鴻溝:無需成功操作數(shù)據(jù),僅憑分布有偏的真實數(shù)據(jù)即可完成高精度學(xué)習(xí),克服靈巧操作Sim2Real的差距,實現(xiàn)了“從0到1”的突破。
圖片
這下,離流水線和廚房里的靈巧機器人,真不遠(yuǎn)了!
手內(nèi)操作的通用策略
如上所述,DexNDM的核心突破在于首次在真實世界中突破了手掌任意朝向的物體旋轉(zhuǎn)限制,實現(xiàn)了跨物體、跨姿態(tài)的穩(wěn)定手內(nèi)旋轉(zhuǎn)(In-Hand Rotation)與工具操作(Tool Use)。
具體來說,DexNDM能在極具挑戰(zhàn)的手腕姿態(tài)下(如手掌朝下或側(cè)向),實現(xiàn)長物體沿長邊的連續(xù)旋轉(zhuǎn),以及小物體在多種轉(zhuǎn)軸下的穩(wěn)定旋轉(zhuǎn)。