Za ljude je pronalaženje izgubljenog novčanika zakopanog ispod hrpe predmeta prilično jednostavno -- jednostavno uklanjamo stvari s hrpe dok ne pronađemo novčanik. Ali za robota ovaj zadatak uključuje složeno razmišljanje o hrpi i predmetima u njoj, što predstavlja veliki izazov.
Istraživači MIT-a prethodno su demonstrirali robotsku ruku koja kombinira vizualne informacije i radiofrekvencijske (RF) signale kako bi pronašla skrivene objekte koji su označeni RFID oznakama (koje odražavaju signale koje šalje antena). Nadovezujući se na taj rad, sada su razvili novi sustav koji može učinkovito izvući bilo koji predmet zakopan na hrpi. Sve dok neke stavke u hrpi imaju RFID oznake, ciljna stavka ne mora biti označena da bi je sustav povratio.
Algoritmi koji stoje iza sustava, poznati kao FuseBot, razmišljaju o vjerojatnoj lokaciji i orijentaciji objekata ispod hrpe. Zatim FuseBot pronalazi najučinkovitiji način za uklanjanje ometajućih objekata i izdvajanje ciljne stavke. Ovo razmišljanje omogućilo je FuseBot-u da pronađe više skrivenih predmeta od najsuvremenijeg robotskog sustava, upola kraće.
Ova brzina bi mogla biti posebno korisna u skladištu e-trgovine. Robot zadužen za obradu povrata mogao bi učinkovitije pronaći stavke u nerazvrstanoj hrpi sa sustavom FuseBot, kaže stariji autor Fadel Adib, izvanredni profesor na Odjelu za elektrotehniku i računarstvo i direktor grupe Signal Kinetics u Media Labu.
"Ono što ovaj rad pokazuje, po prvi put, jest da vam sama prisutnost predmeta s RFID oznakom u okruženju znatno olakšava postizanje drugih zadataka na učinkovitiji način. To smo mogli učiniti jer smo dodali multimodalnog razmišljanja u sustav -- FuseBot može razmišljati i o vidu i o RF-u kako bi razumio hrpu stavki," dodaje Adib.
Adibu se na radu pridružuju pomoćnice u istraživanju Tara Boroushaki, koja je glavna autorica; Laura Dodds; i nacistički Naeem. Istraživanje će biti predstavljeno na konferenciji Robotics: Science and Systems.
Oznake za ciljanje
Nedavno tržišno izvješće pokazuje da više od 90 posto američkih trgovaca sada koristi RFID oznake, ali tehnologija nije univerzalna, što dovodi do situacija u kojima su samo neki predmeti unutar hrpe označeni.
Ovaj je problem potaknuo skupinu na istraživanje.
Uz FuseBot, robotska ruka koristi priključenu videokameru i RF antenu za dohvaćanje neoznačenog ciljnog predmeta iz miješane hrpe. Sustav skenira hrpu svojom kamerom kako bi stvorio 3D model okoliša. Istovremeno, šalje signale sa svoje antene kako bi locirao RFID oznake. Ovi radio valovi mogu proći kroz većinu čvrstih površina, tako da robot može "vidjeti" duboko u hrpu. Budući da ciljna stavka nije označena, FuseBot zna da se stavka ne može nalaziti na točno istom mjestu kao RFID oznaka.
Algoritmi spajaju ove informacije kako bi ažurirali 3D model okoline i istaknuli potencijalne lokacije ciljne stavke; robot zna njegovu veličinu i oblik. Zatim sustav razmišlja o objektima u hrpi i lokacijama RFID oznake kako bi odredio koju stavku ukloniti, s ciljem pronalaženja ciljane stavke s najmanje poteza.
Bilo je izazovno ugraditi ovo razmišljanje u sustav, kaže Boroushaki.
Robot nije siguran kako su predmeti orijentirani ispod hrpe ili kako bi se mljackavi predmet mogao deformirati pritiskom težih predmeta na njega. Ovaj izazov nadilazi vjerojatnosnim razmišljanjem, koristeći ono što zna o veličini i obliku objekta i njegovoj lokaciji RFID oznake za modeliranje 3D prostora koji će taj objekt vjerojatno zauzimati.
Dok uklanja stavke, također koristi obrazloženje kako bi odlučio koju bi stavku bilo "najbolje" ukloniti sljedeću.
"Ako čovjeku dam hrpu predmeta za pretraživanje, najvjerojatnije će prvo ukloniti najveći predmet kako bi vidio što je ispod njega. Ono što robot radi je slično, ali također uključuje RFID informacije kako bi donio informiraniju odluku. pita: 'Koliko će više razumjeti ovu hrpu ako ukloni ovaj predmet s površine?', kaže Boroushaki.
Nakon što ukloni predmet, robot ponovno skenira hrpu i koristi nove informacije kako bi optimizirao svoju strategiju.
Rezultati dohvaćanja
Ovakvo razmišljanje, kao i njegova upotreba RF signala, dalo je FuseBotu prednost u odnosu na najsuvremeniji sustav koji koristi samo vid. Tim je proveo više od 180 eksperimentalnih ispitivanja koristeći prave robotske ruke i hrpe s kućanskim predmetima, poput uredskog materijala, plišanih životinja i odjeće. Mijenjali su veličine hrpa i broj predmeta s RFID oznakom u svakoj hrpi.
FuseBot je izvukao ciljnu stavku uspješno u 95 posto slučajeva, u usporedbi s 84 posto za drugi robotski sustav. To je postigao koristeći 40 posto manje poteza, i mogao je locirati i dohvatiti ciljane stavke više nego dvostruko brže.
"Vidimo veliki napredak u stopi uspjeha uključivanjem ovih RF informacija. Također je bilo uzbudljivo vidjeti da smo uspjeli izjednačiti performanse s našim prethodnim sustavom i nadmašiti ih u scenarijima u kojima ciljna stavka nije imala RFID oznaku", kaže Dodds.
FuseBot se može primijeniti u raznim postavkama jer se softver koji izvodi svoje složeno razmišljanje može implementirati na bilo koje računalo -- samo treba komunicirati s robotskom rukom koja ima kameru i antenu, dodaje Boroushaki.
U bliskoj budućnosti, istraživači planiraju uključiti složenije modele u FuseBot kako bi bolje radio na deformabilnim objektima. Osim toga, zainteresirani su za istraživanje različitih manipulacija, poput robotske ruke koja gura predmete s puta. Buduće iteracije sustava također bi se mogle koristiti s mobilnim robotom koji pretražuje više gomila izgubljenih predmeta.
Ovaj rad djelomično su financirali Nacionalna zaklada za znanost, Sloan Research Fellowship, NTT DATA, Toppan, Toppan Forms i MIT Media Lab.