Humanoidiniai robotai vis geriau veikia realiame pasaulyje.
Tačiau kiekvieną kartą, kai jie susiduria su užduotimi, kurios nemoka atlikti, atsiranda kita problema:
iš kur gauti kitą reikalingą mokymo duomenų pavyzdį?
Robotas gali susidurti su nepažįstama buitine užduotimi, nauja aplinka ar kraštiniu atveju, kurio nebuvo pradiniame mokymo rinkinyje.
Tradiciškai naujų demonstracijų surinkimas tokioms spragoms užpildyti gali reikšti visiškai naujos duomenų rinkimo operacijos organizavimą: surasti dalyvius, pasirūpinti aplinka, įrašyti užduotis, apdoroti duomenis ir paruošti juos mokymui.
Kaune įsikūręs startuolis Nuuduu atveria viešą beta versiją, paremtą kitokia idėja.
Užuot laikęs duomenų rinkimą atskira veikla, Nuuduu nori jį tiesiogiai susieti su realiais paslaugų darbais, kurie jau vyksta namuose, darbo vietose ir kitose tikrose aplinkose.
Rezultatas – uždaro ciklo platforma, jungianti darbuotojus, egocentrinių duomenų fiksavimą išmaniuoju telefonu, automatinį apdorojimą, paieškai pritaikytą duomenų biblioteką ir kūrėjų įrankius, leidžiančius užsakyti naujas demonstracijas tada, kai esamų duomenų nepakanka.
Realus darbas tampa mokymo duomenimis
Sistemos pradžioje yra Nuuduu paslaugų darbų platforma.
Ji apima daugiau nei 50 paslaugų kategorijų ir yra kuriama aplink profesionalus, atliekančius realias klientų užduotis.
Atrinktų darbų metu profesionalai gali naudoti Nuuduu Capture programėlę kartu su ant galvos tvirtinamu išmaniuoju telefonu ir fiksuoti egocentrinį vaizdą, judesio bei kitus jutiklių duomenis atlikdami užduotį.
Šis skirtumas svarbus.
Nuuduu nesiekia kurti atskiros duomenų rinkimo darbo jėgos, sudarytos iš žmonių, kurie tik imituoja užduotis prieš kamerą.
Vietoje to demonstracija turėtų ateiti iš žmogaus, kuris tą darbą jau moka atlikti profesionaliai.
Santechnikas demonstruoja santechnikos darbus.
Valytojas demonstruoja valymą.
Technikas demonstruoja techninę užduotį.
Kadangi šie profesionalai jau dirba platformoje, Nuuduu gali naudoti jų realią darbo istoriją kaip vieną iš kokybės signalų.
Klientų įvertinimai.
Atliktos užduotys.
Ankstesni rezultatai.
Šie signalai gali padėti nustatyti, kurie darbuotojai geriausiai tinka konkrečiam duomenų rinkimo užsakymui.
Pagrindinė idėja paprasta:
geri robotų mokymo duomenys turėtų ateiti iš žmonių, kurie jau gerai moka atlikti tą darbą.
Klientas taip pat yra ciklo dalis
Realūs fizinio DI duomenys turi dar vieną problemą.
Naudingiausios aplinkos dažnai yra būtent tos, kurias laboratorijoje sunkiausia atkurti.
Tikros virtuvės.
Tikros dirbtuvės.
Tikri vonios kambariai.
Tikri biurai.
Skirtingi namai.
Skirtingas išplanavimas.
Skirtingi įrankiai.
Skirtingas apšvietimas.
Skirtingi būdai atlikti tą pačią užduotį.
Nuuduu modelyje dalyvauja ne tik darbuotojas, bet ir klientas, kurio aplinkoje vyksta darbas.
Bendrovė dalijasi pajamomis iš mokymo duomenų pardavimo su abiem pusėmis, taip sukurdama paskatą dalyvauti ir kartu palaikydama sutikimo procesą, reikalingą duomenims rinkti realiuose namuose bei darbo vietose.
Tai reiškia, kad klientas yra daugiau nei vien paslaugos užsakovas.
Jis taip pat suteikia tai, ką robotikos laboratorijoms dažnai sunku atkartoti:
tikrą aplinką.
Nuo neapdoroto įrašo iki robotikai paruoštų duomenų
Užduoties įrašymas yra tik pradžia.
Žalias vaizdo įrašas pats savaime nebūtinai yra naudingas mokymo duomuo.
Jį reikia apdoroti.
Segmentuoti.
Įvertinti.
Anotuoti.
Supakuoti.
Ir konvertuoti į formatus, kuriuos robotikos komandos gali iš karto naudoti.
Gauti įrašai automatiškai apdorojami, segmentuojami, vertinami DI sistemomis ir anotuojami, o tada tampa prieinami per Nuuduu Atlas – bendrovės mokymo duomenų biblioteką.
Duomenys gali būti pateikiami robotikai pritaikytais formatais, įskaitant LeRobot, MCAP ir HEVC vaizdo įrašus.
Šis apdorojimo sluoksnis sujungia žmogaus demonstraciją su kūrėjo darbo eiga.
Darbuotojui nereikia suprasti robotikos duomenų formatų.
Robotikos kūrėjui nereikia rankiniu būdu apdoroti kiekvieno telefono įrašo.
Nuuduu yra tarp jų.
Atlas yra duomenų biblioteka
Vieša beta versija taip pat sujungia Nuuduu Atlas, kur kūrėjai gali ieškoti jau egzistuojančių mokymo duomenų.
Sistema kuriama aplink realių žmogaus darbų epizodus, o ne bendro pobūdžio vaizdo klipus.
Kūrėjas gali ieškoti demonstracijų, susijusių su konkrečia užduotimi.
Jeigu tinkamų duomenų jau yra, juos galima naudoti.
Jeigu jų nėra, trūkstami duomenys gali tapti nauju rinkimo užsakymu.
Čia Nuuduu pradeda atrodyti ne kaip statiška duomenų prekyvietė, o kaip aktyvi duomenų tiekimo sistema.
Visa darbo eiga susideda iš šešių susietų etapų:
darbuotojai atlieka realias užduotis;
vyksta duomenų fiksavimas;
duomenys patenka į apdorojimo sistemą;
tampa prieinami Nuuduu Atlas;
kūrėjai juos pasiekia per Atlas CLI ir SDK;
o nauji duomenų rinkimo užsakymai grįžta atgal darbuotojams.
Svarbiausia, kad sistema sudaro ciklą.
Kūrėjai gali užsakyti būtent tuos duomenis, kurių jiems trūksta
Viena svarbiausių viešos beta versijos dalių yra kūrėjų sąsaja.
Per Nuuduu Atlas SDK ir CLI robotikos kūrėjai gali programiškai ieškoti esamų mokymo duomenų ir užsakyti naujas demonstracijas tiesiai iš savo kūrimo aplinkos.
Tarkime, robotikos komanda pastebi, kad modelis nuolat suklysta atlikdamas konkrečią užduotį.
Užuot rankiniu būdu organizavusi visiškai naują duomenų rinkimo kampaniją, komanda gali nustatyti, kokių duomenų trūksta, ir pateikti užklausą.
Ši užklausa gali būti perduota tinkamiems darbuotojams, jau veikiantiems Nuuduu platformoje.
Jie atlieka užduotį.
Duomenys įrašomi.
Apdorojimo sistema juos paruošia.
Naujos demonstracijos grįžta į Atlas.
Kūrėjas gali mokyti modelį iš naujo.
Nuuduu ciklą apibūdina paprastai:
Nustatyti trūkstamus duomenis → Užsakyti rinkimą → Užfiksuoti realų darbą → DI apdorojimas → Mokyti → Kartoti.
Tikslas – sutrumpinti laiką tarp momento, kai robotas susiduria su problema, ir momento, kai robotikos komanda gauna žmogaus demonstracijas, reikalingas tai problemai spręsti.
Didinti fizinio DI vystymo greitį
Šis uždaras ciklas yra pagrindinė beta versijos produkto idėja.
Robotikos vystymas vis labiau vyksta iteracijomis.
Įdiegti.
Stebėti nesėkmę.
Surinkti geresnių pavyzdžių.
Permokyti.
Įdiegti iš naujo.
Kuo greičiau sukasi šis ciklas, tuo greičiau modelis gali prisitaikyti.
Nuuduu tezė yra ta, kad duomenų rinkimo etapas vis dar yra pernelyg lėtas.
Robotikos komanda gali labai tiksliai žinoti, kokių duomenų jai reikia, tačiau naujų demonstracijų gavimas vis tiek gali pareikalauti savaičių koordinavimo.
Nuuduu nori šį laiką sutrumpinti, tiesiogiai sujungdamas kūrėjus su paskirstytu profesionalų tinklu, jau atliekančiu realius darbus.
Užuot kiekvieną kartą iš naujo kūrus atskirą duomenų rinkimo komandą, kūrėjas potencialiai galėtų užsakyti demonstracijas iš žmonių, jau veikiančių reikiamoje profesijoje ir tinkamoje aplinkoje.
Tikslas nėra vien sukurti daugiau duomenų.
Tikslas – sukurti greitesnį grįžtamojo ryšio ciklą tarp roboto diegimo ir žmogaus demonstracijos.
Beta versija sujungia atskiras dalis
Nuuduu iki šiol atskirai kūrė skirtingas šios sistemos dalis.
Paslaugų darbų platformą.
Mobilias duomenų fiksavimo programėles.
Automatinį apdorojimo vamzdyną.
Atlas.
Kūrėjų įrankius.
Vieša beta versija yra etapas, kai šios dalys pradeda veikti kaip vienas produktas.
Dabar Nuuduu daugiausia dėmesio skiria duomenų rinkimo operacijų ir darbuotojų tinklo plėtrai, pradinės duomenų bibliotekos didinimui ir darbui su robotikos kūrėjais, kad būtų galima patikrinti visą sistemą.
Šis validavimo etapas bus svarbus.
Ilgalaikė idėja priklauso ne vien nuo to, ar veikia atskiros dalys.
Patikimai turi veikti visas ciklas.
Kūrėjas nustato naudingą duomenų spragą.
Užklausa pasiekia tinkamą darbuotoją.
Užduotis tinkamai užfiksuojama.
Įrašas praeina kokybės patikras.
Epizodas apdorojamas į naudingą robotikos formatą.
Ir gauti duomenys realiai padeda robotikos komandai.
Vieša beta versija yra etapas, kai visas šis ciklas pradedamas testuoti praktiškai.
Prekyvietė tarp žmogaus kompetencijos ir mašininio mokymosi
Už Nuuduu slypi ir platesnė idėja.
Dauguma paslaugų platformų uždirba iš sandorio tarp darbuotojo ir kliento.
Nuuduu modelis bando iš to paties darbo sukurti dar vieną vertės šaltinį.
Profesionalas atlieka paslaugą klientui.
Tačiau, gavus sutikimą, to darbo demonstracija taip pat gali tapti naudinga mokymo medžiaga mašinoms, kurios mokosi atlikti panašias užduotis.
Darbuotojas suteikia kompetenciją.
Klientas suteikia realią aplinką.
Nuuduu pasirūpina fiksavimu, apdorojimu ir platinimu.
Robotikos kūrėjas gauna demonstraciją.
O pajamos iš mokymo duomenų gali būti dalijamos su žmonėmis, kurie padėjo juos sukurti.
Jeigu modelis veiks, fizinis darbas pradės kurti du rezultatus:
pačią paslaugą ir žinias apie tai, kaip ta paslauga buvo atlikta.
Kurti pasiūlą dar prieš robotui jos prireikiant
Ilgalaikis Nuuduu tikslas – sukurti globalią infrastruktūrą, kurioje realus žmogaus darbas nuolat tiekia aukštos kokybės fizinio DI mokymo duomenis pagal besikeičiančius robotikos kūrėjų poreikius.
Tai daug didesnė ambicija nei dabartinė beta versija.
Bendrovei dar reikia plėsti darbuotojų tinklą.
Didinti turimų duomenų kiekį ir įvairovę.
Ir įrodyti, kad robotikos bendrovės iš tiesų nori integruoti tokį rinkimo ciklą į savo kūrimo procesą.
Tačiau pati architektūra rodo kitokį požiūrį į robotikos duomenų rinkinius.
Vietoje vieno milžiniško statiško rinkinio, kuriame tikimasi iš anksto turėti viską, su kuo robotas kada nors susidurs, duomenų sistema tampa reaguojanti į poreikį.
Robotas suklysta.
Kūrėjas nustato, kokio pavyzdžio trūksta.
Platforma jį užsako.
Profesionalas atlieka užduotį.
Duomenys grįžta.
Ir ciklas prasideda iš naujo.
Finansavimas kitam etapui
Kartu su vieša beta versija Nuuduu šiuo metu pritraukia 500 000 eurų pre-seed investicinį raundą.
Finansavimas būtų skirtas duomenų rinkimo tinklui plėsti, produkto vystymui spartinti ir komerciniam diegimui palaikyti.
Tačiau šiuo metu svarbiausias etapas yra paprastesnis.
Uždaras ciklas jau atvertas testavimui.
Nuuduu vieša beta versija sujungia realų paslaugų darbą, egocentrinių duomenų fiksavimą, automatinį apdorojimą, Atlas ir kūrėjų valdomą duomenų rinkimą į vieną sistemą.
Nuuduu stato ant idėjos, kad fizinio DI ateičiai reikės ne tik milžiniškų statiškų duomenų rinkinių.
Reikės infrastruktūros, galinčios atsakyti į daug praktiškesnį klausimą:
kai robotas susiduria su tuo, ko dar nemoka padaryti, kaip greitai galime jam parodyti?
Daugiau: https://nuuduu.ai