Sistēma sastāv no 3 moduļiem: Objektu detektēšana, Objektu klasifikācija un Industriālo robotu vadība dinamiskos apstākļos.
Stereo redzes un mākslīgā intelekta sistēmas industriālo procesu autmatizācijai, kas sastāv no aprakstītajiem moduļiem, var apskatīt šajā video:
Objektu detektēšanas modulis tiek izmantots, lai dinamiski iegūtu informāciju par apkārtējo vidi, interesējošajiem objektiem tajā un attiecīgi modificētu industriālā robota sistēmas darbības. Objektu detektēšanas modulis, izmantojot stereo kameru, iegūst krāsu attēlus un dziļuma informāciju Šī informācija tiek apstrādāta, izmantojot datorredzes algoritmus, rezultātā iegūstot nepieciešamos datus par interesējošiem objektiem, kā, piemēram, objekta veids un pozīcija. Stereo kamera var tikt uzstādīta gan statiski virs objektu kaudzes, gan uz industriālā robota kā daļa no tā gala instrumenta. Objektu detektēšanas moduļa galvenā funkcionalitāte ir no nejaušā kārtībā izvietotiem objektiem izsķirt tos objektus, kurus ir iespējams paņemt ar industriālo robotu, to veidu un pozīciju.
Objektu detektēšanai EDI ir izstrādājis divas dažādas metodes. Pirmā metode tiek īstenota, izmantojot standarta datorredzes algoritmus. Otrā metode izmanto CNN-balstītus YOLO datorredzes algoritmus. YOLO tiek apmācīts uz sintētiski ģenerētām datu kopām, kuras tiek ģenerētas specifiski noteiktajam objekta veidam, lai sasniegtu augstākos objektu detektēšanas rādītājus. Pašlaik YOLO apmācība tieik veikta uz HPC servera un aizņem aptuveni 2 dienas, savukārt apmācītais YOLO modelis var tikt izmantots standarta personālajā datorā. YOLO vienā kadrā detektē visus objektus, kuri modelim ir tikuši iemācīti. No detektētajiem objektiem sistēma izvēlas to objektu, kurš ir ticis detektēts ar lielāko pārliecības rādītāju. Pēc objektu detektēšanas tajā pašā kadrā tiek noteika objekta pozīcija un tā veids. YOLO ir ticis testēts ar vienkāršas formas objektiem (pudelīte, bundža), bet modelis var tikt apmācīts un pielāgots arī sarežģītākas formas objektiem.
Objektu klasifikācija
Dažāda veida objektu atšķiršanai tiek izmantots konvolūciju neironu tīkls. Kad industriālais robots paceļ objektu, tas tiek klasificēts, izmantojot konvolūciju neironu tīklu. Šī tehnoloģija iespējo dažādu objektu sķirošanu, piemēram, kā var redzēt attēlos, kur tiek šķiroti divi dažāda veida objekti.
Lai klasifikators spētu atpazīt jaunas objektu klases, tam ir nepieciešamas apmācāmā objekta datu kopas. Apmācība var tik veikta uz standarta personālā datora, lai nodrošinātu precizitāti virs 99%, modelim ir nepieciešami vismaz 1000 apmācāmā objekta attēlu. Maksimālais dažādu klašu apjoms nav noteikts. Sistēma ir testēta ar 7 dažādā tipa klasēm.
Industriālo robotu vadība dinamiskos apstākļos
Industriālo robotu vadība dinamiskos apstākļos galvenokārt nodrošina robota kustību un trajektoriju ģenerēšanu atkarībā no objekta pozīcijas, klases un citas sensoru informācijas. Piemēram, attēlā redzamajā demonstrācijā, kur nepieciešams paņemt un pārvietot nejaušā kārtībā izvietotus dažāda veida objektus, robota kustības tiek veidotas atkarībā no objekta pozīcijas kastē. Tā kā objekta pozīcija kastē ir mainīga, robota trejektorija tiek ģenerēta pēc objekta pozīcijas noteikšanas, ņemot vērā apkārtējo vidi, ar kuru robots nedrīkst sadurties kustību izpildes laikā. Šajā gadījumā galvenokārt nepieciešams novērst sadursmes ar kasti, kurā atrodas interesējošie objekti.
Kontaktinformācija:
Jānis Ārents