Darbības programmas “Izaugsme un nodarbinātība” 1.2.1. specifiskā atbalsta mērķa “Palielināt privātā sektora investīcijas P&A” 1.2.1.1. pasākuma “Atbalsts jaunu produktu un tehnoloģiju izstrādei kompetences centru ietvaros” projekta “Latvijas elektrisko un optisko iekārtu ražošanas nozares kompetences centrs” (Nr. 1.2.1.1/16/A/002) Pētījums Nr. 11 “Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai”
Pētījuma īstenotājs: Elektronikas un datorzinātņu institūts (EDI)
Pētījuma īstenošanas vieta: Elektronikas un datorzinātņu institūts.
Pētījuma īstenošanas ilgums: 01.11.2016. līdz 30.11.2018.
Pētījumu līdzfinansē: Eiropas Savienība
03.12.2018.
Laika posmā no 2018.g. 1.oktobrim līdz 30.novembrim EDI pabeidza rūpnieciskā pētījuma un eksperimentālās izstrādes aktivitātes projektā ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (Nr.1.2.1.1/16/A/002).
Rūpnieciskajā pētījuma aktivitātē zinātniskā komanda strādāja pie mākslīgā neironu tīkla Generative Adversial Network (GAN) paveida CycleGAN apmācībā sintētisku treniņa datu pārveidošanas uz vizuāli reālistiskākiem datiem, pie neironu tīklos balstītas objektu attēlu klasifikatora uzlabošanas un programmatūras testēšanas, uz konvolūcijas neironu tīkliem balstītas objektu attēlu klasifikatora integrēšanas gala sistēmā un pēdējo testu veikšanas, pie robota – kamera kalibrācijas pakotnes implementēšanas vadības sistēmā, kalibrācijas veikšanas, tās precizitātes noteikšanas un sistēmas intensīvas testēšanas, kā arī veica kopējās sistēmas testēšanu un dažādu kļūdu novēršanu, sistēmas veiktspējas analīzi un ātrdarbības uzlabošanu, sensoru implementēšanu robota vadības ciklā.
Projekta zinātniskais personāls strādāja pie Sobeļa filtra koeficientu izmantošanas pazīmju iegūšanai matlab/octave vidē, salīdzinot ar pašizveidotajām pazīmēm, dziļuma kartes iegūšanas un to konsistences pārbaudes, digitālas shēmas izveides, balstoties uz izveidoto algoritmu, LoRas antenu testēšanas un paštaisīto antenu salīdzinājuma ar ražotajām antenām. Paralēli tika pētīta IR sensora izmantošana robota manipulējamo objektu temperatūras noteikšanai, veikti eksperimenti IR sensora optimāla novietojuma noteikšanai, izveidota klasifikatora programma dažādu objektu atšķirīgām temperatūrām, pārbaudīta programmas darbība reālā laikā, finalizēta RBNN (Raduially Based Nearest Neighbors) algoritma implementēšana valodā C++, veikti algoritma testi ar dažādiem ieejas argumentiem, īstenota algoritma uzlabošanas iespēju izpēte, izmantojot citas attēlu segmentēšanas metodes, kuras būtu apvienojamas ar esošo algoritmu iegūto rezultātu precizitātes uzlabošanai. Vienlaikus tika pabeigta kopējās sistēmas programmatūras koda pārskatīšana un pārstrukturēšana ērtākai un pārskatāmākai lietošanai, programmatūras daļu sadalīšana pa moduļiem pēc to funkcionalitātes.
Eksperimentālās izstrādnes aktivitātē zinātniskā komanda turpināja strādāt pie eksperimentālās sistēmas maketa programmatūras gala versijas izstrādes, pie eksperimentālas programmatūras (Virtualo objektu ģenerātors) ģenerēšanas dažādām datu kopām, lai konvalūcijas neironu tīkls varētu veiksmīgi atpazīt objektus un uzlabot Virtuālo objekta ģeneratoru, pie programmatūras izpētes mākslīgo neironu tīklu apmācības uz augstas veiktspējas skaitļošanas servera.
Zinātniskais personāls īstenoja uztrenētā Tensorflow neironu tīkla modeļa pārveidošanu uz Caffe dziļās apmācības satvaru, implementēja tīklu UltraScale+ heterogēnā iegultā sistēmā, veica neironu tīkla izejas slāņa interpretācijas un pie tīkla izejas datu apstrādi, lai iegūtu nepieciešamo rezultātu tīkla izejā. Paralēli tika izstrādāts LoRA radio modulī RN2483 implementējams bināra protokola modēms, lai nodrošinātu datu pārraidi ar ātrumiem no 18 b/s (LoRa modulācija) līdz 37.5 kb/s (LoRa modulācija) vai 300 kb/s (FSK modulācija). Tika realizētas visas plānotās komandas pilnai radio konfigurācijai un diagnostikai, pakešu pārraidei un uztveršanai, pieslēgti temperatūras sensori pie robota un veikta to testēšana, notikusi vienas robota komponentes 3d projektēšana un programmatūras rakstīšana priekš ESP32 mikroprocesora ULP (Ultra-Low-Power) kompresora izmantošanas. Projekta īstenošanas nobeiguma fāzē notika izpildmehānisma demonstrātora maketa datorsistēmas testēšana ilgstošas noslodzes režīmā un pēdējie pielāgošanas darbi.
1.11.-3.11.2018. pētnieks R.Kadiķis piedalījās starptautiskajā konferencē „The 11th International Conference on Machine Vision” (ICMV 2018) Minhenē, kurā prezentēja zinātnisko rakstu “Generation of Synthetic Training Data for Object Detection in Piles” par projektā veiktajiem pētījumiem sintētisku apmācības datu ģenerēšanā un to izmantošanā industrijas uzdevumu automatizācijā.
26.11.2018. EDI organizēja projekta noslēguma semināru, kurā ikviens interesents varēja iepazīties ar projekta rezultātu – izstrādāto rīku kopu industrijas procesu norises automatizācijai, izmantojot 2D un 3D datorredzi, kā arī informācijas apstrādi ar mašīnmācīšanās metodēm (neironu tīkli, “deep learning”) u.c. tehnoloģijām, lai nodrošinātu objektu detektēšanu un atpazīšanu. Risinājuma priekšrocība ir modulārā sistēmas komponenšu (sensori, kameras, stereo moduļi, robota manipulatori u.c.) arhitektūra, kas ļauj ar mazām izmaiņām, izmantot dažādu ražotāju un modeļu iekārtas. Sistēmas modularitāte tiek balstīta uz ROS (Robotu Operētājsistēmas) programmatūru.
Projekta prezentāciju skatiet ŠEIT: prezentācija
Sistēmas darbība aplūkojama šajā demonstrācijas video: https://www.youtube.com/watch?v=gmsn85Qk5WY
04.10.2018.
Laika posmā no 2018.g.1.jūlija līdz 30.septembrim EDI turpināja intensīvi strādāt gan pie rūpnieciskā pētījuma aktivitātēm, gan pie eksperimentālās izstrādes projektā ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (Nr.1.2.1.1/16/A/002).
Rūpnieciskajā pētījuma aktivitātē zinātniskā komanda turpināja strādāt pie datu marķēšanas, sintētisko datu ģeneratora un neironu tīklos balstīta objektu attēlu klasifikatora uzlabošanas, apmācot neironu tīkla modeli un testējot programmatūru ar ZED kameru iegūtiem datiem. Komanda intensīvi strādāja pie kopējās sistēmas programmatūras izstrādes, tās koda pārskatīšanas un pārstrukturēšanas ērtākai un pārskatāmākam pielietojumam, programmatūras daļu sadalīšanas pa moduļiem pēc to funkcionalitātes, robota vadības programmatūras uzlabošanas, objekta paņemšanas kustību izveides pēc datorredzes programmatūras noteiktās objekta orientācijas. Vienlaikus projekta komandā strādāja pie Robota operētājsistēmas (ROS) attāluma sensora dziņas izstrādes, kodēšanas, atkļūdošanas un testēšanas, ROS sistēmas un iegultas sistēmas komunikāciju iespēju izpētes, “Zynq UltraScale+ MPSoC” plates un “Intel RealSense” kameru salāgošanas, testu darbināšanas uz salāgotās sistēmas bez grafiskās vides, “Intel RealSense” datu apstrādes, datu kvalitātes, 3D koordināšu precizitātes testēšanas, pie ROSbridge un OSserial pārbaudes datu pārsūtīšanas no iegultas sistēmas uz PC ROS, apskatīto bibliotēku implementāciju pārbaudes, izmantojot programmēšanas valodu Python, un implementācijas iegultā sistēmā, izmantojot programmēšanas valodu C.
Vienlaikus ir notikusi ROS attālināta temperatūras sensora (TS) dziņas izstrāde, pētīts kā TS mērījumu nolasīšanas frekvence izmaina mērījumu precizitāti, pētīta iespēja izmantot NanoLoRaWAN protokolu vairāku ROS sensoru mērījumu savākšanai, notikusi RBNN (Raduially Based Nearest Neighbors) bāzēta algoritma implementēšanas iespēju izpēte, izmantojot no Intel RealSense iegūtos point cloud datus, apkopoti materiālu testu dati, apgūti bluetooth un LoRa savienojumi.
Par projekta rūpnieciskā pētījuma aktualitātēm tika gatavota zinātniskā publikācija „Generation of Synthetic Training Data for Object Detection in Piles”.
Eksperimentālās izstrādnes aktivitātē zinātniskā komanda turpināja strādāt pie eksperimentālās sistēmas maketa programmatūras attīstīšanas, pie programmatūras pielāgošanas darbam ar reālu robotu sistēmu, konvolūcijas neirona tīklu un robota operētājsistēmas kopdarbības, maketa sistēmas robota sistēmas un RGB+Dziļuma kameras kalibrācijas uzlabošanas, algoritma implementēšanas stereo kameras punktu mākoņa atskaites sistēmas salāgošanai ar robota atskaites sistēmu. Komanda pētīja neironu tīkla aktivizācijas funkcijas implementāciju kā LUT (Look-Up Table), izmantojot Vivado HLS izstrādes vidi, integrēja pašizveidotu PetaLinux distribūciju Vivado SDSoC vidē kā izmantojama programmatūras platforma. Vienlaikus tika papildināts demonstrācijas makets ar Intel RealSense stereo moduli un veikta sistēmas testēšana.
Zinātniskā komanda izstrādāja eksperimentu stendu LoRA modulācijā raidītu pakešu reāllaika raksturojuma (pārraides aizkave un pakešu ilgums, minēto parametru trīce) noteikšanai, izstrādāja aparātprogrammatūru stenda LoRa moduļiem un programmatūru stenda datu iztveršanai un analīzei. Vienlaikus tika iegūti dati par LoRa pakešu ilgumu un tā trīci, izmantojot pieejamo LoRa moduļu noklusētos komunikācijas parametrus, projektēta plate attāluma un temperatūras sensora savienošanai ar mikrokontrolieri, notikusi robota pielāgošana plates piestiprināšanai ar sensoru. Izmantojamā mikro kontroliera īpašību un iespēju pētīšana, programmatūras rakstīšana tā efektīvākai izmantošanai.
Paralēli zinātnieki veica robota maketa galda paplašinājuma un kameras stiprinājuma projektēšanu, dziļuma sensoru moduļa iespiedplates revīziju un darbības pārbaudi, kameras pozicionēšanas sistēmas 3D modelēšanu un drukāšanu, sekundārā gala maketa datora konstrukcijas plānošanu un komponenšu komplektāciju, robota maketa galda paplašinājuma un kameras stiprinājuma detaļu izveidi, pārvietojama kameras statīva projektēšanu un kameras stiprinājumu pie statīva risinājuma izveidi.
Projekta ietvaros R.Cacurs un J.Ārents piedalījās “ROSCon2018” konferencē Madridē, Spānijā 28.09.-01.10.2018., iepazīstoties ar jaunākajām ROS un ROS – Industrial tendencēm, pielietojumiem industriālo procesu automatizācijā un robotikā ar mērķi tos veiksmīgi integrējot projektā.
Jūlijā tika iesniegts projekta 3.nodevums „Industrijas procesu norises automatizācijas izpildmehānisma makets”.
12.07.2018.
Laika posmā no 2018.g.1.aprīļa līdz 30.jūnijam EDI turpināja intensīvi strādāt gan pie rūpnieciskā pētījuma aktivitātēm, gan pie eksperimentālās izstrādes projektā ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (1.2.1.1/16/A/002).
Rūpnieciskajā pētījuma aktivitātē zinātniskā komanda ir padziļināti pētījusi Selective Search attēlu segmentēšanas metodi, lai uzlabotu gan objektus saturošās kastes, gan arī pašu objektu lokalizēšanas precizitāti, veikusi kaudzē samestu objektu lokalizēšanas algoritma uzlabojumus, strādājusi pie datu kopas uzņemšanas programmas izveides, kas ļautu ātri ievākt ieejas datus uz mašīnmācīšanos balstīto lokalizēšanas modeļu testēšanai. Paralēli projektu komanda ir intensīvi strādājusi pie robota sistēmas uzlabošanas – neironu tīklu programmatūras apmācības, testēšanas, pielāgojot to industriālā robota uzdevumiem; STOMP un OMPL kustību plānotāju salīdzināšanas un analizēšanas ar mērķi izvēlēties robota vadībai piemērotāko UR5, demonstrācijas aplikācijas izstrādes pilnam paņemšanas un nolikšanas ciklam 2 objekta veidu klasificēšanai. Ir strādāts pie datu manuālas marķēšanas paātrināšanas paņēmienu izpētes un jaunu testa datu iegūšanas. Projekta komanda ir strādājusi pie Intel Real Sense dziļuma stereo moduļa programmatūras nodrošinājuma izveides un attāluma sensora ierīces izstrādes, to programmatūras izveides un tā komunicēšana ar mikrokontrolieri, pie iegulto sistēmu SoC (System on Chip) darbības principu izpētes un apgūšanas. Par projekta rūpnieciskā pētījuma aktualitātēm tika gatavota zinātniskā publikācija „Integration of computervision and artificial intelligence subsystems with Robot Operating System based motion planning for industrial robots”.
Eksperimentālās izstrādnes aktivitātē zinātniskā komanda ir strādājusi pie eksperimentālās sistēmas maketa programmatūras uzlabošanas, pie programmatūras uzstādīšanas un pielāgošanas darbam ar reālu robotu un jaunu maketa datoru. Komanda ir papildinājusi eksperimentālās sistēmas maketa programmatūru ar divu veida objektu klasificēšanu (tainstūrparalēlskaldņa un cilindiriski objekti) daļu no Kinect v2 datiem, tika izstrādāta programmatūras demonstrācijas aplikācija automatizētai divu veida objektu šķirošanai. Vienlaikus ir veikta sintētisko datu ģenerēšanas programmas uzlabojumu programmēšana, testa datu kopas attēlu marķēšana, veikti eksperimentāli pētījumi, trenējot objektu lokalizatoru ar sintētiski ģenerētiem datiem un testējot modeļus uz īstiem objektu attēliem. Paralēli zinātniskā komanda ir strādājusi pie robota maketa galda paplašinājuma un dziļuma sensoru moduļu stiprinājuma projektēšanas, maketa datora tīkla nodrošinājuma plānošanas un komponenšu komplektācijas.
Par projekta eksperimentālās izstrādnes aktualitātēm tika gatavota zinātniskā publikācija „Integration of computervision and artificial intelligence subsystems with Robot Operating System based motion planning for industrial robots”.
2018.gada 23.maijā Elektronikas un datorzinātņu institūta “EDI dienā” – pasākumā par institūta zinātniskajām aktualitātēm inovāciju un komercializācijas jomās – klātesošie tika iepazīstināti ar projekta DIPA pētniecības aktualitātēm industriālā robota izpētē un integrēšanā ar datorredzes risinājumiem un demonstrēts robota sistēmas maketa iterācija (kāds tas ir izstrādāts līdz 2018.g.maija vidum).
04.04.2018.
Pēdējo 3 mēnešu laikā projektā ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (1.2.1.1/16/A/002) EDI ir intensīvi strādājis pie trim rūpnieciskā pētījuma aktivitātēm:
1) Pētījuma par datorredzes algoritmiem un metodēm, to piemērošana industriālā robota vadīšanai un precīzai operāciju izpildei. Proti, zinātniskā komanda ir strādājusi pie eksperimentāliem testiem ar dažādām objektus saturošām kastēm, kā rezultātā modificēta kastes malu lokalizēšanas programma. Pētījuma rezultātā tika uzlabota objektu lokalizēšanas un objektus saturošās kastes noteikšanas kods, eksperimentējot ar Selective Search attēlu segmentēšanas algoritmu. Vienlaikus tika eksperimentāli testēta konteineru programmatūras (Docker) lietošana, veidoto datorredzes algoritmu apvienošanai kopējā kodā modulārā veidā.
2) Dziļās apmācības – deep learning metodes izpētes un realizācijas, aptverot programmatūras testēšanu un uzlabošanu, kas balstīta uz mākslīgo neironu tīklu apmācīšanu precīzākai un ātrākai pudeļu orientācijas noteikšanu automatizētas robotikas risinājumos. Vienlaikus zinātniskā komanda sagatavoja programmatūru neironu tīklu apmācībai un testēšanai, pielāgojot to EDI robotikas testa platformai, kas kalpos pudeļu orientācijas noteikšanai automatizētos robotizētos risinājumos.
3) Industriālā robota pieejamo komponenšu izpētes un integrēšanas ar datorredzes risinājumiem, ieskaitot atbilstoša rūpniecisko pētījumu maketa izveidi. Proti, zinātniskā komanda ir intensīvi strādājusi pie programmatūras pielāgošana darbam ar reālu robotu sistēmu, URSim simulācijas vides savienošana ar ROS, attiecīgi ROS vidē nepieciešamo draiveru uzstādīšana. Izveidotās UR5 pick and place aplikācijas darbības pārbaude simulācijas vidē URSim.
Paralēli rūpnieciskā pētījuma aktivitātēm, darbs turpinājās pie eksperimentālās izstrādes aktivitātēm. Pēdējo 3 mēnešu laikā projekta zinātniskā komanda ir uzlabojusi kastes detektēšanas algoritma implementāciju maketa datoram, Kinekt un robota koordināšu sistēmu savietošanas algoritma implementēšanu eksperimentālā maketa datoram. Kinect v2 un ZED stereo redzes komponenšu moduļa stiprināšanas risinājuma izveides.
04.01.2018.
Pēdējo 3 mēnešu laikā EDI ir nofinalizējis projekta ”Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” (1.2.1.1/16/A/002) 2.nodevumu „Attēlu kopa mašīnmācīšanās metožu apmācībai”.
2.nodevumā ir aprakstītas marķētas datu kopas, kas nepieciešamas, lai veidotu uz mašīnmācīšanos balstītas attēlu apstrādes metodes industrijas procesu automatizēšanai. Šajā projekta posmā tika pētītas iespējas lietot uz mākslīgajiem neironu tīkliem balstītu objektu lokalizēšanu, kas ļautu lietot vienu un to pašu programmu dažādu objektu lokalizēšanai. EDI pētnieki izstrādāja metodi, kas no dažiem objekta attēliem automātiski uzģenerē atbilstošu apmācības datu kopu, paverot iespēju projektā izstrādātajai lokalizēšanas sistēmai tikt ātri pielāgotai darbībai ar dažādiem objektiem. Rezultātā, ar izstrādāto metodi tika iegūts 2. nodevuma rezultāts – divas apmācības attēlu kopas : a) manuāli marķētas datu kopas, kuru marķēšanu veic cilvēks un b) automātiski ģenerētas marķētas datu kopas, kuras tiek ģenerētas ar datora palīdzību.
Manuālas marķēšanas gadījumā tika iegūti marķēti dati divu veidu objektiem: bundžām un pudelēm. Tika iegūti 358 piemēri bundžu datu kopā un 330 piemēri pudeļu datu kopā. Manuālās datu marķēšanas priekšrocība ir tā, ka tā ir universāla un cilvēku var salīdzinoši ātri instruēt, kāda lieta ir jāmarķē konkrētajos attēlos. Tās trūkums – diezgan lēna, piemēram, šāda veida datu bāzes iegūšana prasīja aptuveni vienu darba dienu vienam cilvēkam.
Automātiskas marķēšanas gadījumā tika iegūti marķēti dati divu veidu objektiem: bundžām un cilindrveidīgiem objektiem. Tika iegūti 6000 piemēri gan bundžu, gan cilindrveidīgu objektu gadījumā. Automātiskās marķēšanas priekšrocība – tā ir daudz ātrāka nekā manuālā datu marķēšana. Vienas šādas datu kopas ģenerēšana tika veikta pāris stundu laikā. Tās trūkums – šī metode nav universāla. Ne visu veida uzdevumiem iespējams vienkāršotā veidā izstrādāt algoritmu, kas ģenerētu šāda veida datus.
Iegūtas datu kopas ir svarīga “deep learning” metožu izpētes un realizācijas sastāvdaļa.
Laika periodā no 12.12.-14.12.2017. projekta asistents Jānis Ārents apmeklēja konferenci „ROS – Industrial” Štutgartē, Vācijā, lai iepazītos ar jaunākajām ROS – Industrial tendencēm un pielietojumiem industriālo procesu automatizācijā ar mērķi tos veiksmīgi integrēt projektā.
Tā kā projekta ietvaros EDI ir atbildīgs par industriālā robota vadības programmatūras pilnveidošanas ROS vidē, industriālā robota vadīšanas virtuālajā vidē pēc datorredzes noteiktajiem objekta datiem, tad konferences „ROS – Industrial” laikā jauniegūtās zināšanas, iepazīšanās ar paraugdemonstrējumiem un tikšanās ar vadošajiem pētniekiem un industrijas līderiem nodrošinās inovatīvāku pieeju EDI pētījumu veikšanā projektā.
12.09.2017.
Projektā ir izpētītas attēlu iegūšanas metodes ar Kinect V2, Bumblebee Xb3 un FLIR t650 termālo kameru. Ir izveidots industriālā procesa norises makets datu savākšanai un apstrādei, kas veic datu ieguvi no Kinect V2 sensora, datu apstrādi kas veic paņemamu objektu detektēšanu no haotiski sabērtas kaudzes, datu apstrādi ar MNT, kas veic atpazīšanu aiz kura malas objekts paņemts, robota vadības simulāciju.
Projekta ietvaros izstrādāts un aizstāvēts bakalaura darbs „Industriālo robotu un datorredzes risinājumu integrēšanas iespēju izpēte, rūpniecisko procesu automatizācijai”
Projekta rezultāti prezentēti Latvijas elektrisko un optisko iekārtu ražošanas nozares kompetences centrā. Sīkāka informācija ir pieejama prezentācijā.
31.05.2017.
Latvijas elektrisko un optisko iekārtu ražošanas kompetences centram iesniegts pētījuma Nr.11 “Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” 1.nodevums “Industrijas procesu norises datu savākšanas makets datu apstrādei un monitorēšanai”. Nodevumā ir aprakstīts Industrijas procesu norises datu savākšanas makets datu apstrādei un monitorēšanai. Dokumentā ir apskatītas datu savākšanas metodes, kas ļauj iegūt informāciju par industrijas procesa norisi. Apskatītas datu apstrādes metodes konkrētam industrijas procesu uzdevumam, kurā haotiski sabērtā kaudzē ar objektiem tiek detektēti objekti, kuri ir paņemami ar robota manipulatoru no šīs kaudzes. Aprakstīta izstrādātā robota manipulatora vadības sistēma robota simulācijai, un tā izmantojama arī reālam robotam. Dokumenta beigās ir aprakstīta kopējā datu ieguves un apstrādes maketa shēma.
Interesanti par nodevuma sīkāku saturu var sazināties ar Institūtu (e-pasts: info@edi.lv, telefons: 67554500)
28.02.2017.
Projektā tiek īstenota 1.aktivitāte “Pētījums par datorredzes datu ieguves un apstrādes metodēm un integrēšana ar industriālo robotu komponentēm”. Izveidota eksperimentālā sistēma datu ieguvei ar Kinect V2 prototipu, kurā 40x40x40cm kastē gadījuma veidā izvietoti paralēlskaldņveidīgi objekti. Izmantojot Python valodu un OpenCV bibliotēku, īstenots algoritms, kas ar Kinect sensoru iegūtā dziļuma kartē atrod kastes robežas, kā arī nosaka, vai šobrīd starp kameru un kasti nav kāds traucējošs objekts. Klasificēšanas modulis izstrādāts Python, lietojot dziļo neironu tīklu pieeju un spēj no vizuāla attēla atpazīt testa objekta jeb konkrēta paralēlskaldņveidīga objekta satveršanas malu. Darbs pie industrijas procesu izpētes, kurus būtu iespējams automatizēt, izmantojot datorredzes paņēmienus. Simulācijas vidē RobotStudio tiek veikta simulāciju veidošana, paralēlskaldņveidīgu objektu pārvietošana, izmantojot izveidoto robota piesūcekni. Saistībā ar projekta pētījumiem, tiek izstrādāts bakalaura darbs „Industriālo robotu un datorredzes risinājumu integrēšanas iespēju izpēte, rūpniecisko procesu automatizācijai”
01.11.2016.
27.10.2016. tika noslēgts līgums starp Elektronikas un datorzinātņu institūtu un SIA „LEO PĒTĪJUMU CENTRS par Darbības programmas “Izaugsme un nodarbinātība” 1.2.1. specifiskā atbalsta mērķa “Palielināt privātā sektora investīcijas P&A” 1.2.1.1. pasākuma “Atbalsts jaunu produktu un tehnoloģiju izstrādei kompetences centru ietvaros” projekta “Latvijas elektrisko un optisko iekārtu ražošanas nozares kompetences centrs” (Nr. 1.2.1.1/16/A/002) Pētījuma Nr. 11 “Pētījums par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai” īstenošanu no 01.11.2016.-30.11.2018.
Pētījuma par datorredzes paņēmienu attīstību industrijas procesu norises automatizācijai mērķis ir izpētīt un attīstīt paņēmienu kopu industrijas procesu norises automatizācijai, izmantojot vizuālās informācijas ieguvi (2D, aktīvā un pasīvā 3D u.c.) un tās apstrādi ar mašīnmācīšanās metodēm (neironu tīkli, “deep learning”, klasifikatori u.c.).
Pētījums sastāv no 2 aktivitātēm:
1) Rūpnieciskās aktivitātes – pētījums par datorredzes datu ieguves un apstrādes metodēm un integrēšana ar industriālo robotu komponentēm, kura laikā tiks izpētīti 2D un 3D datu ieguves paņēmieni, to realizācija un novērtēšana; izpētītas datorredzes algoritmi un metodes, to piemērošana industriālā robota vadīšanai un precīzai operāciju izpildei; veikta dziļās apmācības – deep learning metodes izpēte un realizācija, ietverot dziļās apmācības arhitektūru, reprezentācijas un vadības neironu slāņu pētīšanu un sistēmas apmācīšanu uz lielapjoma datiem, marķētu datu kopas izveidi, un industriālā robota pieejamo komponenšu izpēte un integrēšana ar datorredzes risinājumiem, ieskaitot atbilstoša rūpniecisko pētījumu maketa izveidi.
2) Eksperimentālās aktivitātes, kuras īstenošanas laikā tiks izveidots rīku komplekts (attēlu ieguves, skaitļošanas un izpildmehānismu aprīkojums kopā ar atbilstošiem mašīnmācīšanās algoritmiem) un testēta tā darbība reāliem apstākļiem pietuvinātā vidē – rīku kopa un datorredzes algoritmi tiks izstrādāti tikai objektu atpazīšanai un lokalizēšanai, lai tos paņemtu nodošanai tālākām automatizācijas darbībām, kuras projekta ietvaros netiek apskatītas.
Kopējais projekta Nr. 1.2.1.1/16/A/002 finansējums ir 227 529,05 EUR, no kura lielāko daļu līdzfinansē Eiropas Savienības Eiropas Reģionālais attīstības fonds.
Iesaistītie zinātnieki
