
Development of a 3D and line-scan camera for automatic marking of wood defects
Research project title: Development of a 3D and line-scan camera for automatic marking of wood defects
(further information available only in Latvian)
Pētniecības projekta mērķis ir izstrādāt inovatīvu kombinētu 3D un līnijskenēšanas kameru, kas spētu vienlaikus iegūt gan vizuālo, gan 3D informāciju, kā arī identificēt koksnes īpašības, piemēram, šķiedras virzienu un sveķainību. Kameras sistēma balstās uz lāzera triangulācijas tehnoloģiju un vadāmu LED gaismu, kas ļauj precīzi analizēt koksnes struktūru. Lai nodrošinātu ātru un efektīvu datu apstrādi, tiks izmantoti FPGA procesori, kas ļauj veikt attēlu apstrādi kamerā reāllaikā, tādējādi uzlabojot skenēšanas ātrumu un precizitāti.
Papildus tam projektā tiks veikts pētījums par lielo mākslīgā intelekta (MI) modeļu izmantošanu koksnes defektu atpazīšanā un marķēšanā. Šo modeļu pielietošana ļaus automatizēt un paātrināt defektu marķēšanas procesu, uzlabojot atpazīšanas precizitāti un ļaujot efektīvi apstrādāt lielus datu apjomus. Projekta ietvaros plānots izstrādāt datu sagatavošanas automatizācijas sistēmu, kas apvieno MI modeļus ar esošajām tehnoloģijām, lai nodrošinātu augstas kvalitātes rezultātus un veicinātu Zippy Vision konkurētspēju kokmateriālu apstrādes nozarē.
Par Kompetences centru
Finansējuma saņēmējs: SIA "MAŠĪNBŪVES KOMPETENCES CENTRS"
Sadarbības iestāde: CFLA līgums Nr. 2.2.1.3.i.0/1/24/A/CFLA/007
Mašīnbūves kompetences centrs aptver trīs zinātniskos virzienus:
-
Automatizētu inženiersistēmu ražošanas tehnoloģijas.
-
Materiālu ražošanas tehnoloģijas.
-
Transporta tehnoloģijas.
Atveseļošanas fonda Darbības programmas “Latvijas Atveseļošanas un noturības mehānisma plāna 2.2. reformu un investīciju virziena “Uzņēmumu digitālā transformācija un inovācijas” 2.2.1.3.i. investīcijas “Atbalsts jaunu produktu un pakalpojumu ieviešanai uzņēmējdarbībā”” ietvaros SIA MASOC KC no 2024. gada 1. jūnija līdz 2027. gada 31. decembrim īsteno projektu Nr. 2.2.1.3.i.0/1/24/A/CFLA/007 “MASOC KC atbalsts digitālu produktu izstrādei”.
Pētniecības projekta Nr. D.1.5 “3D un līnijskenēšanas kameras izstrāde koksnes defektu automātiskai marķēšanai”
Pētniecības projektu plānots realizēt līdz 2025. gada 31. decembrim. Projekta kopējās izmaksas plānotas EUR 365 670,44, tai skaitā EUR 259 329,05 - Eiropas Savienības Atveseļošanas fonda finansējums.
01/07/25
30/09/25
4. Progresa pārskats
1. Attēlu datu apvienošanas izpēte
Darbības:
Veikta līnijskenēšanas vizuālo datu un 3D lāzera profilu apvienošanas metožu izpēte transversālās skenēšanas gadījumā.
Izstrādāta deterministiska datu fūzijas plūsma vairāku kameru un lāzera profileru datu sinhronizācijai vienotā koordinātu telpā.
Testēta datu apvienošana, izmantojot trigera, enkodera un kustības informāciju reāllaika apstākļos.
Veikti sākotnējie testi ar laboratorijas un ražošanas vidē iegūtiem datiem.
Rezultāti:
Izstrādāta attēlu un 3D datu apvienošanas pieeja, kas nodrošina telpiski korektu vizuālo un 3D informācijas sasaisti.
Panākta pietiekama precizitāte turpmākai MI modeļu apmācībai un prototipa integrācijai.
Identificēti galvenie tehniskie izaicinājumi, kas saistīti ar sinhronizāciju un kalibrācijas precizitāti.
2. Vieglāka mašīnmācīšanās modeļa apmācība lielo modeļu uzraudzībā
Darbības:
Izstrādāta sintētisko datu ģenerēšanas plūsma, balstoties uz lāzera profilētāju fizikālajām īpašībām.
Veikta vieglā mašīnmācīšanās modeļa apmācība, izmantojot lielo Transformer tipa modeļu sniegto uzraudzību.
Testētas vairākas vieglā modeļa arhitektūras un apmācības konfigurācijas.
Optimizēta modeļa inferenču izpilde GPU vidē, izmantojot TensorRT.
Rezultāti:
Izstrādāts viegls MI modelis, kas piemērots reāllaika darbībai industriālās sistēmās.
Samazināta atkarība no manuāli anotētiem datiem, izmantojot sintētiskos treniņdatus.
Salīdzinājumā ar iepriekš izmantotajām metodēm panākta stabilāka defektu noteikšana un samazināti projekcijas artefakti.
3. Prototipa integrācija un testēšana
Darbības:
Integrēti visi galvenie aparatūras un programmatūras komponenti vienotā prototipā.
Savienota FPGA datu ieguve, lāzera triangulācija, līnijskenēšanas kameras, apgaismojuma vadība un MI modulis.
Veikta sistēmas testēšana dažādos darbības režīmos un pie mainīga materiāla pārvietošanas ātruma.
Analizēta datu plūsmas stabilitāte un MI modeļa darbība reāllaikā.
Rezultāti:
Izveidots funkcionējošs integrēts prototips ar pilnu datu apstrādes ciklu.
Apstiprināta stabila vizuālo un 3D datu sinhronizācija.
Pierādīta vieglā MI modeļa piemērotība darbībai reāllaikā uz integrētās sistēmas.
30/06/25
01/04/25
Progresa ziņojums 3.SP
1. FPGA programmēšanas otra kārta
Darbības:
Turpināta kameras aparatūras un programmaparatūras pilnveide.
Uzlabota datu ieguves precizitāte un sinhronizācija ar kustības sistēmu.
Veikta jauno algoritmu testēšana un pielāgošana dažādiem ražošanas apstākļiem.
Rezultāti:
Panākta stabila kameras darbība reāllaikā.
Uzlabota iegūto datu kvalitāte un apstrādes precizitāte.
Sagatavota tehnoloģiskā bāze tālākai sistēmas integrācijai.
2. Pielāgotu trigera plašu izstrāde
Darbības:
Izstrādāta un testēta specializēta elektronikas sistēma kameru sinhronizācijai ar kustības mehānismu.
Veikta risinājuma pārbaude laboratorijas un rūpnieciskos apstākļos.
Rezultāti:
Nodrošināta precīza datu iegūšanas sinhronizācija ar materiāla kustību.
Uzlabota sistēmas uzticamība un pielāgojamība dažādiem ražošanas scenārijiem.
Izveidots modulārs risinājums turpmākai sistēmas attīstībai.
3. Mākslīgā intelekta modeļu adaptācija uz Zippy Vision datiem
Darbības:
Turpināta mākslīgā intelekta modeļu apmācība un pielāgošana koksnes defektu atpazīšanai.
Sakārtota datu apstrādes un anotēšanas plūsma efektīvākai modeļu pilnveidei.
Rezultāti:
Sasniegta būtiski augstāka defektu atpazīšanas precizitāte.
Uzlabota apstrādes ātrdarbība un anotēšanas efektivitāte.
Izveidots stabils pamats MI integrācijai kameras sistēmā.
01/01/25
31/03/25
Progresa ziņojums 2.SP
1. Kameru aparatūras iegūšana un novērtēšana
Darbības:
Balstoties uz iepriekš veikto izpēti, iegādāta kamera ar atvērtu FPGA arhitektūru.
Veikta praktiskā testēšana dažādos apgaismojuma apstākļos.
Pārbaudīta datu plūsmas kvalitāte un trokšņu līmenis sensorā.
Validēta trigera sistēmu un enkoderu sinhronizācijas precizitāte..
Rezultāti:
Apstiprināta izvēlētās aparatūras atbilstība projekta prasībām.
Nodrošināta stabila datu ieguve un savietojamība ar FPGA programmēšanas vidi.
Sagatavota aparatūras bāze turpmākajiem eksperimentiem ar lāzera triangulāciju un MI datu sagatavošanu.
2. FPGA programmēšanas pirmais posms
Darbības:
Izstrādāta sākotnējā FPGA arhitektūra datu iegūšanai un pirmapstrādei.
Realizēti apakšbloki: attēlu ieguves interfeiss, lāzera līnijas maksimuma detekcija, trokšņu filtrēšana un datu profilēšana.
Veikta funkcionālā validācija simulācijas vidē ar testdatiem.
Nodrošināta atkļūdošanas procedūru integrācija, izmantojot CPU pusē sagatavotas pārbaudes.
Rezultāti:
Izstrādāta FPGA programmaparatūras sākotnējā versija reāllaika datu ieguvei.
Sasniegta caurlaidspēja līdz 800–2000 profiliem sekundē pie 1000 punktu izšķirtspējas.
Validēta datu sinhronizācija starp sensoru, enkoderiem un trigera sistēmu.
Izveidota atkļūdošanas un simulācijas vide turpmākai algoritmu izstrādei.
3. Lāzera triangulācijas ieviešana un līnijskenēšanas integrācija
Darbības:
Izstrādāta un kalibrēta lāzera apgaismes sistēma (650–750 nm).
Realizēta LED līnijskenēšanas apakšsistēma ar spektrālo korekciju.
Izveidots sinhronizācijas mehānisms starp 3D un vizuālajiem datiem.
Veikti pirmie integrētie testi ar dažādu koksnes sugu paraugiem.
Rezultāti:
Izstrādāta un aprobēta kombinētā lāzera triangulācijas un līnijskenēšanas sistēma.
Validēta šķiedras virziena noteikšana un vizuālo defektu atpazīšana dažādos apgaismojuma režīmos.
Apstiprināta FPGA datu apstrādes slodzes atbilstība reāllaika prasībām (≥3000 profili/s).
Sagatavoti testa datu komplekti turpmākai algoritmu izstrāde.
4. Mākslīgā intelekta modeļu analīze un adaptācija
Darbības:
Izpētītas Transformer arhitektūras (ViT, Swin Transformer, Mask2Former, SAM).
Izstrādāta datu augmentācijas un priekšanotācijas metodoloģija.
Uzsākta Segment Anything Modeļa (SAM) specializācija ar projekta datiem.
Definēta darba plūsma, kas integrē lielos modeļus anotācijas veidošanā un specializācijā.
Rezultāti:
Izvēlēti optimālie MI modeļu kandidāti koksnes defektu segmentācijai.
Izstrādāta plūsmas arhitektūra datu priekšapstrādei un anotācijai Python vidē.
Veikta pirmā modeļu trenēšana ar projekta datu kopām.
Nodrošināts pamats augstas precizitātes defektu segmentācijas algoritmu izstrādei turpmākajos posmos.
01/11/24
31/12/24
Progresa ziņojums 1.SP
1. Kameru tehnoloģiju pētījums
Darbības:
Veikta padziļināta esošo 3D un līnijskenēšanas tehnoloģiju analīze, īpašu uzmanību pievēršot lāzera triangulācijas metodei un līnijskenēšanas iespējām.
Izvērtēta esošo komerciāli pieejamo kameru sistēmu pielietojamība, tehniskās specifikācijas un FPGA procesoru programmēšanas iespējas.
Rezultāti:
Identificētas optimālās lāzera un LED apgaismojuma konfigurācijas koksnes defektu atpazīšanai.
Apstiprināts, ka FPGA tehnoloģiju izmantošana nodrošina nepieciešamo ātrumu un precizitāti reāllaika apstrādei.
2. Konceptuālā modeļa izstrāde
Darbības:
Izstrādāts konceptuālais modelis, izmantojot OptoMotive T-Rex EVO kameru ar FPGA tehnoloģiju.
Veikta lāzera triangulācijas un līnijskenēšanas tehnoloģiju detalizēta salīdzinošā analīze un optimizēti galvenie optiskie un elektroniskie parametri.
Rezultāti:
Izstrādāts tehnoloģisks risinājums, kas vienlaikus ļauj iegūt 3D un vizuālo informāciju.
Konstatēts, ka FPGA izmantošana ievērojami uzlabo skenēšanas sistēmas veiktspēju un ātrumu.