Mokslininkai įsitikinę, kad artimiausiu metu medikai galės konsultuoti pacientus jų namuose, pasitelkdami virtualiosios realybės įrankius. Šiandien tobulinami erdvinės žmogaus figūros rekonstrukcijos metodai ateityje bus pasiekiami didelei daliai pacientų ir gydytojų.
Kauno technologijos universiteto (KTU) mokslininkų komanda sukūrė giliuoju mokymusi pagrįstą erdvinės (3D) žmogaus figūros atkūrimo metodą, kai kamera mato tik dalinį, riboto kampo vaizdą. Pagrindinis metodo privalumas – reikalauja santykinai mažai finansinių ir technologinių išteklių, didelis gautų vaizdų suglaudinimas ir lengvas suderinamumas su esamais virtualios realybės įrankiais. Metodas buvo sukurtas naudojant realų duomenų rinkinį. Klinikinis nuotolinės medicininės reabilitacijos tyrimas planuojamas artimoje ateityje.
Sparti kompiuterinės regos (angl. computer vision) ir trimačio objekto vaizdavimo pažanga leidžia kurti virtualiosios realybės įrankius ir išplėsti jų taikymo sritį. Nors šiandien virtualiosios realybės programos daugiausia naudojamos pramogų, kartais – edukaciniais tikslais, trimačio vaizdo atkūrimo poreikis auga daugelyje sričių, įskaitant ir mediciną.
„Esu įsitikinęs, kad ateityje dauguma komunikacijos formatų bus susiję su trimate aplinka, virtualiąja realybe – ar tai bus apsilankymas pas gydytoją, ar žiūrimo filmo aplinkos tyrinėjimas vaikščiojant scenoje ir žiūrint, ką veikia aktoriai (pavyzdžiui, jų akimis). Šiandien jau turime „holografines“ vaizdo konferencijų sistemas, kurios leidžia susitikimo dalyviams kalbėtis taip, lyg jie bendrautų realiame gyvenime“, – sako KTU Informatikos fakulteto Multimedijos inžinerijos katedros tyrėjas Rytis Maskeliūnas.
Pagrindiniai šiuo metu taikomų trimačio vaizdo atkūrimo sprendimų trūkumai susiję su būtinybe naudoti keletą kamerų, kad nufilmuotų objektą iš visų pusių, itin sudėtingu kelių kamerų siunčiamos vaizdo informacijos sinchronizavimu ir vaizdo apdorojimui reikalinga skaičiavimo galia, dėl kurios dažnai visiška objekto rekonstrukcija yra nepraktiška ir per brangi.
Nematomoms objekto pusėms atkurti panaudotas dirbtinis intelektas
Šioms problemoms spręsti KTU informatikų komanda, vadovaujama R. Maskeliūno, pasiūlė giliuoju mokymusi pagrįstą metodą, leidžiantį atkurti visišką žmogaus laikysenos taškų debesį (angl. point cloud) naudojant giluminės kameros vaizdą. Eksperimentui buvo naudojamas realus duomenų rinkinys su asmenų, atliekančių fizinės reabilitacijos pratimus, įrašais. Algoritmams mokyti, subjektams filmuoti iš priekio ir iš šono buvo naudojamos dvi gylio kameros (jutikliai).
„Kamera mato tik dalį vaizdo: pavyzdžiui, jei ji filmuoja vaizdą iš priekio, vaizdas iš galo yra nematomas; jei kažkas užstoja vaizdą, kamera nemato, kas yra už kliūties. Šioje situacijoje nematomos vaizdo dalys atkuriamos mašininio mokymo metodais“, – teigia R. Maskeliūnas.
Algoritmams įveiklinti buvo pritaikytas penkių etapų mokymo metodas. Galutinius vaizdo rezultatus vertino ekspertai. Pastebėta, kad pasinaudojant mokslininkų sukurtu metodu atkurtas vaizdas turi tik nedidelių trūkumų, kurių dauguma atsirado netoli galūnių.
Eksperimente buvo naudojama įprasta komercinė gylio kamera, suteikianti trimatį taškų debesies vaizdą. Kurdami metodą mokslininkai naudojo dvi kameras, jos leido gauti išsamesnį vaizdą, reikalingą dirbtinio intelekto algoritmams mokyti. Tokiu būdu buvo sumažinta rizika neteisingai apmokyti DI atkuriant nematomas vietas.
Nuotolinės medicinos diagnostikos proveržis: padės diagnozuoti traumas ir laikysenos sutrikimus
R. Maskeliūno teigimu, sveikatos priežiūros srityje trimatis žmogaus vaizdas yra itin svarbus, kai reikia diagnozuoti įvairias traumas, susijusias su stuburo sužalojimais, problemas, kurių gali kilti dėl netaisyklingos laikysenos, ir įvairiais kitais tikslais.
„Pavyzdžiui, gydytojas gali paprašyti savo paciento atlikti paprastą užduotį, tarkim, paliesti nosį ar pasukti petį. Norėdamas visapusiškai pamatyti, kaip žmogus lenkiasi, sukasi ir kaip keičiasi jo laikysena, gydytojas turi matyti pacientą kaip trimatį subjektą, galėti apžvelgti jį iš visų pusių ir kampų, – teigia R. Maskeliūnas. – Be abejo, žmogus savęs negalės nufilmuoti iš visų pusių. Mūsų sprendimas leistų telefono kamera pačiam nusifilmuoti savo kūną (tarkim, matomą tik iš vienos pusės, kampu ar kitokiu vienu rakursu) ir nusiųsti tą filmuką gydytojui. O jau mūsų algoritmai gydytojui leistų pažiūrėti, kaip išlinko paciento nugara.“
Anot R. Maskeliūno, tai, kad mokslininkų išvystytas metodas gali būti lengvai integruojamas ir pritaikomas, gali lemti, jog jis taps populiariu trimačio vaizdo rekonstrukcijos metodu.
„Telemedicina, įskaitant nuotolinę diagnostiką, tampa vis populiaresnė. Realaus pasaulio patirties perteikimo metodai, nereikalaujantys didelių išteklių ar sudėtingos įrangos, turi didelį potencialą būti pritaikyti ateityje“, – sako KTU tyrėjas R. Maskeliūnas.
KTU mokslininkų tyrimas publikuotas „IEEE Sensors“ moksliniame žurnale praėjusių metų pabaigoje.