Maija Spuriņa. Latvijas Nacionālais muzeju krājums mašīnskatījumā

Objektu atpazīšanas tehnoloģijām attīstoties, kultūras mantojuma digitalizācijai vajadzētu automatizēties. Nākotnē, iespējams, kamera varēs piefiksēt gleznu vai vāzi, automātiski radīt 3D repliku, to izanalizēt un atrast globālajā informācijas tīmeklī aprakstošo informāciju – autoru, vēstures periodu, materiālu un stilu. Jo nošķirtāks būs nacionālais kultūras mantojums no pārējās pasaules, jo mazāk konkrētā valsts varēs izmantot tīklā jau esošo informāciju. Piemēram, par vietējo slavenību X, kurš nekad mūžā nav izbraucis no sava miesta un par kuru neviens ārpus Latvijas nekad nav interesējies, nebūs iespējams atrast informāciju, ja vien paši to neievadīsim. Savukārt par citu, piemēram, Gustavu Kluci, kurš aktīvi darbojies arī Krievijā un citviet un tiek uzskatīts par padomju abstrakcionistu, informācija jau būs pieejama. Piedevām, ievadot unikālas vietējā mēroga kultūras vērtības, autoboti, iespējams, apstrīdēs to globālo unikalitāti un atklās, ka līdzīgi vietējam X ir gleznojuši itāļi vai francūži, vai krievi jau simts gadus agrāk. Vai vēl trakāk – atklāsies, ka vietējā mēroga unikālās vērtības patiesībā ir plaģiāts, piemēram, populāra komponista dziesma patiesībā ir citas tautas folklora, vai visiem vietējiem zināms mākslas darbs – kāda ārpus Latvijas tapuša darba kopija. 

Diemžēl vai par laimi, tehnoloģiju iespējas klasificēt vēsturiskus priekšmetus un mākslas darbus pagaidām ne tuvu nevar pielīdzināt iepriekš aprakstītajām, un muzeji paši izvēlas, ko likt digitālajā katalogā, kā to nosaukt un kā klasificēt. Bet ko tad šobrīd spēj gudrie algoritmi, kā tie darbojas un ko ar tiem var paveikt, izmantojot Latvijas muzeju digitalizēto krājumu? Neorientējos visa veida mākslīgā intelekta algoritmos, bet varu padalīties tajā mazumiņā, ko saprotu no tā sauktajiem mašīnmācības algoritmiem vai, vēl precīzāk, – no mašīnmācības algoritmiem vizuālu objektu atpazīšanai. 

Vispirms ir jāprecizē, ar ko atšķiras mašīnmācības algoritms no parasta algoritma. Parasts algoritms patiesībā ir detalizēta instrukcija, kā rīkoties ar ievadīto informāciju. Piemēram, vienkāršu rasola pagatavošanas recepti var attēlot algoritmiski. Ievadītā informācija šajā gadījumā ir sastāvdaļas: vārīti kartupeļi, vārītas olas, doktordesa, marinēti gurķi, āboli, majonēze. Algoritms būtu: 1) ņem pirmo sastāvdaļu, sagriez mazos gabaliņos, saber bļodā; 2) ņem otro sastāvdaļu, sagriez mazos gabaliņos, saber bļodā utt.; n) pievieno majonēzi un samaisi kopā. Daudzas lietas mēs dzīvē tiešām varam paveikt, izmantojot vienkāršākus vai sarežģītākus algoritmus. Bet ir daudz rīcību, kuru veikšanai nepieciešamo lēmumu pieņemšana ir daudz sarežģītāka un nav aptverama ar šādu vienkāršu algoritmu. Piemēram, cilvēka spēja saskatīt un atpazīt dzīvas būtnes vai priekšmetus vai saprast runāta vai rakstīta teksta nozīmi nav ietverama vienkāršā algoritmā. Šīs spējas apgūšanai cilvēkam nepietiek ar instrukciju. Tā tiek apgūta, mācoties atšķirt dažādus kontekstus un atvasināt attiecīgās nozīmes.

Mašīnmācības algoritmi ir algoritmi, kuri tiek apmācīti jeb trenēti, izmantojot lielus datu kopumus. Tā vietā, lai algoritmu precīzi instruētu, kā atpazīt, piemēram, banānu, tam tiek iedots liels apjoms ar dažādu banānu attēliem, un algoritms iemācās, kā izskatās banāns. Šobrīd visdažādākajās dzīves jomās izmantoto objektu atpazīšanas algoritmu pamatā ir mašīnmācības algoritmi, kas apmācīti uz ImageNet bāzes. ImageNet ir publiski pieejama klasificētu attēlu datu bāze, kuru 2007. gadā izveidoja toreizējā Prinstonas Universitātes docente (šobrīd – Stenforda Universitātes profesore) Feifeja Li (Fei-Fei Li). Viņa datu bāzē apkopoja internetā pieejamos attēlus un ar globālās nodarbinātības platformas Amazon Mechanical Turk palīdzību attēlus klasificēja 1000 kategorijās, atkarībā no tā, kas tajos bija attēlots. Kategorijām tika izmantota hierarhiska vārdu datu bāze WordNetImageNet kļuva par būtisku mašīnmācības algoritmu attīstības veicinātāju ne tikai kā apmācības datu avots – ik gadus tas rīkoja programmēšanas sacensības (ImageNet Large Scale Visual Recognition Challenge), kurās mašīnmācības algoritmu veidotāji sacentās, kura algoritms precīzāk spēs atpazīt neredzētu attēlu. Un ne tikai sacentās, bet arī dalījās ar algoritmiem un datiem, tādējādi laika posmā no 2010. līdz 2015. gadam tika attīstīti algoritmi, kas spēja atpazīt attēlus ar 90 procentu precizitāti. Šobrīd uz šo algoritmu bāzes ir izveidotas tehnoloģijas, kuras izmanto gan medicīnas diagnostikā, gan ceļu satiksmes regulēšanā, gan sabiedriskās drošības nodrošināšanā, gan daudzās citās jomā. 

Ņemot vērā, ka šie algoritmi ir apmācīti uz šodien internetā pieejamu attēlu bāzes, tie ļoti labi spēj atpazīt mūsdienu attēlus, piemēram, ar to palīdzību ir iespējams atpazīt vismaz 120 dažādas suņu šķirnes. Šo algoritmu pielietojamība vēsturisku attēlu atpazīšanai ir samērā ierobežota. Lai tos varētu izmantot muzeju krājumā esošo priekšmetu klasifikācijai, algoritmi nebūtu jāveido pilnīgi no jauna, bet papildus jātrenē, izmantojot vēsturiskus attēlus un vēsturiskas kategorijas. 

Savā pētījumā es izmantoju vienu uz ImageNet bāzes uztrenētu objektu atpazīšanas algoritmu – VGG-19, un ar tā palīdzību kartēju Latvijas Nacionālajā muzeju krājuma kopkatalogā (NMKK) pieejamos attēlus. Tā kā vairākums no šiem attēliem neatbilst WordNet kategorijām, nav nekādas jēgas tos klasificēt. Tā vietā algoritms savietoja attēlus pēc to semantiskās jeb saturiskās līdzības. Jo līdzīgāki mašīnskatījumā pēc satura bija attēli, jo tuvāk tie tika novietoti. Sākotnēji kartēšanai izmantoju vienu desmito daļu jeb 27 595 attēlus, kuri datubāzē ievietoti vēsturiski agrāk. Tālāk redzams šīs kartēšanas rezultāts.

NMKK_27595_cropped.jpeg

Kā redzams, algoritms patiešām spējis saskatīt līdzības starp priekšmetiem un izveidojis ar aci atpazīstamas priekšmetu kaudzītes. Nākamajā attēlā ar savu aci mēģināju identificēt, kas šajās kaudzītēs salikts.

Screen Shot 2022-01-05 at 11.46.32.jpg 

Pēc tam veicu līdzīgu kartēšanu, izmantojot visus datubāzē pieejamos attēlus, kopumā 275 656 attēlus. Šādu attēlu apjomu ar man pieejamo datorietilpību nav iespējams attēlot tā, kā desmit reizes mazāko apjomu, tāpēc katru attēlu šoreiz attēloju kā punktiņu. Izmantojot datubāzē pieejamos metadatus, punktiņus iekrāsoju pēc priekšmetu tipa: zili – audiovizuālie, dzelteni – mākslas, sarkani – lietiskie, violeti – rakstiskie, zaļi – dabas priekšmeti.

Screen Shot 2022-01-05 at 11.47.51.jpg

Kā redzams, algoritms samērā veiksmīgi ticis galā ar jēgpilnu attēlu sašķirošanu pēc priekšmeta tipa. Ar šo karti varētu spēlēties tālāk un pētīt, kā tajā parādās dažādu veidu muzeji vai kā parādās dažādi vēstures periodi. Ar algoritmu palīdzību varētu identificēt visus attēlus ar sejām un pat izmantot sejas atpazīšanas algoritmus, lai meklētu līdzīgus cilvēkus fotogrāfijās. 

No zinātniskā viedokļa šis algoritmiskais kartējums, iespējams, daudz neko neizsaka un vēstures speciālistam, visticamāk, nav noderīgs. Bet vienkāršam nespeciālistam, manuprāt, tas ir iztēli rosinošs un ļauj paskatīties uz mūsu muzeju krājumu citām acīm. Tas ļauj apkopotā veidā apskatīt to, ko bez datora starpniecības nav iespējams apkopot, un sniedz savdabīgu priekšstatu par Latvijas nacionālo kultūras mantojumu mašīnas skatījumā, piedevām tādas mašīnas, kas mācījusies atpazīt realitāti, izmantojot attēlus no šodienas. Nesen sarunā ar profesoru Raimondu Briedi viņš ierosināja trāpīgu alegoriju – līdzīgi kā arheologi rok ārā pagātnes fragmentus un, tos kārtojot, mēģina identificēt un saprast, kas ir kas, tā mašīnmācības algoritms pēta NMKK ievietotos attēlus un mēģina tos saprast. 

 

Raksts tapis, pateicoties ERAF Pēcdoktorantūras pētniecības atbalsta programmas ietvaros finansētam projektam “Digitalizācijas prakses nacionālajos muzejos un to ietekme uz muzeju nacionalizāciju un transnacionalizāciju” Nr. 1.1.1.2/VIAA/2/18/252.

Attēli: Maija Spuriņa, VGG-19, fotogrāfijas no NMKK

 

Maija Spuriņa

Socioloģe, Latvijas Kultūras akadēmijas pētniece. Doktora grādu socioloģijā ieguvusi Jaunajā sociālo pētījumu augstskolā (New School for Social Research) Ņujorkā, ASV. Interesējas par sabiedrības atmiņu, kultūru un politiku.