Vienas etiķetes klasifikācijas paraugs
Datu kopa, ko mēs apkopojām attēlu klasifikācijas izmēģinājuma projektam, bija piemērota, lai apmācītu vienotas etiķetes klasifikācijas modeli - tas ir, modeli, kas izvada vienu kategoriju katram attēlam. Apmācības datu kopas etiķetes vai kategorijas sauc arī par “zemes patiesību”, kas nozīmē, ka tās ir patiesas vai pareizas attiecīgo attēlu etiķetes.
Mēs izmantojām sava veida konvolucionālo neironu tīklu kā mūsu klasifikatoru attēliem, kas ir matemātisks modelis ar slāņainu struktūru, ko iedvesmo smadzeņu darbība. Saspiests neironu tīkls ir dziļās mācīšanās modelis, kas izstrādāts, lai iegūtu būtisku informāciju no attēliem, un tie ir parastā izvēle datora redzes lietojumprogrammām.
Mūsu gadījumā modeļa ievade bija attēls, un rezultāts bija varbūtības sadalījums pa visām mērķa vārdnīcas kategorijām. Katrai kategorijai tika piešķirts skaitlis no 0 līdz 1, ko bieži interpretē kā ticamības vērtējumu. Pēc tam šo modeli apmācīja, iteratīvi prognozējot attēlus no datu kopas un izlabojot iegūtās prognozes, salīdzinot tās ar faktisko zemes patiesību.
Kad modelis tika apmācīts, mēs novērtējām tā veiktspēju, testējot to uz neredzētiem attēliem un salīdzinot, vai modeļa prognoze atbilst attēlā attēlotajai koncepcijai. Mēs izmantojām arī izskaidrojamu MI algoritmu, kas palīdzēja mums izprast modeļa tiešos rezultātus, vizualizējot interesējošos reģionus katrai tiešo rezultātu kategorijai. Tas ļāva mums saprast attēla jomas, kas ir vissvarīgākās katrai kategorijai, kas sniedza norādes par modeļa iekšējo darbību.
Zemāk ir redzami vairāki prognožu piemēri par paraugiem, kas iegūti, izmantojot meklēšanas API, kā arī ticamības rādītāji un izskaidrojamības kartes. Modelis izmanto šādus attēlus: aanzicht, Beeldbank van de Rijksdienst voor het Cultureel Erfgoed, Nīderlande, G.Th. Delemarre, 1965-03, CC-BY-SA. Lerkärl, kärl, vessel@eng, Vasija, Världskulturmuseet, Zviedrija, CC-BY. Esimene rohelus, Eesti Sõjamuuseum - Kindral Laidoneri Muuseum, Igaunija, Genin, CC0.
Mūsu mācības
No iepriekšējiem rezultātiem mēs redzam, ka modelis spēja veiksmīgi attēlot svarīgākos vārdnīcas jēdzienus konkrētajiem attēliem. Lai gan tas nebūt nav ideāls, modelis var mācīties no mūsu bagātinātajām kolekcijām, un to var izmantot jauniem attēliem, lai ģenerētu potenciāli noderīgus metadatus.
Mūsu pieejas galvenais ierobežojums ir tas, ka vārdnīcas jēdzieni nav ekskluzīvi, un tas labi nesaskan ar vienu klasi katram attēlam. Piemēram, attēls var būt fotogrāfija un saturēt gan ēku, gan skulptūru, bet, pateicoties vienotas etiķetes pieejai, mēs varam tikai apmācīt un novērtēt mūsu modeli, lai identificētu vienu no šiem aspektiem.
Tas dod mums modeli, kas bieži vien dod augstu pārliecības vērtējumu tikai vienai no kategorijām, bet pārējo kategoriju pārliecība ir zema. Nosakot zemu slieksni produkcijas ticamības rādītājiem, mēs varam iegūt vairāk nekā vienu etiķeti kā produkciju. Tomēr šī pieeja nav ideāla, jo visiem ticamības rādītājiem ir jāsaskaita līdz vienam (kā jebkurā juridiskās varbūtības sadalījumā), kas novērš augstas ticamības vērtības, ja vārdnīcai ir vairākas kategorijas.
Ideālā gadījumā mūsu modelis būtu vairāku etiķešu klasifikators - modelis, kas ir apmācīts ar vairāk nekā vienu etiķeti uz vienu attēlu un kas spēj izvadīt augstus ticamības rādītājus vairākās kategorijās.
Ir vērts pieminēt arī to, ka mūsu datu kopa ir apkopota bez cilvēka uzraudzības (mēs nepārskatījām iegūtos attēlus un nepārbaudījām, vai tie patiešām atbilst kategorijām). Tas nozīmē, ka datu kopas kvalitāte būs atkarīga no metadatiem, kas saistīti ar kultūras mantojuma objektiem, un no iepriekšējiem automātiskiem bagātinājumiem, kuru pamatā ir metadati. Praksē ne visi mācību datu kopas attēli bija saskaņoti ar pareizajām kategorijām.
Turpmākie pasākumi
Pašlaik mēs apkopojam apmācības datu kopu multilabel klasifikācijai un dalīsimies ar mūsu darbu un pieeju nākamajā Pro ziņu ierakstā - sekojiet līdzi! Tikmēr jūs varat izpētīt mūsu Github repozitoriju izmēģinājuma projektam un šo Colab piezīmjdatoru, kur varat veikt savus vaicājumus Europeana Search API un piemērot vienotā marķējuma klasifikācijas modeli.
Jūtieties brīvi sazināties ar mums [email protected], ja jums ir kādi jautājumi vai idejas!