Ühtse märgise klassifikatsiooni näidis
Piltide klassifitseerimise katseprojekti jaoks kogutud andmekogum sobis ühe sildi klassifitseerimise mudeli koolitamiseks - see on mudel, mis annab välja ühe kategooria pildi kohta. Koolitusandmestiku silte või kategooriaid nimetatakse ka „maapealseks tõeks“, mis tähendab, et need on antud piltide õiged või õiged sildid.
Kasutasime kujutiste klassifitseerijana konvolutsionaalset närvivõrku, mis on matemaatiline mudel, mille kihiline struktuur on inspireeritud aju toimimisest. Konvolutsiooniline närvivõrk on sügava õppimise mudel, mille eesmärk on eraldada piltidest asjakohast teavet ja need on arvuti nägemise rakenduste tavaline valik.
Meie puhul oli mudeli sisend pilt ja väljund oli tõenäosusjaotus sihtsõnavara kõigi kategooriate vahel. See andis igale kategooriale numbri 0 ja 1 vahel, mida tõlgendatakse sageli usaldusskoorina. Seejärel treeniti seda mudelit, ennustades andmestikust pilte iteratiivselt ja korrigeerides saadud prognoose, võrreldes neid tegeliku põhitõega.
Kui mudel oli koolitatud, hindasime selle toimivust, katsetades seda nähtamatutel piltidel ja võrreldes, kas mudeli tehtud prognoos vastab pildil kujutatud kontseptsioonile. Kasutasime ka selgitatavat tehisintellekti algoritmi, mis aitas meil mõista mudeli väljundit, visualiseerides iga väljundikategooria huvipakkuvad piirkonnad. See võimaldas meil mõista pildi valdkondi, mis on iga kategooria jaoks kõige olulisemad, mis andis vihjeid mudeli sisemise toimimise kohta.
Allpool on esitatud mitu näidet otsingu API abil saadud proovide ennustuste kohta koos usalduspunktide ja selgitatavuse kaartidega. Mudel kasutab järgmisi pilte: aanzicht, Beeldbank van de Rijksdienst voor het Cultureel Erfgoed, Madalmaad, G.Th. Delemarre, 1965-03, CC-BY-SA. Lerkärl, kärl, vessel@eng, Vasija, Världskulturmuseet, Rootsi, CC-BY. Esimene rohelus, Eesti Sõjamuuseum - Kindral Laidoneri Muuseum, Eesti, Genin, CC0.
Meie õppetunnid
Varasemate tulemuste põhjal näeme, et mudel suutis edukalt jäädvustada antud piltide jaoks sõnavara kõige olulisemad mõisted. Kuigi see pole kaugeltki täiuslik, saab mudelit õppida meie rikastatud kogudest ja seda saab rakendada uutele piltidele, et luua potentsiaalselt kasulikke metaandmeid.
Meie lähenemisviisi peamine piirang on see, et sõnavara mõisted ei ole välistavad ja see ei ühti hästi ühe klassiga pildi kohta. Näiteks võib pilt olla foto ja sisaldada nii hoonet kui ka skulptuuri, kuid tänu ühe märgise lähenemisviisile saame oma mudelit ainult koolitada ja hinnata, et tuvastada üks neist aspektidest.
See annab meile mudeli, mis annab sageli ainult ühe kategooria puhul kõrge kindlustunde, ülejäänud kategooriate puhul on kindlustunne madal. Määrates väljundi usalduspunktidele madala läve, saame väljundina rohkem kui ühe märgise. See lähenemisviis ei ole siiski ideaalne, kuna kõik usaldusskoorid peavad moodustama ühe (nagu iga õigusliku tõenäosuse jaotuse puhul), mis takistab kõrgeid usaldusväärtusi mitme kategooriaga sõnavara puhul.
Ideaalis oleks meie mudel mitme märgisega klassifitseerija - mudel, mis on koolitatud rohkem kui ühe märgisega pildi kohta ja mis on võimeline andma kõrgeid usalduspunkte mitme kategooria jaoks.
Samuti väärib märkimist, et meie andmekogum on koostatud ilma inimese järelevalveta (me ei vaadanud saadud pilte läbi ega kontrollinud, kas need tõepoolest vastavad kategooriatele või mitte). See tähendab, et andmekogumi kvaliteet sõltub kultuuripärandi objektidega seotud metaandmetest ja varasematest metaandmetel põhinevatest automaatsetest rikastamistest. Praktikas ei olnud kõik koolitusandmestiku pildid õigete kategooriatega kooskõlas.
Järgmised sammud
Praegu kogume koolitusandmestikku multimärgistuse klassifitseerimiseks ning jagame oma tööd ja lähenemist tulevases Pro uudiste postituses - püsige kursis! Vahepeal saate tutvuda meie piloodi Githubi hoidlaga ja selle Colabi märkmikuga, kus saate teha oma päringuid Europeana otsingu API-le ja rakendada ühtse märgise klassifikatsiooni mudelit.
Küsimuste või ideede korral võtke meiega ühendust aadressil [email protected]!