Mitme märgisega klassifitseerimismudel
Nagu on uuritud varasemates Pro uudiste postitustes, oleme Europeana sihtasutuses viinud läbi kujutiste klassifitseerimise katseprojekti, koolitades välja ühe märgisega kujutiste klassifitseerimise mudeli, et rikastada oma kogusid. Meie välja töötatud mudel suutis liigitada pilte kategooriatesse meie sihtsõnavarast, kuid tuvastas ainult iga pildi ühe aspekti (ehk „etiketi“). Seejärel hakkasime välja töötama mudelit, et klassifitseerida rohkem kui ühe märgisega kujutis, nii et sama kujutise puhul oleks võimalik tuvastada selliseid mõisteid nagu „foto“ ja „skulptuur“.
Selle mitme märgisega kujutiste klassifitseerimise mudeli treenimiseks pidime koguma koolitusandmestiku, mis sisaldas mitme märgisega kujutisi nende metaandmetes. Kasutasime Europeana Search API-d, otsides oma sõnavarast objekte, mis on indekseeritud rohkem kui ühe kontseptsiooniga, mille tulemuseks oli kokku 9000 objekti. Nagu ka eelmise ühtse märgise klassifikatsiooni puhul, ei vaadanud me seda andmekogumit läbi, seega sõltus märgiste kvaliteet varasemate rikastuste kvaliteedist.
Mitme märgisega klassifikatsiooni korral sisaldasid õiged metaandmed (või põhitõed) iga kujutise kohta rohkem kui ühte silti. Me treenisime konvolutsionaalset närvivõrku piltide klassifitseerimiseks ja seejärel kasutasime saadud mudelit otsingu API-st saadud objektidel. Allpool näete mõnda näidet nende ennustuste, usalduspunktide ja tõlgendatavuse kaartidega.
Meie õppetunnid
Meie eksperimentide põhjal oleme jõudnud järeldusele, et mudel suudab antud piltide jaoks õigesti tuvastada mitu asjakohast silti. Multimärgistuse lähenemisviis on kasulikum kui üksikute siltide kasutamine, kuna see võib suure kindlusega rakendada igale pildile mitu silti.
Vaatamata huvitavatele tulemustele ei ole tulemuseks oleva mudeli jõudlus kaugeltki täiuslik ja me võime selle omistada mitmele tegurile. Kõige olulisem on kogutud andmekogumi suhteliselt madal kvaliteet. Leidsime, et paljudel saadud piltidel ei ole õigeid metaandmeid.
Lisaks esitas suurema osa koolitusel kasutatud andmetest Norra DigitalMuseum. See tähendab, et koolitusandmed ei kajasta kogu andmete jaotumist Europeanas, mistõttu mudel on kallutatud nende andmete suunas, millega seda on koolitatud. Koolitusandmete kallutatus tähendab, et Europeana ülejäänud pildid ei ole üldistatud. Lihtsamalt öeldes toimib mudel hästi koolitusandmestikus sisalduvate piltidega sarnastel piltidel, kuid see ebaõnnestub, kui pildid on liiga erinevad.
Üldiselt on meie koolitusandmed piisavalt head, et mudel saaks õppida mõningaid põhilisi mustreid. Mudelil läks hästi, hoolimata keerukast seadistusest kasutada valede siltidega andmeid. Varasemate rikastuste kvaliteet ei sobi aga nende kasutamiseks koolitusandmetena meie kollektsioonide rikastamise mudeli loomiseks. Lahendus sellele on luua kvaliteetsem koolitusandmestik, et tagada meie mudeli esitamine õigete märgistega.
Edasine töö: rahvahange
Pärast mitme märgisega klassifikatsioonimudeli väljaõpet ja hindamist oleme jõudnud järeldusele, et meie kollektsioonist pärinevatele piltidele mitme märgise määramine on sobivam kui nende rikastamine ühe märgisega.
Kaalume sõnavara laiendamist, lisades muid kultuuripärandiga seotud termineid. Veelgi olulisem on see, et plaanime koolitusandmestiku üle vaadata ja seda laiendada, et tuvastada ja parandada võimalikud kallutatused ja vead. Tahame tagada, et meie mudelil oleksid õiged märgised, mis eeldatavasti toimivad märkimisväärselt paremini kui siis, kui neid koolitatakse mürarikaste märgistega. Oleme käivitanud rahvahanke kampaania kvaliteetse annoteeritud andmekogumi loomiseks Zooniverse'iga ja me tervitame oma kogukonna panust.
Meie tööd saate jälgida selles Githubi hoidlas. Samuti palume teil katsetada seda Colabi märkmikku, kus saate teha oma päringuid Europeana otsingu API-le ja rakendada mitme märgisega klassifikatsioonimudelit. Küsimuste või ideede korral võtke meiega ühendust aadressil [email protected]!