Klasifikačný model s viacerými značkami
Ako sa skúmalo v predchádzajúcich novinových príspevkoch Pro, v nadácii Europeana sme realizovali pilotný projekt klasifikácie obrázkov, v rámci ktorého sme trénovali model klasifikácie obrázkov s jedným štítkom s cieľom obohatiť naše zbierky. Model, ktorý sme vyvinuli, bol schopný klasifikovať obrázky do kategórií z nášho cieľového slovníka, ale identifikoval len jeden aspekt (alebo „označenie“) každého obrázka. Potom sme začali pracovať na trénovaní modelu, aby sme klasifikovali obrázok s viac ako jednou etiketou – takže pojmy ako „fotografia“ a „socha“ by sa mohli identifikovať v tom istom obrázku.
Aby sme mohli trénovať tento multilabel model klasifikácie obrázkov, museli sme zhromaždiť tréningový súbor údajov obsahujúci obrázky s viacerými označeniami v ich metaúdajoch. Aplikáciu Europeana Search API sme využili na vyhľadávanie objektov indexovaných viac ako jedným konceptom z našej slovnej zásoby, čoho výsledkom bolo celkovo 9 000 objektov. Rovnako ako v prípade nášho predchádzajúceho úsilia o klasifikáciu jednotlivých etikiet sme tento súbor údajov nepreskúmali, takže kvalita etikiet závisela od kvality predchádzajúcich obohatení.
V prípade klasifikácie s viacerými značkami správne metaúdaje (alebo základná pravda) obsahovali viac ako jedno označenie pre každý obrázok. Vyškolili sme konvolučnú neurónovú sieť na klasifikáciu obrázkov a potom sme použili výsledný model na objektoch získaných z rozhrania API vyhľadávania. Nižšie si môžete pozrieť niektoré príklady s ich predpoveďami, skóre spoľahlivosti a mapami interpretovateľnosti.
Naše učenie
Z našich experimentov sme dospeli k záveru, že model je schopný správne identifikovať viaceré relevantné štítky pre dané obrázky. Viacnásobný prístup je užitočnejší ako používanie jednotlivých etikiet, pretože môže s vysokou istotou aplikovať niekoľko etikiet na každý obrázok.
Napriek zaujímavým výsledkom nie je výkon výsledného modelu ani zďaleka dokonalý a môžeme to pripísať viacerým faktorom. Najdôležitejšia je relatívne nízka kvalita zhromaždeného súboru údajov. Zistili sme, že mnohé z načítaných obrázkov nemajú správne metaúdaje.
Okrem toho väčšinu údajov použitých na odbornú prípravu poskytlo nórske DigitalMuseum. To znamená, že trénovacie údaje neodrážajú celú distribúciu údajov v Europeane, čo spôsobuje, že model je zaujatý voči údajom, s ktorými bol trénovaný. Predpojatosť údajov o odbornej príprave sa premietne do nedostatočnej zovšeobecnenia zvyšných obrázkov z Europeany. Jednoducho povedané, model bude fungovať dobre na obrázkoch podobných tým, ktoré sú obsiahnuté v tréningovom súbore údajov, ale zlyhá, ak sú obrázky príliš odlišné.
Všeobecne platí, že naše tréningové údaje sú dostatočne dobré na to, aby sa model naučil niektoré základné vzory. Model fungoval dobre aj napriek náročnému nastaveniu používania údajov s nesprávnymi štítkami. Kvalita predchádzajúcich obohatení však nie je vhodná na ich použitie ako tréningových údajov na vytvorenie modelu na obohatenie našich zbierok. Riešením je vytvoriť kvalitnejší súbor tréningových údajov, aby sa zabezpečilo, že náš model bude prezentovaný so správnymi značkami.
Budúca práca: crowdsourcing
Po zaškolení a vyhodnotení modelu multilabel klasifikácie sme dospeli k záveru, že priradenie viacerých etikiet k obrázkom z našej zbierky je vhodnejšie ako ich obohatenie o jednu etiketu.
Zvažujeme rozšírenie slovnej zásoby o ďalšie pojmy týkajúce sa kultúrneho dedičstva. Ešte dôležitejšie je, že plánujeme preskúmať a rozšíriť súbor tréningových údajov s cieľom identifikovať a opraviť možné skreslenia a chyby. Chceli by sme zabezpečiť, aby bol náš model prezentovaný so správnymi štítkami, od ktorých sa očakáva, že budú fungovať výrazne lepšie ako pri školení s "hlučnými" štítkami. Spustili sme crowdsourcingovú kampaň na vytvorenie vysokokvalitného anotovaného súboru údajov so spoločnosťou Zooniverse a vítame príspevky našej komunity.
Našu prácu môžete sledovať v tomto úložisku Github. Takisto vás vyzývame, aby ste experimentovali s týmto poznámkovým blokom Colab, v ktorom si môžete vytvoriť vlastné dotazy na rozhranie Europeana Search API a použiť model klasifikácie s viacerými značkami. Ak máte akékoľvek otázky alebo nápady, neváhajte nás kontaktovať na [email protected]!