Többcímkés osztályozási modell
Amint azt a korábbi Pro hírlevelekben feltártuk, az Europeana Alapítványnál képosztályozási kísérleti projektet futtattunk, amelynek keretében egycímkés képosztályozási modellt képeztünk gyűjteményeink gazdagítása érdekében. Az általunk kifejlesztett modell képes volt a képeket célszókincsünkből kategóriákba sorolni, de mindegyik képnek csak egy aspektusát (vagy „címkéjét”) azonosította. Így aztán elkezdtünk dolgozni azon, hogy megtanítsuk a modellt egy kép több címkével történő osztályozására - így az olyan fogalmak, mint a „fénykép” és a „szobor”, ugyanazon a képen azonosíthatók.
Ennek a többcímkés képosztályozási modellnek a betanításához össze kellett gyűjtenünk egy oktató adatkészletet, amely a metaadataikban több címkével ellátott képeket tartalmazott. Az Europeana Search API-t úgy használtuk, hogy szókincsünkből egynél több fogalommal indexelt objektumokat kerestünk, ami összesen 9000 objektumot eredményezett. Az egycímkés osztályozásra irányuló korábbi erőfeszítéseinkhez hasonlóan ezt az adatkészletet sem vizsgáltuk felül, így a címkék minősége a korábbi dúsítások minőségétől függött.
Többcímkés osztályozás esetén a helyes metaadatok (vagy alapvalóság) képenként egynél több címkét tartalmaztak. Konvolúciós neurális hálózatot képeztünk a képek osztályozására, majd a kapott modellt a Search API-ból nyert objektumokon használtuk. A példák közül néhányat az alábbi előrejelzésekkel, megbízhatósági pontszámokkal és értelmezhetőségi térképekkel láthat.
Tanulásaink
Kísérleteinkből arra a következtetésre jutottunk, hogy a modell képes helyesen azonosítani az adott képek több releváns címkéjét. A többcímkés megközelítés hasznosabb, mint az egyedi címkék használata, mivel nagy biztonsággal alkalmazhat több címkét minden képre.
Az érdekes eredmények ellenére a kapott modell teljesítménye messze nem tökéletes, és ezt több tényezőnek tulajdoníthatjuk. A legfontosabb az összegyűjtött adatkészlet viszonylag alacsony minősége. Megállapítottuk, hogy a lekérdezett képek közül sok nem rendelkezik helyes metaadatokkal.
Emellett a képzéshez felhasznált adatok többségét a Norvég Digitális Múzeum biztosította. Ez azt jelenti, hogy a betanítási adatok nem tükrözik az Europeana teljes adateloszlását, ami azt eredményezi, hogy a modell elfogult a betanított adatokkal szemben. A képzési adatok elfogultsága az Europeana többi képének általánosításának hiányában fog megnyilvánulni. Egyszerűen fogalmazva, a modell jól teljesít a képzési adatkészletben szereplő képekhez hasonló képeken, de sikertelen lesz, ha a képek túl különbözőek.
Általánosságban elmondható, hogy a képzési adatok elég jóak ahhoz, hogy a modell megtanuljon néhány alapvető mintát. A modell jól teljesített annak ellenére, hogy az adatok helytelen címkékkel való használata kihívást jelentett. A korábbi gazdagítások minősége azonban nem alkalmas arra, hogy azokat képzési adatként felhasználjuk a gyűjteményeink gazdagítására szolgáló modell építéséhez. Erre a megoldás egy jobb minőségű képzési adatkészlet létrehozása, annak biztosítása érdekében, hogy modellünk a megfelelő címkékkel kerüljön bemutatásra.
Jövőbeli munka: crowdsourcing
A többcímkés osztályozási modell betanítása és értékelése után arra a következtetésre jutottunk, hogy több címke hozzárendelése a gyűjteményünkből származó képekhez megfelelőbb, mint egyetlen címkével gazdagítani őket.
Fontolóra vesszük a szókincs kibővítését a kulturális örökséggel kapcsolatos egyéb kifejezések beillesztésével. Ennél is fontosabb, hogy tervezzük a képzési adatkészlet felülvizsgálatát és bővítését az esetleges torzítások és hibák azonosítása és javítása céljából. Szeretnénk biztosítani, hogy a modellünk a megfelelő címkékkel kerüljön bemutatásra, amely várhatóan lényegesen jobb teljesítményt nyújt, mint a "zajos" címkékkel való képzés. Közösségi kiszervezési kampányt indítottunk a Zooniverse jó minőségű, magyarázó jegyzetekkel ellátott adatkészletének kiépítésére, és üdvözöljük közösségünk hozzájárulását.
Munkánkat ebben a Github adattárban követheti nyomon. Arra is felkérjük, hogy kísérletezzen ezzel a Colab jegyzetfüzettel, ahol saját lekérdezéseket végezhet az Europeana Search API-n, és alkalmazhatja a többcímkés osztályozási modellt. Ha bármilyen kérdése vagy ötlete van, forduljon hozzánk bizalommal az [email protected] e-mail címen!