A kulturális örökségi metaadatok jobb címkékkel és leírásokkal való gazdagítása megkönnyíti bárki számára a kulturális örökségi tárgyak keresését és megtalálását, ami azt jelenti, hogy gyorsabban és könnyebben megtalálja, amire szüksége van. Az informatika és a mesterséges intelligencia közelmúltbeli fejlődése figyelemre méltó lehetőségeket kínál a kulturális örökség metaadatainak minimális erőforrásokkal történő automatikus gazdagítására. Az emberek bevonása ebbe a munkába azonban továbbra is fontos. A CRAFTED projektben esettanulmányként tekintünk a kézműves örökségre annak érdekében, hogy olyan módszertant dolgozzunk ki, hajtsunk végre és teszteljünk, amely ötvözi az algoritmusokat az emberi validálással a kulturális örökség metaadatainak nagy léptékű gazdagítása érdekében.
Az alábbiakban felvázolt módszertan négy fő lépésből áll: adatelemzés; automatikus alkoholtartalom-növelés; a dúsítások emberek általi validálása; valamint a validálási eredményeken alapuló dúsítások finomítása. A folyamat minden egyes lépése során számos fontos kérdéssel küzdöttünk. Milyen dúsítások hasznosak a különböző típusú adatok esetében? Hogyan válasszuk ki a megfelelő mintákat az emberi validáláshoz? Hogyan állapíthatunk meg elfogadható minőségi küszöbértékeket az automatikus alkoholtartalom-növelésre?
Adatelemzés
A gazdagításra kiválasztott gyűjtemények metaadatainak és tartalmának részletes megértése, valamint az esetnek megfelelő gazdagítási célok meghatározása kulcsfontosságú első lépés annak meghatározásában, hogy eszközeinknek milyen követelményeknek kell megfelelniük. Fontos, hogy tanulmányozzuk az egyes metaadatmezők különböző nyelveit és szemantikáját, valamint az értékek strukturálásának módját (például ha olyan mezőt vizsgálunk, amely térinformációt közvetít, kiderülhet, hogy értéke gyakran „város / régió” formátumban strukturálódik). Hasonlóképpen, a tartalom jellemzőit is meg kell vizsgálni az abból levezethető érdemi jellemzők azonosítása érdekében, figyelembe véve az olyan szempontokat, mint a rendelkezésre álló képfelbontás és a tárgyak képeken való ábrázolásának módja.
Automatikus dúsítás
A CRAFTED projektben számos különböző eszközt alkalmaztunk a különböző jellemzőkkel és gazdagítási igényekkel rendelkező gyűjtemények szöveges metaadatainak és tartalmának elemzésére. A metaadatok elemzéséhez az Athéni Nemzeti Műszaki Egyetem által kifejlesztett SAGE platformot (Semantic Annotation and Generation of Enrichments) használtuk. A platform különböző nyelveken képes elemezni a szöveges metaadatokat, és azonosítani tudja a metaadatokban említett, az esetnek megfelelő fogalmak (például anyagok és technikák) széles skáláját. Ezután összekapcsolhatja őket a domain-specifikus online szókincsekkel, például az Europeana Fashion tezaurárral, amely a divattal kapcsolatos fogalmakat fedi le. Általánosabb célú név szerinti entitás-kitermelést is végezhet a szervezetek, helyek és emberek azonosítására, és összekapcsolhatja őket a kapcsolt nyílt tudásbázisokkal, például a Wikidatával.
Ezzel párhuzamosan számos olyan eszközt kipróbáltunk, amelyek képeket és videókat elemeznek. A színfelismerés két fő módszerével kísérleteztünk: az első megközelítés megkülönbözteti az előteret a háttértől, majd megpróbálja kivonni az észlelt előtér színét (színeit). A második megközelítés lényegében ugyanezt teszi, de egy képzett objektumérzékelő algoritmus segíti. Az OCR (Optikai Karakterfelismerés) segítségével az írott szöveget is megpróbáltuk detektálni és kinyerni a képekből. Végül kinyertük a szöveges átiratokat a videókból, a beszélt nyelvtől függően vegyes eredményekkel.
Humán validálás
A módszertan harmadik lépésében az embereket felkérik, hogy ellenőrizzék az automatikus annotációs lépés eredményeit, és fogadják el vagy utasítsák el azokat. Az emberi hitelesítők új jegyzeteket is hozzáadhatnak, amelyeket az automatikus algoritmus nem tudott azonosítani.
Kétségtelen, hogy minél több ilyen automatikus annotációt validálnak, annál jobb. Azonban több ezer ilyen automatizált annotáció létezik, és az emberi hitelesítők átvizsgálása nagyon erőforrás-igényes folyamat. Ehelyett áttekintjük a kiválasztott annotációk mintáját, hogy következtetéseket vonhassunk le az összes automatikus annotációról.
A minta kiválasztása során számos tényezőt figyelembe kell venni. A metaadatok elemzéséhez a mintának különböző szöveghosszúságú metaadatmezőket kell lefednie, figyelembe kell vennie a jegyzetekhez rendelt annotációs algoritmusok bizonyossági pontszámait (amelyek azt sugallják, hogy mennyire biztosak abban, hogy helyesek), és így tovább. Hasonlóképpen, a tartalomelemzéshez a mintának kiegyensúlyozottan kell megjelenítenie a különböző tartalmi jellemzőkkel rendelkező elemeket, például különböző színekkel és különböző típusú tárgyakkal.
Emberi visszajelzések elemzése dúsításaink finomítása érdekében
Célunk, hogy elemezzük az annotációs algoritmusaink által hozzárendelt automatikus konfidencia pontszámok és az emberi ítéletek közötti korrelációt, így megállapíthatjuk, hogy mi a megfelelő küszöbérték ahhoz, hogy egy automatikus annotációt érvényesnek tekintsünk vagy sem. Például, ha az emberek hajlamosak elfogadni minden olyan minta-annotációt, amelyre az automatizált modell 80%-os vagy annál magasabb megbízhatósági pontszámot adott, dönthetünk úgy, hogy az e pontszám feletti összes annotáció automatikusan érvényesnek fogadható el. Az emberi validációk segíthetnek a különböző algoritmusok hatékonyságának értékelésében és összehasonlításában is. Ez utóbbi cél egy nemrégiben indított crowdsourcing kampány célja, amelynek célja a két különböző színfelismerő algoritmus által létrehozott eredmények értékelése. Segíthet nekünk az annotációs modelleink értékelésében is!
Végül az emberi visszacsatolást szeretnénk felhasználni az automatikus algoritmusok pontosságának javítására. Bár a gépi tanulási technikákra támaszkodó algoritmusok átképzése nem szerepel a CRAFTED projekt célkitűzései között, az emberi visszajelzések segíthetnek abban, hogy az algoritmusokat nagyobb pontosságú eredmények elérése érdekében módosítsuk.
Vegyen részt Ön is!
Ha szeretne segíteni nekünk a színérzékelő algoritmusaink által létrehozott eredmények értékelésében, kérjük, vegyen részt az alábbi crowdsourcing kampányok egyikében: