A gazdagítás alapvető szerepet játszik az Europeana tevékenységeiben. A mi kontextusunkban a dúsítás úgy határozható meg, mint metaadatok generálása a partnereink által szolgáltatott adatokból, többletértéket adva a kapott adatokhoz. Az eredeti és dúsított metaadatok kombinációját használjuk rekordjaink indexelésére, és ez lehetővé teszi számunkra olyan funkciók kiépítését, amelyek lehetővé teszik az emberek számára, hogy keressenek és böngészjenek gyűjteményeinkben, és ajánlásokat kapjanak. Az automatikus dúsítás gépi tanulási algoritmusok segítségével történő megvalósítása az Europeana 2020–2025-ös stratégiájánakegyik célkitűzése,amely olyan projekteket indít el, mint például a Saint George on a Bike.
Az Europeana R&D csapata azt vizsgálja, hogy a számítógépes látástechnikák (olyan rendszerek, amelyek értelmet adhatnak a vizuális adatoknak) hogyan javíthatják az Europeana gazdagítását. Úgy döntöttünk, hogy elindítjuk a képosztályozás kísérleti projektjét, ahol olyan modellt építünk, amely képes a digitalizált kulturális örökségi tárgyak képeit előre meghatározott kategóriákba sorolni. Úgy véljük, hogy a kiválasztott kategóriákkal képzett rendszer hasznosnak bizonyulna gyűjteményeink gazdagításában.
A mély tanulási technikák, amelyek egy bizonyos típusú matematikai modellen, az úgynevezett neurális hálózatokon alapulnak, az ilyen típusú problémák kiválasztásának módszere. Ahhoz, hogy egy neurális hálózatot képezhessünk, olyan képzési adatkészletet kell beszereznünk, amely nagy mennyiségű, már kiválasztott kategóriákba sorolt képet tartalmaz. Egyszerűbben fogalmazva: Ha megmutatjuk a festmények számítógépes modelljét, és elmondjuk a modellnek, hogy ezek a képek festmények, akkor a modellt arra tanítjuk, hogy felismerje, hogy a soha nem látott képek festmények-e vagy sem.
A képosztályozási modell létrehozásához szükséges első lépések a célszókincs kiválasztása és az Europeana Search API használatával képzési adatkészlet gyűjtése voltak; Fedezd fel, hogyan csináltuk ezt az alábbiakban.
Az osztályozás szókincsének meghatározása
Az ellenőrzött szótárak előre meghatározott és egyedileg azonosított fogalmak halmazai, amelyek felhasználhatók az adatok indexálására és interoperábilissá tételére. A szótárak használata az információkeresésben kényelmes módja a tudás megszervezésének és hivatkozásának.
Az Europeana a kulturális örökség tárgyainak indexelésére szolgáló metaadatok részeként (egységes forrásazonosítók, URI-k által azonosított) szókincsekből származó fogalmakat használ. Ebben a projektben az Europeana Entity Collection olyan koncepcióira összpontosítottunk, amelyek egyenértékűek a Getty Art and Architecture Thesaurus (AAT) koncepcióival. Ezt a szókincset eredetileg tematikus gyűjteményeink tartalmi beszerzésének megszervezésére gyűjtöttük össze. 20 kategóriát vettünk fel, például fényképeket, festményeket, szobrokat, ruhákat és ékszereket.
Hozzáférés az adatokhoz az Europeana Search API használatával
Miután megvolt a szókincsünk, a különböző kategóriákba tartozó képekhez akartunk hozzáférni a modellünk képzéséhez. Ezt az Europeana Search API-n keresztül tettük meg, amely az egyik olyan interfész, amely lehetővé teszi számunkra az europeana.eu oldalon megjelenített kulturális örökségi tárgyak lekérését. Adott lekérdezés és paraméterkészlet esetén a keresési API egy géppel olvasható választ ad vissza, amely tartalmazza az eredményül kapott objektumok metaadatait. Az API-válasz az Europeana adatmodellt követő adatokat szolgálja ki.
A mi beállításunkban úgy véltük, hogy minden képnek csak egy lehetséges kategóriája van. Ez lehetővé tette számunkra, hogy annotált adatkészletet állítsunk össze a kereső API lekérdezésével a szókincsünkben szereplő különböző fogalmaknak megfelelő képekre, és ezt a fogalmat használjuk címkeként. Ily módon automatikusan összeállítottuk az adatkészletet, és nem volt szükség kézi jegyzetelésre.
Mivel azt akartuk, hogy adatkészletünk kövesse a FAIR (kereshető, hozzáférhető, interoperábilis és újrafelhasználható) elveket, egyedileg azonosítottuk mind a fogalmakat, mind a lehívott kulturális örökségi tárgyakat, és csak nyíltan licencelt tartalmat használtunk. A Search API által szolgáltatott metaadatok nyílt licenc alatt állnak, míg a kulturális örökségi tárgyak tartalma szerzői jog hatálya alá tartozhat. Ehhez a kísérleti projekthez csak a szerzői jogtól mentes képeket tekintettük úgy, hogy az újrafelhasználhatósági paramétert nyitottnak állítottuk be.
Esetünkben a szókincs különböző fogalmaival indexelt objektumokat akartunk visszakeresni. A fogalmak ember által olvasható változata helyett közvetlenül az skos_concept paraméterrel (az API egyik keresési paraméterével) kérdeztük le a fogalom URI-jét.
Érdeklődésünk az volt, hogy nyomon kövessük az adatkészlet összeállításához használt tárgyakat. Minden egyes lehívott objektum esetében egy CSV-fájlban tároltuk a releváns információkat. A képeket végül le kell tölteni és lemezen kell tárolni a képosztályozási modell betanításához.
Tudjon meg többet
A képképzési adatkészlet most már felhasználható egy képosztályozási modell létrehozására, amely a szókincs egyik fogalmát adja ki egy bemeneti képnek. Azt tervezzük, hogy folytatjuk munkánkat annak értékelésével, hogy ez az adatkészlet elegendő információt tartalmaz-e egy képosztályozási modell betanításához, és annak értékelésével, hogy az így kapott modell alkalmas-e automatikus gazdagításra. A legfrissebb híreket az Europeana Pro hírportálon osztjuk meg!
Reméljük, hogy ez a bejegyzés arra ösztönzi a kulturális örökséggel kísérletező mérnököket és kutatókat, hogy használják a Search API-t a gépi tanuláshoz szükséges adatkészletek összeállítására, és különösen arra, hogy gyűjteményeinket számítógépes látási algoritmusok képzésére és alkalmazására használják! Nyugodtan nézze meg a Github adattárat, ahol megtalálhatja a használt szókincseket, az összegyűjtött adatkészleteket, valamint az adatkészlet begyűjtésének és a képosztályozási modell képzésének kódját. Ne felejtsen el kapcsolatba lépni velünk az [email protected] e-mail-címen, ha bármilyen kérdése, ötlete vagy tapasztalata van!
Ha többet szeretne megtudni a mesterséges intelligenciáról és a digitális kulturális örökségről, fedezze fel a mesterséges intelligenciával kapcsolatos témánkat az Europeana Pro portálon.