Îmbogățirea joacă un rol fundamental în activitățile Europeana. În contextul nostru, îmbogățirea poate fi definită ca generarea de metadate din datele furnizate de partenerii noștri, adăugând valoare suplimentară datelor pe care le primim. Utilizăm combinația de metadate originale și îmbogățite pentru indexarea înregistrărilor noastre, iar acest lucru ne permite să construim funcționalități care permit oamenilor să caute și să navigheze prin colecțiile noastre și să primească recomandări. Realizarea îmbogățirii automate cu ajutorul algoritmilor de învățare automată este unul dintre obiectivele Strategiei Europeana 2020-2025, declanșând proiecte precum Saint George on a Bike.
Echipa R&D a Europeana explorează modul în care tehnicile de vizualizare pe calculator (sisteme care pot înțelege datele vizuale) pot îmbunătăți îmbogățirea pe care Europeana o conduce. Am decis să demarăm un proiect pilot de clasificare a imaginilor, în cadrul căruia construim un model capabil să clasifice imaginile din obiectele de patrimoniu cultural digitalizate într-un set de categorii predefinite. Considerăm că un sistem instruit cu categoriile selectate s-ar dovedi util în îmbogățirea colecțiilor noastre.
Tehnicile de învățare profundă, bazate pe un anumit tip de model matematic numit rețele neuronale, sunt metoda de alegere pentru acest tip de problemă. Pentru a instrui o rețea neuronală, trebuie să obținem un set de date de antrenament care conține o cantitate mare de imagini deja clasificate în categorii selectate. În termeni simpli: Dacă arătăm unui model computerizat imagini ale picturilor și îi spunem modelului că toate aceste imagini sunt picturi, antrenăm acel model să recunoască dacă imaginile pe care nu le-a văzut niciodată sunt sau nu o pictură.
Primii pași necesari pentru a construi modelul de clasificare a imaginilor au fost selectarea unui vocabular țintă și colectarea unui set de date de antrenament utilizând API-ul Europeana Search; Explorați cum am făcut acest lucru mai jos.
Definirea unui vocabular pentru clasificare
Vocabularele controlate sunt seturi de concepte predefinite și identificate în mod unic, care pot fi utilizate pentru a indexa datele și a le face interoperabile. Utilizarea vocabularelor în recuperarea informațiilor este o modalitate convenabilă de a organiza și de a face referință la cunoștințe.
La Europeana, utilizăm concepte din vocabulare (identificate prin identificatori uniformi de resurse, URI) ca parte a metadatelor pentru indexarea obiectelor de patrimoniu cultural. Pentru acest proiect, ne-am concentrat pe o selecție de concepte din Colecția Europeana Entity, care au echivalențe cu concepte din Tezaurul de Artă și Arhitectură Getty (AAT). Acest vocabular a fost inițial colectat pentru organizarea aprovizionării cu conținut pentru colecțiile noastre tematice. Am inclus 20 de categorii, cum ar fi fotografii, picturi, sculpturi, îmbrăcăminte și bijuterii.
Accesarea datelor utilizând API-ul Europeana Search
Odată ce am avut vocabularul nostru, am vrut să accesăm imagini aparținând diferitelor categorii pentru a ne antrena modelul. Am făcut acest lucru prin intermediul Europeana Search API, una dintre numeroasele interfețe care ne permit să extragem obiectele de patrimoniu cultural afișate pe site-ul europeana.eu. Având în vedere o interogare și un set de parametri, API-ul de căutare va returna un răspuns care poate fi citit automat și care conține metadatele obiectelor rezultate. Răspunsul API servește datelor care urmează modelul de date Europeana.
În setarea noastră, am considerat că există o singură categorie posibilă pentru fiecare imagine. Acest lucru ne-a permis să asamblăm un set de date adnotate prin interogarea API-ului de căutare pentru imagini care corespund diferitelor concepte din vocabularul nostru și utilizând acest concept ca etichetă. În acest fel am asamblat automat setul de date și nu a fost necesară o adnotare manuală.
Întrucât ne-am dorit ca setul nostru de date să respecte principiile FAIR (ușor de găsit, accesibil, interoperabil și reutilizabil), am identificat în mod unic atât conceptele, cât și obiectele de patrimoniu cultural recuperate și am utilizat numai conținut cu licență deschisă. Metadatele furnizate de Search API fac obiectul unei licențe deschise, în timp ce conținutul obiectelor de patrimoniu cultural ar putea face obiectul drepturilor de autor. Pentru acest pilot am considerat imaginile libere de drepturi de autor doar prin setarea parametrului de reutilizare ca fiind deschis.
În cazul nostru, am vrut să recuperăm obiecte indexate cu diferitele concepte ale vocabularului. În loc să folosim versiunea lizibilă pentru om a conceptelor, am făcut o interogare pentru conceptul URI direct utilizând parametrul skos_concept (unul dintre parametrii de căutare ai API).
Am fost interesați să ținem evidența obiectelor folosite pentru asamblarea setului nostru de date. Pentru fiecare obiect recuperat, am stocat informații relevante într-un fișier CSV. Imaginile vor trebui în cele din urmă să fie descărcate și stocate pe disc pentru a antrena modelul de clasificare a imaginilor.
Aflați mai multe
Setul de date pentru antrenarea imaginilor poate fi acum utilizat pentru construirea unui model de clasificare a imaginilor care va genera unul dintre conceptele vocabularului dat unei imagini de intrare. Intenționăm să ne continuăm activitatea evaluând dacă acest set de date conține suficiente informații pentru antrenarea unui model de clasificare a imaginilor și evaluând dacă modelul rezultat este adecvat pentru îmbogățirea automată. Vom împărtăși actualizările prin știrile Europeana Pro!
Sperăm că acest post încurajează inginerii și cercetătorii interesați să experimenteze patrimoniul cultural să utilizeze API-ul nostru de căutare pentru asamblarea seturilor de date pentru învățarea automată și, în special, să utilizeze colecțiile noastre pentru instruirea și aplicarea algoritmilor de viziune pe calculator! Nu ezitați să consultați depozitul Github, unde puteți găsi vocabularele utilizate, seturile de date colectate și codul pentru recoltarea setului de date și antrenarea unui model de clasificare a imaginilor. Nu uitați să ne contactați la adresa [email protected] dacă aveți întrebări, idei sau experiență de împărtășit!
Dacă sunteți interesat să aflați mai multe despre IA și patrimoniul cultural digital, explorați tema noastră privind IA pe Europeana Pro.