Îmbogățirea metadatelor privind patrimoniul cultural cu etichete și descrieri mai bune facilitează căutarea și găsirea acestor obiecte de patrimoniu cultural, ceea ce înseamnă că veți găsi mai rapid și mai ușor ceea ce aveți nevoie. Progresele recente în domeniul IT și al IA oferă oportunități remarcabile de îmbogățire automată a metadatelor privind patrimoniul cultural cu resurse minime. Cu toate acestea, implicarea oamenilor în această lucrare rămâne importantă. În cadrul proiectului CRAFTED, luăm patrimoniul meșteșugăresc ca studiu de caz pentru a elabora, a pune în aplicare și a testa o metodologie care combină algoritmii cu validarea umană pentru îmbogățirea metadatelor privind patrimoniul cultural la scară largă.
Metodologia, pe care o evidențiem mai jos, constă în patru etape principale: analiza datelor; îmbogățirea automată; validarea îmbogățirilor de către oameni; și rafinarea îmbogățirilor pe baza rezultatelor validării. În fiecare dintre etapele acestui proces, ne-am confruntat cu o serie de întrebări cruciale. Ce tipuri de îmbogățire sunt utile pentru diferite tipuri de date? Cum selectăm eșantioanele adecvate pentru validarea umană? Cum putem stabili praguri de calitate acceptabile pentru îmbogățirile automate?
Analiza datelor
Obținerea unei înțelegeri detaliate a metadatelor și a conținutului din colecțiile selectate pentru îmbogățire, precum și definirea obiectivelor de îmbogățire adecvate cazului, reprezintă un prim pas esențial în determinarea cerințelor pe care instrumentele noastre trebuie să le îndeplinească. Este important să se studieze diferitele limbi și semantică ale fiecărui câmp de metadate, precum și modul în care sunt structurate valorile acestora (de exemplu, atunci când se analizează un câmp care transmite informații spațiale, s-ar putea afla că valoarea acestuia este adesea structurată în formatul „oraș/regiune”). În mod similar, caracteristicile conținutului trebuie examinate pentru a identifica caracteristicile semnificative care pot fi derivate din acesta, luând în considerare aspecte precum rezoluția imaginii disponibile și modul în care obiectele sunt reprezentate în imagini.
Îmbogățire automată
În cadrul proiectului CRAFTED, am aplicat o serie de instrumente diferite pentru a analiza metadatele textuale și conținutul unei mari varietăți de colecții cu caracteristici și nevoi de îmbogățire diferite. Pentru analiza metadatelor, am folosit platforma SAGE (Semantic Annotation and Generation of Enrichments) dezvoltată de Universitatea Tehnică Națională din Atena. Platforma este în măsură să analizeze metadatele textuale în diferite limbi și să identifice o gamă largă de concepte adecvate fiecărui caz (cum ar fi materialele și tehnicile) menționate în metadate. Apoi le poate asocia cu termeni din vocabularele online specifice domeniului, cum ar fi tezaurul Europeana Fashion care acoperă concepte legate de modă. De asemenea, poate efectua extragerea mai generală a entităților numite pentru a identifica organizațiile, locurile și persoanele și pentru a le conecta la bazele de cunoștințe deschise conectate, cum ar fi Wikidata.
În paralel, am încercat o serie de instrumente care analizează imagini și videoclipuri. Am experimentat cu două abordări principale pentru detectarea culorilor: prima abordare distinge prim-planul de fundal, după care încearcă să extragă culoarea (culorile) prim-planului detectat. A doua abordare face în esență același lucru, dar este asistată de un algoritm instruit de detectare a obiectelor. De asemenea, am încercat să detectăm și să extragem text scris din imagini folosind OCR (Optical Character Recognition). În cele din urmă, am extras transcrieri textuale din videoclipuri, cu rezultate mixte în funcție de limba vorbită.
Validarea umană
În a treia etapă a metodologiei, oamenii sunt invitați să verifice rezultatele etapei de adnotare automată și să le accepte sau să le respingă. Validatorii umani pot adăuga, de asemenea, noi adnotări pe care algoritmul automat nu le-a identificat.
Desigur, cu cât sunt validate mai multe dintre aceste adnotări automate, cu atât mai bine. Cu toate acestea, există mii de astfel de adnotări automate, iar trecerea validatorilor umani prin ele este un proces foarte intensiv din punct de vedere al resurselor. Deci, în schimb, analizăm un eșantion de adnotări care este selectat pentru a ne permite să tragem concluzii cu privire la toate adnotările automate.
La selectarea eșantionului trebuie luați în considerare o serie de factori. Pentru analiza metadatelor, eșantionul trebuie să acopere diferite câmpuri de metadate cu diferite lungimi de text, să ia în considerare scorurile de certitudine pe care algoritmii de adnotare le atribuie adnotărilor lor (care sugerează cât de încrezători simt că sunt corecte) și așa mai departe. În mod similar, pentru analiza conținutului, eșantionul trebuie să păstreze o reprezentare echilibrată a articolelor cu caracteristici de conținut diferite, de exemplu, cu culori diferite și tipuri diferite de obiecte.
Analizarea feedback-ului uman pentru a rafina îmbogățirea noastră
Scopul nostru este de a analiza corelația dintre scorurile automate de încredere atribuite de algoritmii noștri de adnotare și judecățile umane, astfel încât să putem stabili ce prag adecvat este să considerăm o adnotare automată ca fiind validă sau nu. De exemplu, dacă oamenii tind să accepte toate adnotările eșantionului pentru care modelul automat a dat un scor de încredere de 80% sau mai mare, putem decide că toate adnotările peste acel scor pot fi acceptate automat ca valide. Validările umane ne pot ajuta, de asemenea, să evaluăm și să comparăm eficacitatea diferiților algoritmi. Acest ultim obiectiv este obiectivul unei campanii de crowdsourcing recent inițiate, care își propune să evalueze rezultatele produse de doi algoritmi diferiți de detectare a culorilor. Ne puteți ajuta să evaluăm și modelele noastre de adnotări!
În cele din urmă, dorim să folosim feedback-ul uman pentru a îmbunătăți acuratețea algoritmilor automați. Deși algoritmii de recalificare care se bazează pe tehnici de învățare automată nu se numără printre obiectivele proiectului CRAFTED, feedback-ul uman ne poate ajuta să modificăm algoritmii pentru a obține rezultate mai precise.
Implică-te
Dacă doriți să ne ajutați să evaluăm rezultatele obținute de algoritmii noștri de detectare a culorilor, vă invităm să contribuiți la una dintre următoarele campanii de crowdsourcing: