Obohacení metadat kulturního dědictví o lepší značky a popisy usnadňuje každému vyhledávání a vyhledávání těchto předmětů kulturního dědictví, což znamená, že najdete to, co potřebujete, rychleji a snadněji. Nedávný pokrok v oblasti IT a umělé inteligence nabízí pozoruhodné příležitosti pro automatické obohacení metadat kulturního dědictví o minimální zdroje. Zapojení lidí do této práce je však i nadále důležité. V projektu CRAFTED bereme řemeslné dědictví jako případovou studii s cílem vytvořit, zavést a otestovat metodiku, která kombinuje algoritmy s lidskou validací pro obohacení metadat kulturního dědictví ve velkém měřítku.
Metodika, kterou nastiňujeme níže, se skládá ze čtyř hlavních kroků: analýza údajů; automatické obohacování; ověřování obohacování u lidí; a rafinace obohacování na základě výsledků validace. V každém z kroků tohoto procesu jsme se potýkali s řadou zásadních otázek. Jaké druhy obohacení jsou užitečné pro různé typy dat? Jak vybíráme vhodné vzorky pro lidskou validaci? Jak můžeme stanovit přijatelné prahové hodnoty kvality pro automatické obohacování?
Analýza údajů
Získání podrobného porozumění metadatům a obsahu ve sbírkách vybraných pro obohacování, jakož i definování vhodných cílů obohacování, je zásadním prvním krokem při určování požadavků, které musí naše nástroje splňovat. Je důležité studovat různé jazyky a sémantiku každého pole metadat, jakož i způsob, jakým jsou jejich hodnoty strukturovány (například při pohledu na pole, které zprostředkovává prostorové informace, lze zjistit, že jeho hodnota je často strukturována ve formátu „město / region“). Podobně je třeba zkoumat charakteristiky obsahu, aby bylo možné identifikovat smysluplné prvky, které z něj lze odvodit, s přihlédnutím k aspektům, jako je dostupné rozlišení obrazu a způsob, jakým jsou objekty v obrazech zobrazeny.
Automatické obohacování
V projektu CRAFTED jsme použili řadu různých nástrojů k analýze textových metadat a obsahu široké škály sbírek s různými charakteristikami a potřebami obohacení. Pro analýzu metadat jsme použili platformu SAGE (Sémantická anotace a generování obohacení) vyvinutou Národní technickou univerzitou v Aténách. Platforma je schopna analyzovat textová metadata v různých jazycích a identifikovat širokou škálu konceptů vhodných pro daný případ (jako jsou materiály a techniky) uvedených v metadatech. Poté je může propojit s termíny z internetových slovníků specifických pro danou doménu, jako je tezaurus Europeana Fashion, který pokrývá koncepty související s módou. Může také provádět obecnější extrakci pojmenovaných entit k identifikaci organizací, míst a lidí a propojit je se znalostními bázemi Linked Open, jako jsou Wikidata.
Souběžně jsme vyzkoušeli řadu nástrojů, které analyzují obrázky a videa. Experimentovali jsme se dvěma hlavními přístupy k detekci barev: první přístup rozlišuje popředí od pozadí a poté se snaží extrahovat barvu (barvy) zjištěného popředí. Druhý přístup v podstatě dělá totéž, ale je podporován vyškoleným algoritmem detekce objektů. Také jsme se snažili detekovat a extrahovat psaný text z obrázků pomocí OCR (Optical Character Recognition). Nakonec jsme z videí extrahovali textové přepisy se smíšenými výsledky v závislosti na mluveném jazyce.
Lidská validace
Ve třetím kroku metodiky jsou lidé vyzváni, aby zkontrolovali výsledky kroku automatizované anotace a přijali nebo odmítli je. Lidské validátory mohou také přidat nové anotace, které automatický algoritmus nedokázal identifikovat.
Je pravda, že čím více těchto automatických anotací je validováno, tím lépe. Existují však tisíce těchto automatizovaných anotací a procházet jimi lidské validátory je proces velmi náročný na zdroje. Takže místo toho přezkoumáme vzorek anotací, které jsou vybrány, abychom mohli vyvodit závěry o všech automatických anotacích.
Při výběru vzorku je třeba vzít v úvahu řadu faktorů. Pro analýzu metadat musí vzorek pokrýt různá pole metadat s různou délkou textu, zvážit skóre jistoty, že anotační algoritmy přiřazené k jejich anotacím (které naznačují, jak si jsou jisti, že jsou správné) a tak dále. Podobně pro analýzu obsahu musí vzorek udržovat vyvážené zastoupení položek s různými charakteristikami obsahu, například s různými barvami a různými typy objektů.
Analýza lidské zpětné vazby s cílem zdokonalit naše obohacení
Naším cílem je analyzovat korelaci mezi automatickými skóre spolehlivosti přidělenými našimi anotačními algoritmy a lidskými úsudky, abychom mohli stanovit, jaká je vhodná prahová hodnota pro to, abychom automatickou anotaci považovali za platnou nebo neplatnou. Například, pokud lidé mají tendenci přijímat všechny vzorové anotace, pro které automatizovaný model dal skóre spolehlivosti 80% nebo vyšší, můžeme se rozhodnout, že všechny anotace nad tímto skóre mohou být automaticky přijaty jako platné. Lidské validace nám také mohou pomoci vyhodnotit a porovnat účinnost různých algoritmů. Tento poslední cíl je cílem nedávno zahájené crowdsourcingové kampaně, která si klade za cíl vyhodnotit výsledky vytvořené dvěma různými algoritmy detekce barev. Můžete nám také pomoci s vyhodnocením našich anotačních modelů!
V neposlední řadě chceme využít lidskou zpětnou vazbu ke zlepšení přesnosti samotných automatických algoritmů. Ačkoli rekvalifikační algoritmy, které se spoléhají na techniky strojového učení, nepatří mezi cíle projektu CRAFTED, zpětná vazba od člověka nám může pomoci algoritmy vyladit směrem k dosažení výsledků s vyšší přesností.
Zapojte se
Pokud nám chcete pomoci s vyhodnocením výsledků vytvořených našimi algoritmy detekce barev, zveme vás, abyste přispěli do jedné z následujících crowdsourcingových kampaní: