Wzbogacanie metadanych dziedzictwa kulturowego o lepsze tagi i opisy ułatwia każdemu wyszukiwanie i znajdowanie tych obiektów dziedzictwa kulturowego, co oznacza, że szybciej i łatwiej znajdziesz to, czego potrzebujesz. Ostatnie postępy w dziedzinie informatyki i sztucznej inteligencji oferują niezwykłe możliwości automatycznego wzbogacania metadanych dotyczących dziedzictwa kulturowego przy minimalnych zasobach. Jednak zaangażowanie ludzi w tę pracę pozostaje ważne. W projekcie CRAFTED traktujemy dziedzictwo rzemieślnicze jako studium przypadku, aby wykuć, wdrożyć i przetestować metodologię łączącą algorytmy z walidacją ludzką w celu wzbogacenia metadanych dziedzictwa kulturowego na dużą skalę.
Metodologia, którą przedstawiamy poniżej, składa się z czterech głównych etapów: analiza danych; automatyczne wzbogacanie; zatwierdzanie wzbogaceń przez ludzi; oraz uszlachetnianie wzbogacania w oparciu o wyniki walidacji. W każdym z etapów tego procesu zmagaliśmy się z wieloma kluczowymi pytaniami. Jakie rodzaje wzbogacania są przydatne w przypadku różnych rodzajów danych? W jaki sposób dobieramy odpowiednie próbki do walidacji przez człowieka? W jaki sposób możemy ustalić akceptowalne progi jakości dla automatycznego wzbogacania?
Analiza danych
Uzyskanie szczegółowego zrozumienia metadanych i treści w zbiorach wybranych do wzbogacania, a także zdefiniowanie odpowiednich celów wzbogacania, jest kluczowym pierwszym krokiem w określaniu wymagań, które muszą spełniać nasze narzędzia. Ważne jest, aby zbadać różne języki i semantykę każdego pola metadanych, a także sposób, w jaki ich wartości są ustrukturyzowane (na przykład patrząc na pole, które przekazuje informacje przestrzenne, można dowiedzieć się, że jego wartość jest często ustrukturyzowana w formacie „miasto / region”). Podobnie należy przeanalizować cechy treści, aby zidentyfikować istotne cechy, które można z nich wyprowadzić, biorąc pod uwagę takie aspekty, jak dostępna rozdzielczość obrazu i sposób przedstawiania obiektów na obrazach.
Automatyczne wzbogacanie
W projekcie CRAFTED zastosowaliśmy szereg różnych narzędzi do analizy metadanych tekstowych i treści wielu różnych kolekcji o różnych cechach i potrzebach wzbogacania. Do analizy metadanych wykorzystaliśmy platformę SAGE (Semantic Annotation and Generation of Enrichments) opracowaną przez Narodowy Uniwersytet Techniczny w Atenach. Platforma jest w stanie analizować metadane tekstowe w różnych językach i identyfikować szeroką gamę odpowiednich dla danego przypadku pojęć (takich jak materiały i techniki) wymienionych w metadanych. Następnie może połączyć je z terminami ze słowników internetowych specyficznych dla danej domeny, takich jak tezaurus mody Europeana, który obejmuje koncepcje związane z modą. Może również przeprowadzać ekstrakcję podmiotów o bardziej ogólnym przeznaczeniu w celu identyfikacji organizacji, miejsc i osób oraz łączenia ich z połączonymi otwartymi bazami wiedzy, takimi jak Wikidane.
Równolegle wypróbowaliśmy szereg narzędzi, które analizują obrazy i filmy. Eksperymentowaliśmy z dwoma głównymi metodami wykrywania kolorów: pierwsze podejście odróżnia pierwszy plan od tła, po czym próbuje wyodrębnić kolor (kolory) wykrytego pierwszego planu. Drugie podejście zasadniczo robi to samo, ale jest wspomagane przez wyszkolony algorytm wykrywania obiektów. Próbowaliśmy również wykryć i wyodrębnić tekst pisany z obrazów za pomocą OCR (Optical Character Recognition). Na koniec wyodrębniliśmy transkrypcje tekstowe z filmów, z mieszanymi wynikami w zależności od języka mówionego.
Walidacja przez człowieka
W trzecim etapie metodologii ludzie są proszeni o sprawdzenie wyników zautomatyzowanego etapu adnotacji i ich zaakceptowanie lub odrzucenie. Ludzkie walidatory mogą również dodawać nowe adnotacje, których automatyczny algorytm nie zidentyfikował.
Prawdą jest, że im więcej tych automatycznych adnotacji jest walidowanych, tym lepiej. Istnieją jednak tysiące tych automatycznych adnotacji, a przechodzenie przez nie ludzkich walidatorów jest bardzo zasobochłonnym procesem. Zamiast tego przeglądamy próbkę adnotacji, która jest wybrana, aby umożliwić nam wyciągnięcie wniosków na temat wszystkich automatycznych adnotacji.
Podczas doboru próby należy wziąć pod uwagę szereg czynników. Do analizy metadanych próbka musi obejmować różne pola metadanych o różnej długości tekstu, wziąć pod uwagę wyniki pewności, że algorytmy adnotacji przypisane do ich adnotacji (które sugerują, jak pewni czują, że są poprawne) i tak dalej. Podobnie w przypadku analizy treści próbka musi zachować zrównoważoną reprezentację elementów o różnych cechach treści, na przykład o różnych kolorach i różnych typach obiektów.
Analiza informacji zwrotnych od ludzi w celu udoskonalenia naszych wzbogaceń
Naszym celem jest analiza korelacji między automatycznymi punktami zaufania przypisanymi przez nasze algorytmy adnotacji a ludzkimi osądami, abyśmy mogli ustalić, jaki jest odpowiedni próg, aby uznać automatyczną adnotację za ważną lub nie. Na przykład, jeśli ludzie mają tendencję do akceptowania wszystkich adnotacji przykładowych, dla których zautomatyzowany model dał wynik ufności 80% lub wyższy, możemy zdecydować, że wszystkie adnotacje powyżej tego wyniku mogą zostać automatycznie zaakceptowane jako ważne. Ludzkie walidacje mogą również pomóc nam ocenić i porównać skuteczność różnych algorytmów. Ten ostatni cel jest celem niedawno zainicjowanej kampanii crowdsourcingowej, której celem jest ocena wyników uzyskanych przez dwa różne algorytmy wykrywania kolorów. Możesz również pomóc nam ocenić nasze modele adnotacji!
Na koniec chcemy wykorzystać informacje zwrotne od ludzi, aby poprawić dokładność samych algorytmów automatycznych. Chociaż algorytmy przekwalifikowania, które opierają się na technikach uczenia maszynowego, nie należą do celów projektu CRAFTED, informacje zwrotne od ludzi mogą pomóc nam udoskonalić algorytmy w celu osiągnięcia wyników o wyższej dokładności.
Zaangażuj się
Jeśli chcesz pomóc nam ocenić wyniki uzyskane przez nasze algorytmy wykrywania kolorów, zapraszamy do udziału w jednej z następujących kampanii crowdsourcingowych: