Wzbogacanie odgrywa zasadniczą rolę w działalności Europeany. W naszym kontekście wzbogacenie można zdefiniować jako generowanie metadanych z danych dostarczonych przez naszych partnerów, dodając dodatkową wartość do danych, które otrzymujemy. Używamy kombinacji oryginalnych i wzbogaconych metadanych do indeksowania naszych rekordów, a to pozwala nam budować funkcjonalności, które pozwalają ludziom wyszukiwać i przeglądać nasze kolekcje oraz otrzymywać rekomendacje. Osiągnięcie automatycznego wzbogacania z wykorzystaniem algorytmów uczenia maszynowego jest jednym z celów strategii Europeana na lata 2020–2025, uruchamiając projekty takie jak Saint George on a Bike.
Zespół badawczo-rozwojowy Europeany bada, w jaki sposób techniki widzenia komputerowego (systemy, które mogą mieć sens w danych wizualnych) mogą poprawić prowadzenie wzbogacania Europeany. Zdecydowaliśmy się rozpocząć pilotaż klasyfikacji obrazów, w ramach którego budujemy model, który jest w stanie sklasyfikować obrazy ze zdigitalizowanych obiektów dziedzictwa kulturowego w zestaw wstępnie zdefiniowanych kategorii. Wierzymy, że system przeszkolony w wybranych kategoriach okaże się przydatny w wzbogacaniu naszych kolekcji.
Techniki głębokiego uczenia się, oparte na pewnym modelu matematycznym zwanym sieciami neuronowymi, są metodą wyboru dla tego typu problemów. Aby wyszkolić sieć neuronową, musimy uzyskać zestaw danych treningowych zawierający dużą ilość obrazów już sklasyfikowanych w wybranych kategoriach. Mówiąc prościej: jeśli pokażemy modelowi komputerowemu obrazy obrazów i powiemy modelowi, że wszystkie te obrazy są obrazami, szkolimy ten model, aby rozpoznawał, czy obrazy, których nigdy nie widział, są obrazem, czy nie.
Pierwszym krokiem niezbędnym do zbudowania modelu klasyfikacji obrazów było wybranie docelowego słownictwa i zebranie zbioru danych treningowych za pomocą interfejsu API wyszukiwania Europeana; Sprawdź, jak to zrobiliśmy poniżej.
Definiowanie słownictwa dla klasyfikacji
Słownictwo kontrolowane to zestawy predefiniowanych i jednoznacznie zidentyfikowanych pojęć, które można wykorzystać do indeksowania danych i zapewnienia ich interoperacyjności. Użycie słownictwa w wyszukiwaniu informacji jest wygodnym sposobem organizowania i odwoływania się do wiedzy.
W Europeanie używamy pojęć ze słownictwa (identyfikowanego za pomocą jednolitych identyfikatorów zasobów, URI) jako części metadanych do indeksowania obiektów dziedzictwa kulturowego. W tym projekcie skupiliśmy się na wybranych koncepcjach z kolekcji Europeana Entity Collection, które mają odpowiedniki z koncepcjami z tezaurusa Getty Art and Architecture Thesaurus (AAT). Słownictwo to zostało pierwotnie zebrane w celu zorganizowania pozyskiwania treści do naszych kolekcji tematycznych. Uwzględniliśmy 20 kategorii, takich jak fotografie, obrazy, rzeźby, odzież i biżuteria.
Dostęp do danych za pomocą Europeana Search API
Kiedy już mieliśmy nasze słownictwo, chcieliśmy uzyskać dostęp do obrazów należących do różnych kategorii w celu szkolenia naszego modelu. Zrobiliśmy to za pośrednictwem Europeana Search API, jednego z wielu interfejsów, które pozwalają nam odzyskać obiekty dziedzictwa kulturowego wyświetlane na stronie europeana.eu. Biorąc pod uwagę zapytanie i zestaw parametrów, Search API zwróci odpowiedź nadającą się do odczytu maszynowego zawierającą metadane wynikowych obiektów. Odpowiedź API służy do przekazywania danych zgodnie z modelem danych Europeany.
W naszym ustawieniu uznaliśmy, że istnieje tylko jedna możliwa kategoria dla każdego obrazu. Pozwoliło nam to na zebranie zbioru danych z adnotacjami poprzez zapytanie Search API o obrazy odpowiadające różnym koncepcjom w naszym słownictwie i użycie tej koncepcji jako etykiety. W ten sposób zmontowaliśmy zbiór danych automatycznie i nie było potrzeby ręcznej adnotacji.
Ponieważ chcieliśmy, aby nasz zbiór danych był zgodny z zasadami FAIR (możliwe do znalezienia, dostępne, interoperacyjne i wielokrotnego użytku), jednoznacznie zidentyfikowaliśmy zarówno pojęcia, jak i odzyskane obiekty dziedzictwa kulturowego, a korzystaliśmy tylko z treści licencjonowanych. Metadane obsługiwane przez API wyszukiwania są objęte otwartą licencją, podczas gdy zawartość obiektów dziedzictwa kulturowego może podlegać prawu autorskiemu. W przypadku tego pilotażu uważaliśmy obrazy za wolne od praw autorskich tylko poprzez ustawienie parametru ponownego użycia jako otwartego.
W naszym przypadku chcieliśmy odzyskać obiekty indeksowane różnymi pojęciami słownictwa. Zamiast korzystać z czytelnej dla człowieka wersji pojęć, dokonaliśmy zapytania o koncepcję URI bezpośrednio za pomocą parametru skos_concept (jeden z parametrów wyszukiwania API).
Byliśmy zainteresowani śledzeniem obiektów użytych do złożenia naszego zbioru danych. Dla każdego pobranego obiektu przechowywaliśmy istotne informacje w pliku CSV. Obrazy będą ostatecznie musiały zostać pobrane i zapisane na dysku w celu przeszkolenia modelu klasyfikacji obrazów.
Dowiedz się więcej
Zestaw danych treningowych obrazu można teraz wykorzystać do zbudowania modelu klasyfikacji obrazu, który wygeneruje jedną z koncepcji słownictwa podanego obrazu wejściowego. Planujemy kontynuować naszą pracę, oceniając, czy ten zbiór danych zawiera wystarczające informacje do przeszkolenia modelu klasyfikacji obrazów i oceniając, czy powstały model nadaje się do automatycznego wzbogacania. Będziemy dzielić się aktualnościami za pośrednictwem wiadomości Europeana Pro!
Mamy nadzieję, że ten post zachęci inżynierów i badaczy zainteresowanych eksperymentowaniem z dziedzictwem kulturowym do korzystania z naszego API wyszukiwania do gromadzenia zbiorów danych do uczenia maszynowego, a w szczególności do korzystania z naszych kolekcji do szkolenia i stosowania algorytmów widzenia komputerowego! Zapraszam do zapoznania się z repozytorium Github, w którym można znaleźć używane słownictwo, zebrane zbiory danych oraz kod do zbierania zbioru danych i szkolenia modelu klasyfikacji obrazów. Nie zapomnij skontaktować się z nami pod adresem [email protected], jeśli masz jakieś pytania, pomysły lub doświadczenia do podzielenia się!
Jeśli chcesz dowiedzieć się więcej o sztucznej inteligencji i cyfrowym dziedzictwie kulturowym, zapoznaj się z naszym tematem dotyczącym sztucznej inteligencji na stronie Europeana Pro.