Wieloetykietowy model klasyfikacji
Jak opisano w poprzednich postach prasowych Pro, w Fundacji Europeana prowadziliśmy pilotaż klasyfikacji obrazów, szkoląc model klasyfikacji obrazów pojedynczej etykiety, aby wzbogacić nasze kolekcje. Opracowany przez nas model był w stanie podzielić obrazy na kategorie z naszego słownika docelowego, ale zidentyfikował tylko jeden aspekt (lub „etykietę”) każdego obrazu. Następnie rozpoczęliśmy prace nad szkoleniem modelu w zakresie klasyfikacji obrazu z więcej niż jedną etykietą, tak aby pojęcia takie jak „fotografia” i „rzeźba” mogły zostać zidentyfikowane na tym samym obrazie.
Aby wyszkolić ten wieloetykietowy model klasyfikacji obrazów, musieliśmy zebrać zestaw danych treningowych zawierający obrazy z wieloma etykietami w ich metadanych. Wykorzystaliśmy API Europeana Search, szukając obiektów indeksowanych z więcej niż jedną koncepcją z naszego słownictwa, co daje w sumie 9 000 obiektów. Podobnie jak w przypadku poprzednich działań związanych z klasyfikacją pojedynczych etykiet, Trybunał nie dokonał przeglądu tego zbioru danych, w związku z czym jakość etykiet zależała od jakości wcześniejszych wzbogaceń.
W przypadku klasyfikacji wieloetykietowej poprawne metadane (lub prawda gruntowa) zawierały więcej niż jedną etykietę dla każdego obrazu. Przeszkoliliśmy splotową sieć neuronową, aby sklasyfikować obrazy, a następnie wykorzystaliśmy otrzymany model na obiektach uzyskanych z interfejsu API wyszukiwania. Poniżej możesz zobaczyć niektóre przykłady z ich przewidywaniami, wynikami zaufania i mapami interpretowalności.
Nasze doświadczenia
Na podstawie naszych eksperymentów doszliśmy do wniosku, że model jest w stanie poprawnie zidentyfikować wiele odpowiednich etykiet dla danych obrazów. Podejście wieloetykietowe jest bardziej pomocne niż stosowanie pojedynczych etykiet, ponieważ może z dużą pewnością zastosować kilka etykiet do każdego obrazu.
Pomimo interesujących wyników, wydajność powstałego modelu jest daleka od doskonałości i możemy przypisać to kilku czynnikom. Najważniejsza jest stosunkowo niska jakość gromadzonych danych. Trybunał stwierdził, że wiele pobranych obrazów nie zawiera prawidłowych metadanych.
Ponadto większość danych wykorzystywanych do szkoleń dostarczyło norweskie DigitalMuseum. Oznacza to, że dane szkoleniowe nie odzwierciedlają całego rozkładu danych w Europeanie, co powoduje, że model jest stronniczy w stosunku do danych, z którymi został przeszkolony. Uprzedzenia danych treningowych przełożą się na brak uogólnienia dla pozostałych obrazów z Europeany. Mówiąc prościej, model będzie działał dobrze na obrazach podobnych do tych zawartych w zbiorze danych treningowych, ale nie powiedzie się, jeśli obrazy są zbyt różne.
Ogólnie rzecz biorąc, nasze dane szkoleniowe są wystarczająco dobre, aby model mógł nauczyć się podstawowych wzorców. Model radził sobie dobrze pomimo trudnego ustawienia korzystania z danych z nieprawidłowymi etykietami. Jednak jakość poprzednich wzbogaceń nie nadaje się do wykorzystania ich jako danych treningowych do budowania modelu wzbogacającego nasze kolekcje. Rozwiązaniem tego problemu jest stworzenie wyższej jakości zbioru danych treningowych, aby zapewnić, że nasz model jest prezentowany z odpowiednimi etykietami.
Przyszłe prace: crowdsourcing
Po przeszkoleniu i ocenie modelu klasyfikacji wieloetykietowej doszliśmy do wniosku, że przypisanie wielu etykiet do obrazów z naszej kolekcji jest bardziej odpowiednie niż wzbogacenie ich o pojedynczą etykietę.
Rozważamy rozszerzenie słownictwa o inne terminy związane z dziedzictwem kulturowym. Co ważniejsze, planujemy przegląd i rozszerzenie zbioru danych treningowych w celu zidentyfikowania i skorygowania ewentualnych uprzedzeń i błędów. Chcielibyśmy zapewnić, że nasz model jest prezentowany z odpowiednimi etykietami, które mają działać znacznie lepiej niż po przeszkoleniu z "hałaśliwymi" etykietami. Rozpoczęliśmy kampanię crowdsourcingową w celu zbudowania wysokiej jakości zestawu danych z uwagami z Zooniverse i cieszymy się z wkładu naszej społeczności.
Możesz śledzić naszą pracę w tym repozytorium Github. Zachęcamy również do eksperymentowania z tym notebookiem Colab, w którym można dokonywać własnych zapytań do interfejsu API wyszukiwania Europeana i stosować model klasyfikacji wieloetykietowej. Jeśli masz jakieś pytania lub pomysły, skontaktuj się z nami pod adresem [email protected]!