Многоетикетен класификационен модел
Както беше разгледано в предишни публикации в Pro News, във фондация Europeana провеждаме пилотен проект за класификация на изображенията, като обучаваме модел за класификация на изображенията с един етикет, за да обогатим колекциите си. Моделът, който разработихме, успя да класифицира изображенията в категории от целевия ни речник, но идентифицира само един аспект (или „етикет“) на всяко изображение. След това започнахме работа по обучение на модела за класифициране на изображение с повече от един етикет, така че понятия като „фотограф“ и „скулптура“ да могат да бъдат идентифицирани в едно и също изображение.
За да обучим този многоетикетен модел за класификация на изображенията, трябваше да съберем набор от обучителни данни, съдържащ изображения с множество етикети в техните метаданни. Използвахме API за търсене на Europeana, като потърсихме обекти, индексирани с повече от една концепция от нашия речник, което доведе до общо 9000 обекта. Както и при предишните ни усилия за класифициране с един етикет, не направихме преглед на този набор от данни, така че качеството на етикетите зависеше от качеството на предишните обогатявания.
В случай на многоетикетна класификация правилните метаданни (или основната истина) съдържат повече от един етикет за всяко изображение. Обучихме конволюционна невронна мрежа да класифицира изображенията и след това използвахме получения модел върху обекти, получени от API за търсене. Можете да видите някои от примерите с техните прогнози, оценки на доверието и карти на интерпретативността по-долу.
Нашите знания
От нашите експерименти заключихме, че моделът е в състояние правилно да идентифицира множество съответни етикети за дадените изображения. Многоетикетният подход е по-полезен от използването на единични етикети, тъй като може да приложи няколко етикета към всяко изображение с висока степен на увереност.
Въпреки интересните резултати, представянето на получения модел далеч не е перфектно и можем да припишем това на няколко фактора. Най-важното е относително ниското качество на събрания набор от данни. ЕСП установи, че много от извлечените изображения нямат правилни метаданни.
Освен това по-голямата част от данните, използвани за обучение, са предоставени от норвежкия цифров музей. Това означава, че данните от обучението не отразяват цялото разпространение на данни в Europeana, което води до пристрастност на модела към данните, с които е бил обучен. Предубедеността на данните от обучението ще доведе до липса на генерализация за останалата част от изображенията от Europeana. С прости думи, моделът ще се представи добре на изображения, подобни на тези, съдържащи се в набора от данни за обучение, но ще се провали, ако изображенията са твърде различни.
Като цяло, нашите данни за обучение са достатъчно добри, за да може моделът да научи някои основни модели. Моделът се справи добре въпреки трудната настройка за използване на данни с неправилни етикети. Въпреки това, качеството на предишните обогатявания не е подходящо за използването им като данни за обучение за изграждане на модел за обогатяване на нашите колекции. Решение за това е да се създаде набор от данни за обучение с по-високо качество, за да се гарантира, че нашият модел е представен с правилните етикети.
Бъдеща работа: краудсорсинг
След като обучихме и оценихме многоетикетния класификационен модел, стигнахме до заключението, че присвояването на няколко етикета на изображенията от нашата колекция е по-подходящо от обогатяването им с един етикет.
Обмисляме разширяване на речника чрез включване на други термини, свързани с културното наследство. По-важното е, че планираме да прегледаме и разширим набора от данни за обучение с цел идентифициране и коригиране на евентуални предубеждения и грешки. Бихме искали да гарантираме, че нашият модел е представен с правилните етикети, които се очаква да се представят значително по-добре, отколкото когато са обучени с "шумни" етикети. Стартирахме краудсорсинг кампания за изграждане на висококачествен набор от анотирани данни със Zooniverse и приветстваме приноса на нашата общност.
Можете да следите нашата работа в това хранилище на Github. Каним ви също така да експериментирате с този бележник на Colab, където можете да направите свои собствени заявки към API за търсене на Europeana и да приложите модела за класификация на множество етикети. Чувствайте се свободни да се свържете с нас на [email protected], ако имате въпроси или идеи!