Обогатяването играе основна роля в дейностите на Europeana. В нашия контекст обогатяването може да се определи като генериране на метаданни от данните, предоставени от нашите партньори, добавяйки допълнителна стойност към данните, които получаваме. Използваме комбинацията от оригинални и обогатени метаданни за индексиране на нашите записи и това ни позволява да изградим функционалности, които позволяват на хората да търсят и разглеждат нашите колекции и да получават препоръки. Постигането на автоматично обогатяване с помощта на алгоритми за машинно самообучение е една от целите на стратегията Europeana за периода 2020—2025г., която задейства проекти като „Свети Георги на велосипед“.
Екипът за научноизследователска и развойна дейност на Europeana проучва как техниките за компютърно зрение (системи, които могат да осмислят визуални данни) могат да подобрят обогатяването, което Europeana извършва. Решихме да стартираме пилотен проект за класификация на изображенията, при който да изградим модел, който е в състояние да класифицира изображения от цифровизирани обекти на културното наследство в набор от предварително определени категории. Вярваме, че система, обучена с избраните категории, ще се окаже полезна за обогатяване на колекциите ни.
Техниките за дълбоко учене, базирани на определен тип математически модел, наречен невронни мрежи, са методът на избор за този тип проблем. За да обучим невронна мрежа, трябва да получим набор от данни за обучение, съдържащ голямо количество изображения, които вече са класифицирани в избрани категории. С прости думи: Ако покажем на компютърен модел изображения на картини и кажем на модела, че всички тези изображения са картини, ние обучаваме този модел да разпознае дали изображенията, които никога не е виждал, са картина или не.
Първите стъпки, необходими за изграждането на модела за класификация на изображенията, бяха да се избере целеви речник и да се събере набор от обучителни данни, като се използва API за търсене на Europeana; Проучете как направихме това по-долу.
Определяне на речник за класификация
Контролираните речници са набори от предварително определени и еднозначно идентифицирани понятия, които могат да се използват за индексиране на данни и да ги направят оперативно съвместими. Използването на речници при извличането на информация е удобен начин за организиране и рефериране на знания.
В Europeana използваме понятия от речници (идентифицирани чрез унифицирани идентификатори на ресурси, URI) като част от метаданните за индексиране на обекти на културното наследство. За този проект се съсредоточихме върху селекция от концепции от колекцията Europeana Entity, които имат еквиваленти с концепции от тезауруса за изкуство и архитектура на Getty (AAT). Този речник първоначално беше събран с цел организиране на източниците на съдържание за нашите тематични колекции. Включихме 20 категории като снимки, картини, скулптури, дрехи и бижута.
Достъп до данни с помощта на API за търсене на Europeana
След като имахме нашия речник, искахме да получим достъп до изображения, принадлежащи към различните категории, за да обучим нашия модел. Направихме това чрез API за търсене на Europeana, един от многото интерфейси, които ни позволяват да извличаме обекти на културното наследство, показани на europeana.eu. Като се има предвид заявка и набор от параметри, API за търсене ще върне машинно четим отговор, съдържащ метаданните на получените обекти. Отговорът на API служи на данните съгласно модела на данни Europeana.
В нашата среда смятахме, че има само една възможна категория за всяко изображение. Това ни позволи да съберем анотиран набор от данни, като потърсим API за търсене на изображения, съответстващи на различните понятия в нашия речник, и използваме тази концепция като етикет. По този начин сглобихме набора от данни автоматично и не беше необходима ръчна анотация.
Тъй като искахме нашият набор от данни да следва принципите FAIR (намерими, достъпни, оперативно съвместими и повторно използваеми), идентифицирахме по уникален начин както концепциите, така и извлечените обекти на културното наследство и използвахме само открито лицензирано съдържание. Метаданните, обслужвани от API за търсене, са с отворен лиценз, докато съдържанието на обектите на културното наследство може да е обект на авторско право. За този пилотен проект разгледахме само изображения без авторски права, като определихме параметъра за многократна употреба като отворен.
В нашия случай искахме да извлечем обекти, индексирани с различните понятия на речника. Вместо да използваме четимата от човек версия на понятията, направихме заявка за концепцията URI директно с помощта на параметъра skos_concept (един от параметрите за търсене на API).
Интересувахме се от проследяването на обектите, използвани за сглобяване на нашия набор от данни. За всеки извлечен обект съхраняваме съответната информация в CSV файл. Изображенията в крайна сметка ще трябва да бъдат изтеглени и съхранени на диск за обучение на модела за класификация на изображенията.
Научете повече
Наборът от данни за обучение на изображения вече може да се използва за изграждане на модел за класификация на изображенията, който ще изведе една от концепциите на речника, дадена входно изображение. Планираме да продължим работата си, като преценим дали този набор от данни съдържа достатъчно информация за обучение на модел за класификация на изображенията и преценим дали полученият модел е подходящ за автоматично обогатяване. Ще споделяме актуална информация чрез Europeana Pro news!
Надяваме се, че тази публикация насърчава инженерите и изследователите, които се интересуват от експериментиране с културното наследство, да използват нашия API за търсене за сглобяване на набори от данни за машинно обучение и по-специално да използват нашите колекции за обучение и прилагане на алгоритми за компютърно зрение! Чувствайте се свободни да разгледате хранилището Github, където можете да намерите използваните речници, събраните набори от данни и кода за събиране на набора от данни и обучение на модел за класификация на изображенията. Не забравяйте да се свържете с нас на адрес [email protected], ако имате въпроси, идеи или опит, които да споделите!
Ако се интересувате да научите повече за ИИ и цифровото културно наследство, разгледайте нашата тема за ИИ в Europeana Pro.