AI-aangedreven toolkits
SHIFT zal de publieke ervaring van interactie met cultureel erfgoed verrijken met behulp van een reeks instrumenten die zijn gegroepeerd in thematische toolkits. Deze omvatten een visuele toolkit die inhoud van cultureel erfgoed automatisch zal transcriberen met behulp van AI en een auditieve toolkit die een emotionele reactie op het publiek zal leveren.
Wat betekent dit in de praktijk? Enkele maanden geleden gaf het auditieve toolkit-team (onder leiding van AUDEERING) een voorbeeld van dit werk met behulp van een Text-to-Speech-tool (TTS). De TTS heeft erfgoedvideo's van partners in het Roemeens en Servisch getranscribeerd en vervolgens automatisch in het Engels ingesproken met emotionele affectie, weg van de stilstaande automatische stemmen uit het verleden. Er worden voortdurend verbeteringen aan deze tool aangebracht, maar u kunt een voorproefje van de pilotversie bekijken op het SHIFT YouTube-kanaal.
SHIFT erkent de behoefte van de sector aan inclusiviteit en toegankelijkheid en richt zich op het genereren van gerichte tekstbeschrijvingen voor kunstwerken, zodat diverse doelgroepen — zoals blinden en slechtzienden — zich kunnen bezighouden met culturele activa. Om dit te bereiken, heeft het project een tool ontwikkeld waarmee curatoren afbeeldingen en metadata kunnen uploaden, gebruikmakend van AI- en Vision Language-modellen om gebruikersspecifieke verhalen te maken.
Een toolkit voor haptiek die is ontwikkeld door FORTH, het grootste onderzoekscentrum van Griekenland, zal gebruikers in staat stellen om te communiceren met behulp van hun tastzin om 3D- en 2D-objecten in musea en andere culturele omgevingen te verkennen. Een haptische handschoen zal sensorische feedback in deze nieuwe aanpak mogelijk maken. In deze video kun je een vroege versie van de haptics-tool bekijken.
De projectresultaten zullen ook een toolkit voor intellectuele-eigendomsrechten bevatten die is ontworpen om inheemse inhoud te beschermen door internationale auteursrechten en digitale bescherming van afgeleide auteursrechten aan te nemen. Dit wordt de komende maanden gedeeld.
De rol van het Europeana-initiatief
Europeana heeft met haar instrumenten en middelen een centrale rol gespeeld bij de ondersteuning van de missie van SHIFT. Door de integratie van de API van Europeana automatiseert het project bijvoorbeeld het ophalen van rijke metagegevens voor kunstwerken — zoals informatie over de maker en beschrijvingen — die de contextuele input voor de AI-modellen verrijken. Deze integratie versnelt niet alleen de verzameling van metagegevens, maar verbetert ook het vermogen van het instrument om nauwkeurige beschrijvingen te leveren.
Deze samenwerking illustreert hoe de middelen van het Europeana-initiatief innovatie en toegankelijkheid van cultureel erfgoed kunnen stimuleren en benadrukt het transformatieve potentieel van de API bij het bevorderen van inclusiviteit. Samen geven we vorm aan een toekomst waarin culturele schatten voor iedereen toegankelijk zijn.
Komende volgende
Om ervoor te zorgen dat we de juiste tools leveren, heeft team SHIFT een uitgebreide reeks workshops, focusgroepen en use cases gelanceerd om gebruikersvereisten te beoordelen en oplossingen te testen op partnersites in de musea en bibliotheken van Duitsland, Griekenland, Hongarije, Roemenië en Servië. Het project is nu gericht op het integreren van deze feedback om meer inclusieve en toegankelijke technologische oplossingen te ontwikkelen voor alle gebruikers van musea en bibliotheken. Binnenkort zullen de eerste resultaten van dit werk worden uitgeprobeerd in een aantal tentoonstellingen die op de partnersites worden georganiseerd.
Ondertussen wordt momenteel de laatste hand gelegd aan een beleidsnota van SHIFT en de vijf andere projecten (Museit, PERCEIVE, MEMORISE, PREMIERE en MEMENTOES)die deel uitmaken van de door de EU gefinancierde cluster voor geavanceerde technologieën op het gebied van cultureel erfgoed en die in de komende weken zal worden gepubliceerd.
Doe mee
Bezoek de website van het SHIFT-project voor meer informatie, meld u aan voor onze nieuwsbrief en ontdek mogelijkheden om bij te dragen aan de ontwikkeling van onze tools en toolkits door u in te schrijven. We zijn blij met uw mening en feedback over SHIFT als resultaten verschijnen op onze website!
Dit bericht is op 9 december 2024 bewerkt om details toe te voegen over een instrument waarmee curatoren afbeeldingen en metagegevens kunnen uploaden, waarbij gebruik wordt gemaakt van AI- en Vision Language-modellen om gebruikersspecifieke verhalen te maken; en het gedeelte over het Europeana-initiatief.