Van 2017 tot 2021 heeft het V4Design-project, gefinancierd in het kader van het H2020-programma voor onderzoek en innovatie, gewerkt aan het verminderen van belemmeringen voor de toegang tot digitaal cultureel erfgoed voor architecten, creatieve ontwerpers en makers van videogames. Deze gemeenschappen worden vaak over het hoofd gezien door de sector cultureel erfgoed, maar zijn een krachtige creatieve kracht bij het hergebruiken en remixen van cultureel erfgoed om gedurfde nieuwe games, architectonische ontwerpen of andere creatieve projecten aan te drijven.
Het V4Design-project begon met het herkennen van de barrières tussen iemand die een groot stuk gedigitaliseerd cultureel erfgoed ontdekt en dat digitale culturele erfgoed kan hergebruiken in 3D-ontwerpen. Hoewel het een eenvoudig proces is om 2D-afbeeldingen te downloaden, openen en bewerken, is het proces niet zo eenvoudig in drie dimensies. Veel inhoud van cultureel erfgoed is niet gedigitaliseerd tot gemakkelijk herbruikbare 3D-objecten (zie de definitieve aanbeveling van de 3D-inhoud in Europeana Task Force), waardoor de gegevensbronnen die architecten, makers van videogames en creatieve ontwerpers kunnen gebruiken, ernstig worden beperkt. V4Design heeft dit probleem opgelost door een pijplijn te creëren die de integratie van 3D-erfgoedobjecten in de dagelijkse creatieve workflows van deze professionals ondersteunt, door het gemakkelijker te maken om 3D-modellen te genereren uit video-invoer.
Via V4design wilde Europeana het bereik van haar publiek verbreden voor hergebruik van digitaal cultureel erfgoed, door creatieve ontwerpers de tools te geven die ze nodig hebben om het verleden te hergebruiken in hun eigen innovatieve werk. Gedurende het hele project leverde Europeana meer dan 370.000 digitaal cultureel erfgoedobjecten die nu gemakkelijk kunnen worden ontdekt en hergebruikt in het V4Design-platform. Ontdek hieronder meer innovaties!
Plugins voor 3D-ontwerptools
Om de integratie van 3D-inhoud van digitaal cultureel erfgoed in de dagelijkse workflow van ontwerpers te vergemakkelijken, werd in het project gekeken naar de meest populaire 3D-ontwerptools en werden plug-ins voor die tools ontwikkeld: Unity (plugin wordt binnenkort openbaar gemaakt) en Rhino3D. Mensen die deze tools gebruiken, hebben nu toegang tot een plug-in die het hergebruik van cultureel erfgoed net zo eenvoudig maakt als het indrukken van een knop. Met de plug-ins kunnen gebruikers door duizenden beschikbare 3D-modellen zoeken die beschikbaar zijn in de V4Design-database en deze met een klik in hun project importeren.
Voor Unity is de plug-in ook geïmplementeerd in Virtual Reality (VR), waardoor iedereen in VR kan springen en 3D-modellen voor cultureel erfgoed rechtstreeks naar hun virtuele omgeving kan slepen.
3D uit video-inhoud halen
Dankzij V4Design kunt u niet alleen zoeken door de duizenden reeds beschikbare 3D-modellen gemaakt van audiovisuele inhoud in Europeana en andere bronnen, u kunt ook uw eigen videobestanden als invoer gebruiken. Als u een video van een object hebt of maakt en er omheen beweegt om alle hoeken te krijgen, kunt u die video importeren in de V4Design-pijplijn die bruikbare 3D-modellen eruit haalt. Dit verkort de tijd die nodig is om van fysiek object naar 3D-model te gaan, waardoor het voor iedereen gemakkelijk is om iets uit hun omgeving te nemen en te importeren en opnieuw te gebruiken in hun 3D-projecten. Een voorbeeld hiervan in de praktijk werd gepresenteerd door Herzog de Meuron, een architectenbureau gevestigd in Bazel, Duitsland. Ontdek hoe zij V4Design in hun werk hebben gebruikt.
Analyseren en verrijken van data en metadata
Om te helpen met de 3D-pijplijn, en om te weten waar texturen op moeten worden overgebracht, ontwikkelde het project verschillende machine learning-algoritmen. Sommige modellen kijken naar stilstaande beelden om texturen en patronen te extraheren die vervolgens kunnen worden overgebracht naar een 3D-model of een 2D-afbeelding.
De extractie en overdracht van patronen en texturen is van bijzonder belang in 3D-ontwerp omdat 3D-modellen standaard geen textuur of kleur hebben. Om anders grijze en saaie 3D-modellen creatief te hergebruiken, moet je er mazen van textuur en kleur op aanbrengen. Met de V4Design-plug-in kan elk stukje cultureel erfgoed nu worden hergebruikt om 3D-modellen te versieren.
Andere algoritmen voor machinaal leren identificeren en lokaliseren architecturale functies in video-inhoud. Dit maakt het gemakkelijk om alleen dat gebouw als 3D-model te extraheren - zie een voorbeeld hier. De algoritmen taggen, herkennen en segmenteren de gebouwen in hun samenstellende delen en alle metadata worden opgeslagen in het asset en geïndexeerd in de V4Design-database.
Ten slotte verrijkt de V4Design-pijplijn tekstuele metadata die afkomstig zijn van contentproviders zoals Europeana om het vinden van het 3D-model waarnaar u op zoek bent een stuk eenvoudiger te maken. Lees in dit artikel meer over welke technieken voor natuurlijke taalverwerking precies worden gebruikt in V4Design.
Meer informatie
We kijken ernaar uit om te zien hoe je ons cultureel erfgoed hergebruikt en opnieuw mixt tot iets compleet nieuws! Om te beginnen met het spelen met de V4Design tools, kunt u downloaden Rhino en de V4D4Rhino plugin, of download Unity vandaag. U kunt ook meer te weten komen over de resultaten van V4Design op de projectpagina of op v4design.eu.