SHIFT on EU:n Horisontti Eurooppa -ohjelmasta rahoitettu hanke, jonka tarkoituksena on kehittää erityisiä välineistöjä, jotka on räätälöity kulttuuriperintöön sitoutumisen eri näkökohtiin. Ensimmäinen paljastettava on SHIFT Audio Toolkit, joka on edelläkävijä tekoälyyn perustuvassa äänisynteesissä, tunteisiin perustuvassa puheessa, monikielisessä saavutettavuudessa ja mukaansatempaavissa äänimaisemissa.
SHIFT-konsortion luoma ja audEERINGin johtama työkalupakki hyödyntää tekstin puheeksi (TTS), tunteiden tunnistamisen, videon dubbauksen ja äänimaiseman luomisen voimaa luodakseen mukaansatempaavia kokemuksia, jotka tuovat perinnön elämään.
VAIHTOTOTYYPPI: affektiivinen, monikielinen teksti puheeksi -järjestelmä
SHIFT TTS on teksti puheeksi -järjestelmä (tekniikka, joka pystyy lukemaan ääneen minkä tahansa kirjoitetun tekstin), joka tuottaa korkealaatuista, emotionaalisesti ilmeikästä puhetta useilla kielillä. Toisin kuin perinteiset TTS-työkalut, jotka ovat äänirobotteja, SHIFT TTS sisältää affektiivisen puhesynteesin, mikä tarkoittaa, että se voi ilmaista tunteita, kuten jännitystä, rauhallisuutta tai juhlallisuutta sen kertoman sisällön perusteella.
SHIFT TTS -työkalu tukee useita kieliä, kuten albaniaa, unkaria, romaniaa, serbiaa, saksaa, kreikkaa ja englantia. Työkalupakki toimii tekstityksen tai tavallisen tekstin syötteen kanssa ja tarjoaa äänen personoinnin, jonka avulla käyttäjät voivat kloonata ääniä ainutlaatuista ja räätälöityä kerrontaa varten tai valita työkalun tarjoamista 200 äänestä. Katso käytössä olevaa työkalua.
TTS-työkalu voi parantaa kulttuuriperintösisällön saavutettavuutta ja osallistavuutta esimerkiksi lisäämällä monikielisiä, emotionaalisesti rikkaita kertomuksia, jotta näyttelyt olisivat houkuttelevampia erilaisille yleisöille. Lisäksi työkalu tarjoaa resurssin näkövammaisille vierailijoille tarjoamalla saavutettavaa sisältöä yksityiskohtaisten äänikuvausten muodossa. Se voi muuttaa historialliset asiakirjat mukaansatempaaviksi äänitarinakokemuksiksi, mikä antaa käyttäjille mukaansatempaavan historiallisen kokemuksen.
Videon jälkiäänitys tai kuvasta puheeksi -kerronta
Museot ja kulttuurilaitokset käyttävät usein videoita kävijöiden kouluttamiseen ja sitouttamiseen. Monikielisten versioiden luominen tai hiljaisten kuvien kertominen voi kuitenkin olla haastavaa. SHIFT TTS -järjestelmä tarjoaa saumattoman toiminnallisuuden videoiden jälkiäänitykseen ja kerrottujen videoiden luomiseen kuvista.
Yksi videon jälkiäänitystoiminnon keskeisistä ominaisuuksista antaa käyttäjille mahdollisuuden korvata videon alkuperäinen ääni tekoälyn tuottamalla puheella (jopa kloonaamalla historiallisten henkilöiden ääni) säilyttäen samalla huolellisesti sisällön emotionaalisen sävyn. Järjestelmä on myös erinomainen hiljaisessa kuvan vokalisoinnissa, still-kuvien muuntamisessa tekstikuvausten avulla kerrotuiksi videoiksi, visuaalisen sisällön saavutettavuuden parantamisessa ja erilaisten yleisöjen sitouttamisessa. Ks. esimerkki.
Videon jälkiäänitys- ja kuvasta puheeksi -kerrontaominaisuuksien avulla museot voivat luoda videosisällöstään monikielisiä versioita, mikä laajentaa saavutettavuutta kansainvälisille yleisöille. Näitä työkaluja voidaan käyttää lisäämään kerrontaa taideteoksiin ja historiallisiin esineisiin digitaalisissa näyttelyissä, mikä tarjoaa rikkaamman ja houkuttelevamman tarinankerronnan, joka parantaa kävijäkokemusta. Integroimalla tekoälyn tuottamat selostukset SHIFT TTS -työkalu voi tehdä verkkomuseokokemuksista interaktiivisempia ja helppokäyttöisempiä erityisesti niille, joilla voi olla näkövammaisia tai jotka suosivat äänipohjaista sisältöä.
Äänikloonaus yksilöllistä kerrontaa varten
Yksi SHIFT TTS:n innovatiivisimmista ominaisuuksista on sen äänen kloonausominaisuus, jonka avulla käyttäjät voivat toistaa kaiuttimen äänen kerrontaa varten. Tämä ominaisuus on erityisen hyödyllinen historiallisten henkilöiden tai kertojien äänien säilyttämisessä, ja se tarjoaa ainutlaatuisen ja aidon tavan herättää historia eloon.
Käyttäjät voivat ladata lyhyen ääninäytteen, ja SHIFT TTS tuottaa puheen, joka jäljittelee henkilön ääntä. Näin varmistetaan, että kloonattu ääni säilyttää aidot tunteet ja puheen ominaisuudet, mikä luo realistisemman ja mukaansatempaavamman kokemuksen. Äänikloonausominaisuus avaa mahdollisuuksia henkilökohtaiseen tarinankerrontaan erityisesti historiallisissa näyttelyissä, joissa Andy Warholin tai Salvador Dalín kaltaiset hahmot voivat kloonata äänensä kertomaan omia tarinoitaan, mikä tarjoaa syvemmän yhteyden sisältöön.
Äänen kloonaus mahdollistaa kadonneiden tai epätäydellisten historiallisten tallenteiden uudelleenluomisen, mikä tuo kauan menneet äänet takaisin elämään yleisön kokemiseksi. Museokuraattorit, sisällöntuottajat ja muut voivat myös hyötyä tästä ominaisuudesta käyttämällä omia ääniään kertomuksissa ja varmistamalla johdonmukaisen ja henkilökohtaisen kosketuksen äänioppaisiin, näyttelyihin ja muuntyyppiseen sisältöön.
Tekoälyllä luodut äänimaisemat mukaansatempaavaan tarinankerrontaan
Täysin mukaansatempaavien elämysten luomiseksi SHIFT on testannut AudioGeniä, tekoälytyökalua, joka luo tekstikuvauksista realistisia äänimaisemia. Tämä ominaisuus mahdollistaa ympäristön tai ympäristön taustaäänien lisäämisen näyttelyihin ja rikastuttaa niitä räätälöidyillä äänimaisemilla, jotka vastaavat näyttelyssä kuvattua ajanjaksoa tai asetusta. Muinaiset markkinat, taistelukentät tai pyhät tilat voidaan herättää eloon autenttisilla, aikakaudelle sopivilla taustaäänillä, lisäämällä tarinankerrokseen aistikerros, joka syventää vierailijoiden yhteyttä historiaan. Työkalu toimii useilla kielillä, mikä varmistaa sen saavutettavuuden kansainvälisille yleisöille ja lisää kulttuurien välistä sitoutumista. Katso se toiminnassa tämän kappaleen pääkuvan kanssa alla!
Tämä ominaisuus voi myös osoittautua erittäin tehokkaaksi virtuaalitodellisuudessa (VR) ja lisätyn todellisuuden (AR) museokierroksilla, joissa mukaansatempaava ääni voi parantaa merkittävästi läsnäolon tunnetta ja realismia. Äänimaisemat voivat myös parantaa näkövammaisten vierailijoiden saavutettavuutta tarjoamalla yksityiskohtaisia äänikuvauksia historiallisista asetuksista ja tapahtumista.
Miksi nämä välineet ovat tärkeitä kulttuuriperintöalan ammattilaisille
Museoiden ja kulttuurilaitosten odotetaan yhä useammin osallistuvan maailmanlaajuiseen, monikieliseen ja monimuotoiseen yleisöön. Immersiivisen sisällön luominen vaatii kuitenkin aikaa, resursseja ja asiantuntemusta, joita monilta toimielimiltä puuttuu.
SHIFT-äänityökalupakki tukee saavutettavuutta tarjoamalla kiehtovia äänikuvauksia näkövammaisille vierailijoille ja monikielistä kerrontaa erilaisille yleisöille varmistaen, että kaikki voivat osallistua sisältöön. Se myös tehostaa sitoutumista käyttämällä tekoälyyn perustuvaa affektiivista puhetta ja äänimaisemia yleisön upottamiseksi historiaan ja kulttuuriin, mikä luo kiehtovan kokemuksen.
Lue lisää
Kaikki SHIFT Audio Toolkitin työkalut ovat saatavilla yhden katon alla SHIFT-alustalla, joka on parhaillaan kehitteillä. Tämä alusta tarjoaa helpon pääsyn kaikkiin SHIFT-työkaluihin, mukaan lukien teksti puheeksi -järjestelmä, videon jälkiäänitys, äänimaiseman luominen ja paljon muuta.
Pysy ajan tasalla viimeisimmistä tapahtumista, uusista ominaisuuksista ja SHIFT-alustan virallisesta lanseerauksesta vierailemalla SHIFT-verkkosivustolla ja tilaamalla SHIFT-uutiskirje saadaksesi ajankohtaisia päivityksiä, vinkkejä ja ilmoituksia suoraan postilaatikkoosi.
Tämän viestin ovat kirjoittaneet Dionyssos Kounadis-Bastian, vanhempi AI-tutkija, audEERING GmbH ja Maria Kagkelidou, viestintäpäällikkö, The Heritage Management Organization.