SHIFT ir ES programmas “Apvārsnis Eiropa” finansēts projekts, kura mērķis ir izstrādāt specializētus rīkkopas, kas pielāgotas dažādiem kultūras mantojuma iesaistes aspektiem. Pirmais, kas tiks atklāts, ir SHIFT audio rīkkopa, kas aizsāk ar MI darbināmu balss sintēzi, emociju virzītu runu, daudzvalodu pieejamību un iegremdējošām skaņu ainavām.
Šī rīkkopa, ko izveidojis SHIFT konsorcijs ar audEERING, uzņemoties vadību, izmantos teksta-runas (TTS), emociju atpazīšanas, video dublēšanas un skaņu ainavas radīšanas spēku, lai radītu iegremdējošu pieredzi, kas atdzīvina mantojumu.
SHIFT TTS: emocionāla daudzvalodu sistēma teksta pārvēršanai runā
SHIFT TTS ir teksta-runas sistēma (tehnoloģija, kas spēj skaļi nolasīt jebkuru rakstītu tekstu), kas rada augstas kvalitātes, emocionāli izteiksmīgu runu vairākās valodās. Atšķirībā no tradicionālajiem TTS rīkiem, kas skan robotiski, SHIFT TTS ietver emocionālu runas sintēzi, kas nozīmē, ka tas var izpaust tādas emocijas kā uztraukums, mierīgums vai svinīgums, pamatojoties uz saturu, ko tas stāsta.
SHIFT TTS rīks atbalsta vairākas valodas, tostarp albāņu, ungāru, rumāņu, serbu, vācu, grieķu un angļu valodu, ar vairāk nekā 200 emocionālām angļu balsīm ar dzimtās un citas valodas akcentiem. Rīkkopa darbojas ar subtitriem vai vienkārša teksta ievadi un piedāvā balss personalizāciju, ļaujot lietotājiem klonēt balsis unikālam un pielāgotam stāstījumam vai izvēlēties no 200 balsīm, ko rīks dara pieejamas. Skatīties rīku, kas tiek izmantots.
TTS rīks var uzlabot kultūras mantojuma satura pieejamību un iesaisti, piemēram, pievienojot daudzvalodu, emocionāli bagātus vēstījumus, lai izstādes padarītu saistošākas dažādām auditorijām. Turklāt rīks nodrošina resursu apmeklētājiem ar redzes traucējumiem, piedāvājot pieejamu saturu detalizētu audioaprakstu veidā. Tas var pārvērst vēsturiskos dokumentus aizraujošā audio stāstīšanas pieredzē, ļaujot lietotājiem iegremdēt vēsturisko pieredzi.
Video dublēšana vai stāstījums no attēla uz runu
Muzeji un kultūras iestādes bieži paļaujas uz video, lai izglītotu un iesaistītu apmeklētājus. Tomēr daudzvalodu versiju izveide vai klusu attēlu stāstīšana var būt sarežģīta. SHIFT TTS sistēma piedāvā nevainojamu funkcionalitāti video dublēšanai un stāstītu video ģenerēšanai no attēliem.
Viena no video dublēšanas iekārtas galvenajām iezīmēm ļauj lietotājiem aizstāt sākotnējo balsi videomateriālā ar MI radītu runu (pat klonējot vēsturisku figūru balsi), vienlaikus rūpīgi saglabājot satura emocionālo toni. Sistēma izceļas arī ar klusu attēlu vokalizāciju, nekustīgu attēlu pārveidošanu teksta aprakstos par stāstītiem videoklipiem, padarot vizuālo saturu pieejamāku un iesaistot dažādas auditorijas. Sk. piemēru.
Video dublēšanas un attēla-runas stāstījuma funkcijas ļauj muzejiem izveidot video satura daudzvalodu versijas, paplašinot pieejamību starptautiskai auditorijai. Šos rīkus var izmantot, lai pievienotu stāstījumu mākslas darbiem un vēsturiskiem artefaktiem digitālajos eksponātos, nodrošinot bagātīgāku, saistošāku stāstījumu, kas uzlabo apmeklētāju pieredzi. Integrējot MI ģenerētas balss pārraides, SHIFT TTS rīks var padarīt tiešsaistes muzeju pieredzi interaktīvāku un pieejamāku, jo īpaši tiem, kuriem var būt redzes traucējumi vai kuri dod priekšroku audio saturam.
Balss klonēšana personalizētam stāstījumam
Viena no SHIFT TTS inovatīvākajām iezīmēm ir tās balss klonēšanas spēja, kas ļauj lietotājiem replicēt runātāja balsi stāstījumam. Šī funkcija ir īpaši noderīga, lai saglabātu vēsturisku figūru vai narratoru balsis, piedāvājot unikālu un autentisku veidu, kā atdzīvināt vēsturi.
Lietotāji var augšupielādēt īsu audio paraugu, un SHIFT TTS ģenerē runu, kas atdarina personas balsi. Tas nodrošina, ka klonētā balss saglabā autentiskas emocijas un runas īpašības, radot reālistiskāku un saistošāku pieredzi. Balss klonēšanas funkcija paver iespējas personalizētai stāstīšanai, jo īpaši vēsturiskās izstādēs, kur tādām personām kā Andy Warhol vai Salvador Dalí varētu klonēt savas balsis, lai stāstītu savus stāstus, piedāvājot dziļāku saikni ar saturu.
Balss klonēšana ļauj atjaunot pazaudētus vai nepilnīgus vēsturiskos ierakstus, atdzīvinot sen aizgājušas balsis, lai skatītāji varētu piedzīvot. Muzeja kuratori, satura veidotāji un citi var arī gūt labumu no šīs iespējas, izmantojot savas balsis stāstījumiem, nodrošinot konsekventu un personisku pieskārienu audio gidiem, izstādēm un cita veida saturam.
Mākslīgā intelekta radītas skaņu ainavas iegremdējošiem stāstiem
Lai radītu pilnībā iegremdējošu pieredzi, SHIFT ir pārbaudījis integrēšanu AudioGen - AI rīku, kas rada reālistiskas skaņas ainavas no teksta aprakstiem. Šī funkcija ļauj izstādēm pievienot vides vai apkārtējās vides fona skaņas, bagātinot tās ar pielāgotām skaņu ainavām, kas atbilst konkrētajam laika periodam vai iestatījumam, kas aprakstīts izstādē. Senos tirgus, kaujas laukus vai svētās telpas var atdzīvināt ar autentiskām, laikmetam atbilstošām fona skaņām, pievienojot stāstījumam sensoro slāni, kas padziļina apmeklētāju saikni ar vēsturi. Rīks darbojas vairākās valodās, nodrošinot tā pieejamību starptautiskajai auditorijai un veicinot starpkultūru iesaisti. Skatieties to darbībā ar šī gabala galveno attēlu zemāk!
Šī funkcija var izrādīties ļoti efektīva arī virtuālās realitātes (VR) un paplašinātās realitātes (AR) muzeju ekskursijās, kur iegremdējošs audio var ievērojami uzlabot klātbūtnes sajūtu un reālismu. Skaņas ainavas var arī uzlabot pieejamību apmeklētājiem ar redzes traucējumiem, piedāvājot detalizētus vēsturisko iestatījumu un notikumu audio aprakstus.
Kāpēc šie rīki ir svarīgi kultūras mantojuma speciālistiem
Tiek sagaidīts, ka muzeji un kultūras iestādes arvien vairāk iesaistīs globālu, daudzvalodu un daudzveidīgu auditoriju. Tomēr, lai radītu iegremdējošu saturu, ir vajadzīgs laiks, resursi un zināšanas, kas daudzām iestādēm trūkst.
SHIFT audio rīkkopa atbalsta pieejamību, nodrošinot aizraujošus audio aprakstus apmeklētājiem ar redzes traucējumiem un daudzvalodu stāstījumu dažādām auditorijām, nodrošinot, ka ikviens var iesaistīties saturā. Tas arī uzlabo iesaisti, izmantojot MI virzītu emocionālu runu un skaņas ainavas, lai iegremdētu auditoriju vēsturē un kultūrā, radot aizraujošu pieredzi.
Uzzināt vairāk
Visi SHIFT Audio Toolkit rīki būs pieejami zem viena jumta uz SHIFT platformas, kas pašlaik tiek izstrādāta. Šī platforma piedāvās vieglu piekļuvi visiem SHIFT rīkiem, tostarp teksta-runas sistēmai, video dublēšanai, skaņu ainavas radīšanai un daudz kam citam.
Lai saņemtu jaunāko informāciju par jaunākajiem notikumiem, jaunajām funkcijām un SHIFT platformas oficiālo palaišanu, lūdzu, apmeklējiet SHIFT tīmekļa vietni un pierakstieties SHIFT informatīvajā biļetenā, lai saņemtu savlaicīgus atjauninājumus, padomus un paziņojumus tieši savā iesūtnē.
Šo amatu rakstīja Dionyssos Kounadis-Bastian, vecākais MI pētnieks, audEERING GmbH un Maria Kagkelidou, Mantojuma pārvaldības organizācijas komunikācijas vadītāja.