SHIFT on ELi programmist „Euroopa horisont“ rahastatav projekt, mille eesmärk on töötada välja spetsiaalsed töövahendid, mis on kohandatud kultuuripärandi kaasamise eri aspektidele. Esimene, mis avalikustatakse, on SHIFT Audio Toolkit, mis on tehisintellektil põhineva häälesünteesi, emotsioonidest ajendatud kõne, mitmekeelse juurdepääsetavuse ja kaasahaaravate helimaastike teerajaja.
SHIFTi konsortsiumi loodud tööriistakomplekt, mille juhtroll on audEERING, kasutab teksti kõneks muutmise (TTS), emotsioonide äratundmise, video dubleerimise ja helimaastiku genereerimise jõudu, et luua kaasahaaravaid kogemusi, mis toovad pärandi ellu.
SHIFT TTS: afektiivne mitmekeelne teksti kõneks muutmise süsteem
SHIFT TTS on teksti kõneks muutmise süsteem (tehnoloogia, mis suudab lugeda valjusti mis tahes kirjalikku teksti), mis tekitab kvaliteetset, emotsionaalselt väljendusrikast kõnet mitmes keeles. Erinevalt traditsioonilistest TTS-vahenditest, mis on helirobotid, sisaldab SHIFT TTS afektiivset kõnesünteesi, mis tähendab, et see võib väljendada emotsioone, nagu põnevus, rahulikkus või pühalikkus, mis põhineb sisul, mida ta jutustab.
Tööriist SHIFT TTS toetab mitut keelt, sealhulgas albaania, ungari, rumeenia, serbia, saksa, kreeka ja inglise keelt, millel on üle 200 afektiivse inglise keele hääle emakeele ja mitte-emakeele aktsendiga. Tööriistakomplekt töötab subtiitrite või lihtsa tekstisisendiga ning pakub hääle isikupärastamist, võimaldades kasutajatel kloonida hääli ainulaadseks ja kohandatud jutustamiseks või valida 200 hääle hulgast, mille tööriist kättesaadavaks teeb. Jälgige kasutatavat tööriista.
TTS-vahend võib parandada kultuuripärandi sisu kättesaadavust ja kaasatust, näiteks lisades mitmekeelseid ja emotsionaalselt rikkalikke jutustusi, et muuta näitused mitmekesisema publiku jaoks kaasahaaravamaks. Lisaks pakub vahend nägemispuudega külastajatele ressurssi, pakkudes juurdepääsetavat sisu üksikasjalike audiokirjelduste kujul. See võib muuta ajaloolised dokumendid kaasahaaravaks heli jutustamise kogemuseks, võimaldades kasutajatel kaasahaaravat ajaloolist kogemust.
Video dubleerimine või pildi kõneks jutustamine
Muuseumid ja kultuuriasutused kasutavad külastajate harimiseks ja kaasamiseks sageli videoid. Mitmekeelsete versioonide loomine või vaiksete piltide jutustamine võib siiski olla keeruline. SHIFT TTS süsteem pakub sujuvat funktsionaalsust video dubleerimiseks ja jutustatud videote loomiseks piltidest.
Video dubleerimise üks põhifunktsioone võimaldab kasutajatel asendada video originaalhääle tehisintellekti loodud kõnega (isegi kloonides ajalooliste isikute häält), säilitades samal ajal hoolikalt sisu emotsionaalse tooni. Süsteem on silmapaistev ka vaiksete piltide häälestamisel, muutes liikumatud pildid tekstikirjelduste kaudu jutustatud videoteks, muutes visuaalse sisu kättesaadavamaks ja kaasates erinevaid vaatajaskondi. Vt näide.
Video dubleerimise ja kõnesünteesi funktsioon võimaldab muuseumidel luua oma videosisust mitmekeelseid versioone, laiendades juurdepääsu rahvusvahelisele publikule. Neid tööriistu saab kasutada digitaalsete eksponaatide kunstiteostele ja ajaloolistele esemetele jutustuse lisamiseks, pakkudes rikkalikumat ja huvitavamat jutuvestmist, mis suurendab külastaja kogemust. Tehisintellekti loodud häälkäskluste integreerimisega saab SHIFT TTS-vahend muuta veebipõhised muuseumikogemused interaktiivsemaks ja kättesaadavamaks, eelkõige neile, kellel võib olla nägemispuue või kes eelistavad audiopõhist sisu.
Häälkloonimine isikupärastatud jutustuseks
Üks SHIFT TTS-i kõige uuenduslikumaid omadusi on selle häälkloonimise võime, mis võimaldab kasutajatel jäljendada kõneleja häält jutustamiseks. See funktsioon on eriti kasulik ajalooliste tegelaste või jutustajate häälte säilitamiseks, pakkudes ainulaadset ja autentset viisi ajaloo ellu äratamiseks.
Kasutajad saavad üles laadida lühikese helinäidise ja SHIFT TTS genereerib kõne, mis jäljendab inimese häält. See tagab, et kloonitud hääl säilitab autentsed emotsioonid ja kõneomadused, luues realistlikuma ja kaasahaaravama kogemuse. Häälkloonimise funktsioon avab võimalusi isikupärastatud jutuvestmiseks, eelkõige ajalooliste näituste jaoks, kus sellised tegelased nagu Andy Warhol või Salvador Dalí saaksid kloonida oma hääli, et jutustada oma lugusid, pakkudes sisuga sügavamat ühendust.
Häälkloonimine võimaldab taasluua kadunud või mittetäielikke ajaloolisi salvestisi, tuues kaua kadunud hääled tagasi ellu, et vaatajad saaksid kogeda. Muuseumi kuraatorid, sisuloojad ja teised saavad sellest funktsioonist samuti kasu, kasutades oma hääli jutustamiseks, tagades järjepideva ja isikliku kontakti audiogiidide, näituste ja muud liiki sisuga.
Tehisintellekti loodud helimaastikud kaasahaaravaks jutuvestmiseks
Täielikult kaasahaaravate kogemuste loomiseks on SHIFT testinud integreerivat AudioGen'i, AI-tööriista, mis loob tekstikirjeldustest realistlikke helimaastikke. See funktsioon võimaldab lisada näitustele keskkonna- või keskkonnataustaga helisid, rikastades neid kohandatud helimaastikega, mis vastavad näitusel kirjeldatud konkreetsele ajaperioodile või seadistusele. Iidseid turge, lahinguvälju või pühasid ruume saab ellu äratada autentsete, ajastukohaste taustahelidega, lisades jutuvestmisele sensoorse kihi, mis süvendab külastajate seost ajalooga. Vahend töötab mitmes keeles, tagades selle kättesaadavuse rahvusvahelisele publikule ja suurendades kultuuridevahelist kaasatust. Vaata seda tegevust plii pilt see tükk allpool!
See funktsioon võib osutuda väga tõhusaks ka virtuaalreaalsuse (VR) ja liitreaalsuse (AR) muuseumiekskursioonidel, kus kaasahaarav heli võib oluliselt suurendada kohaloleku ja realismi tunnet. Helimaastikud võivad parandada ka nägemispuudega külastajate juurdepääsu, pakkudes üksikasjalikke helikirjeldusi ajalooliste seadete ja sündmuste kohta.
Miks on need vahendid kultuuripärandi spetsialistide jaoks olulised?
Muuseumidelt ja kultuuriasutustelt oodatakse üha enam ülemaailmse, mitmekeelse ja mitmekesise publiku kaasamist. Kuid kaasahaarava sisu loomine nõuab aega, ressursse ja teadmisi, mida paljudel institutsioonidel napib.
SHIFTi audiovahendite komplekt toetab juurdepääsetavust, pakkudes nägemispuudega külastajatele köitvaid audiokirjeldusi ja mitmekeelset jutustust eri sihtrühmadele, tagades, et kõik saavad sisuga tegeleda. Samuti suurendab see kaasatust, kasutades tehisintellektist ajendatud afektiivset kõnet ja helimaastikke, et sukelduda publikusse ajaloos ja kultuuris, luues põneva kogemuse.
Uuri lähemalt
Kõik SHIFT Audio Toolkiti tööriistad on ühe katuse all saadaval praegu väljatöötamisel oleval SHIFT platvormil. See platvorm pakub hõlpsat juurdepääsu kõigile SHIFT-tööriistadele, sealhulgas teksti kõneks muutmise süsteemile, video dubleerimisele, helipildi genereerimisele ja muule.
Et olla kursis viimaste arengute, uute funktsioonide ja SHIFTi platvormi ametliku käivitamisega, külastage SHIFTi veebisaiti ja registreeruge SHIFTi uudiskirja saamiseks, et saada õigeaegseid värskendusi, näpunäiteid ja teadaandeid otse oma postkasti.
Selle postituse kirjutasid Dionyssos Kounadis-Bastian, vanemteadur AI, audEERING GmbH ja Maria Kagkelidou, pärandi haldamise organisatsiooni kommunikatsioonijuht.