SHIFT huwa proġett iffinanzjat mill-programm Orizzont Ewropa tal-UE biex jiġu żviluppati settijiet ta’ għodod speċjalizzati mfassla għal aspetti differenti tal-involviment tal-wirt kulturali. L-ewwel wieħed li għandu jiġi żvelat huwa s-SHIFT Audio Toolkit, li huwa pijunier tas-sinteżi tal-vuċi mħaddma bl-IA, diskors immexxi mill-emozzjoni, aċċessibbiltà multilingwi u ħsejjes immersivi.
Maħluq mill-konsorzju SHIFT b’audEERING li jieħu t-tmexxija, dan is-Sett ta’ Għodod se jisfrutta s-setgħa tat-test għad-diskors (TTS), ir-rikonoxximent tal-emozzjonijiet, id-doppjaġġ tal-vidjo u l-ġenerazzjoni tal-ħsejjes biex jinħolqu esperjenzi immersivi li jġibu l-wirt għall-ħajja.
SHIFT TTS: sistema affettiva u multilingwi ta' test għal diskors
SHIFT TTS hija sistema ta 'test għal diskors (teknoloġija li tista' taqra b'leħen għoli kwalunkwe test miktub) li tiġġenera diskors ta 'kwalità għolja u emozzjonalment espressiv f'diversi lingwi. B’differenza mill-għodod tradizzjonali tat-TTS, li jdoqqu r-robotika, SHIFT TTS tinkorpora sinteżi affettiva tad-diskors — jiġifieri tista’ tesprimi emozzjonijiet bħal eċċitament, kalma jew solennità abbażi tal-kontenut li tirrakkonta.
L-għodda SHIFT TTS tappoġġja diversi lingwi, inklużi l-Albaniż, l-Ungeriż, ir-Rumen, is-Serb, il-Ġermaniż, il-Grieg u l-Ingliż, b'aktar minn 200 vuċi Ingliża affettiva b'aċċenti nattivi u mhux nattivi. Is-sett ta’ għodod jaħdem b’sottotitoli jew b’input ta’ test sempliċi, u joffri personalizzazzjoni tal-vuċi, li tippermetti lill-utenti jikklonaw vuċijiet għal narrazzjoni unika u personalizzata, jew jagħżlu mill-200 vuċi li l-għodda tagħmel disponibbli. Ara l-għodda li qed tintuża.
L-għodda TTS tista’ ttejjeb l-aċċessibbiltà u l-involviment tal-kontenut tal-wirt kulturali, pereżempju, billi żżid narrazzjonijiet multilingwi u emozzjonalment rikki biex il-wirjiet isiru aktar attraenti għal udjenzi differenti. Barra minn hekk, l-għodda tipprovdi riżorsa għal viżitaturi neqsin mid-dawl billi toffri kontenut aċċessibbli fil-forma ta’ deskrizzjonijiet awdjo dettaljati. Jista 'jittrasforma dokumenti storiċi f'esperjenzi ta' rakkontar ta 'stejjer awdjo, u jippermetti lill-utenti esperjenza storika immersiva.
Id-doppjaġġ tal-vidjo jew in-narrazzjoni bejn l-immaġni u d-diskors
Il-mużewijiet u l-istituzzjonijiet kulturali spiss jiddependu fuq filmati biex jedukaw u jinvolvu lill-viżitaturi. Madankollu, il-ħolqien ta’ verżjonijiet multilingwi jew in-narrazzjoni ta’ immaġnijiet silenzjużi jistgħu jkunu ta’ sfida. Is-sistema SHIFT TTS toffri funzjonalità bla xkiel għad-doppjaġġ tal-vidjow u l-ġenerazzjoni ta 'vidjows narrati minn stampi.
Waħda mill-karatteristiċi ewlenin tal-faċilità tad-doppjaġġ tal-vidjo tippermetti lill-utenti jissostitwixxu l-vuċi oriġinali f'vidjo b'diskors iġġenerat mill-IA (anke billi jiklonaw il-vuċi ta 'figuri storiċi) filwaqt li jippreservaw bir-reqqa t-ton emozzjonali tal-kontenut. Is-sistema teċċella wkoll fil-vokalizzazzjoni tal-immaġni silenzjuża, billi tikkonverti immaġnijiet fissi permezz ta’ deskrizzjonijiet tat-test għal vidjos narrati, u b’hekk tagħmel il-kontenut viżiv aktar aċċessibbli u attraenti għal udjenzi differenti. Ara eżempju.
Il-karatteristiċi tad-doppjaġġ tal-vidjo u tan-narrazzjoni bejn l-immaġni u d-diskors jippermettu lill-mużewijiet joħolqu verżjonijiet multilingwi tal-kontenut tal-vidjo tagħhom, filwaqt li jwessgħu l-aċċessibbiltà għall-udjenzi internazzjonali. Dawn l-għodod jistgħu jintużaw biex tiżdied in-narrazzjoni ma 'xogħlijiet tal-arti u artifatti storiċi f'wirjiet diġitali, li jipprovdu stejjer aktar sinjuri u aktar interessanti li jtejbu l-esperjenza tal-viżitatur. Bl-integrazzjoni ta’ voiceovers iġġenerati mill-IA, l-għodda SHIFT TTS tista’ tagħmel l-esperjenzi tal-mużewijiet online aktar interattivi u aċċessibbli, b’mod partikolari għal dawk li jista’ jkollhom indebolimenti fil-vista jew jippreferu kontenut ibbażat fuq l-awdjo.
Klonazzjoni tal-vuċi għal narrazzjoni personalizzata
Waħda mill-aktar karatteristiċi innovattivi ta’ SHIFT TTS hija l-kapaċità tagħha ta’ klonazzjoni tal-vuċi, li tippermetti lill-utenti jirreplikaw il-vuċi ta’ kelliem għan-narrazzjoni. Din il-karatteristika hija partikolarment utli għall-preservazzjoni tal-ilħna ta 'figuri storiċi jew narraturi, li joffru mod uniku u awtentiku biex iġibu l-istorja għall-ħajja.
L-utenti jistgħu jtellgħu kampjun awdjo qasir, u SHIFT TTS tiġġenera diskors li jimita l-vuċi tal-persuna. Dan jiżgura li l-vuċi klonata żżomm emozzjonijiet awtentiċi u karatteristiċi tad-diskors, u toħloq esperjenza aktar realistika u interessanti. Il-karatteristika tal-ikklonjar tal-vuċi tiftaħ possibbiltajiet għal rakkontar personalizzat tal-istejjer, b’mod partikolari għal wirjiet storiċi, fejn figuri bħal Andy Warhol jew Salvador Dalí jista’ jkollhom l-ilħna tagħhom ikklonati biex jirrakkontaw l-istejjer tagħhom stess, u joffru konnessjoni aktar profonda mal-kontenut.
L-ikklonjar tal-vuċi jippermetti r-rikreazzjoni ta 'reġistrazzjonijiet storiċi mitlufa jew mhux kompluti, li jġibu vuċijiet li ilhom jeżistu lura għall-ħajja għall-udjenzi biex jesperjenzaw. Il-kuraturi tal-mużewijiet, il-kreaturi tal-kontenut u oħrajn jistgħu jibbenefikaw ukoll minn din il-karatteristika billi jużaw l-ilħna tagħhom stess għan-narrazzjonijiet, filwaqt li jiżguraw kuntatt konsistenti u personali mal-gwidi tal-awdjo, il-wirjiet u tipi oħra ta’ kontenut.
Skandli tal-ħsejjes ġenerati bl-AI għar-rakkontar tal-istejjer immersivi
Biex toħloq esperjenzi kompletament immersivi, SHIFT ittestjat l-integrazzjoni tal-AudioGen, għodda tal-IA li tiġġenera ħsejjes realistiċi mid-deskrizzjonijiet tat-test. Din il-karatteristika tippermetti ż-żieda ta’ ħsejjes ta’ sfond ambjentali jew ambjentali mal-wirjiet, u tarrikkixxihom b’ħsejjes personalizzati li jaqblu mal-perjodu ta’ żmien speċifiku jew mal-issettjar deskritt fl-esibizzjoni. Swieq antiki, kampijiet tal-battalja, jew spazji sagri jistgħu jinġiebu għall-ħajja b'ħsejjes ta 'sfond awtentiċi u adattati għall-era, u jżidu saff sensorjali mar-rakkontar tal-istejjer li japprofondixxi l-konnessjoni tal-viżitaturi mal-istorja. L-għodda taħdem b’diversi lingwi, filwaqt li tiżgura l-aċċessibbiltà tagħha għal udjenzi internazzjonali u ttejjeb l-involviment transkulturali. Araha fl-azzjoni bl-immaġni taċ-ċomb ta’ din il-biċċa hawn taħt!
Din il-karatteristika tista 'wkoll tkun effettiva ħafna fir-realtà virtwali (VR) u t-tours tal-mużew tar-realtà miżjuda (AR), fejn l-awdjo immersiv jista' jtejjeb b'mod sinifikanti s-sens ta 'preżenza u realiżmu. Il-ħsejjes jistgħu jtejbu wkoll l-aċċessibbiltà għal viżitaturi neqsin mid-dawl, u joffru deskrizzjonijiet awdjo dettaljati tal-konfigurazzjonijiet u l-avvenimenti storiċi.
Għaliex dawn l-għodod huma importanti għall-professjonisti tal-wirt kulturali
Il-mużewijiet u l-istituzzjonijiet kulturali huma dejjem aktar mistennija li jinvolvu udjenzi globali, multilingwi u diversi. Madankollu, il-ħolqien ta’ kontenut immersiv jeħtieġ ħin, riżorsi u għarfien espert li ħafna istituzzjonijiet ma għandhomx.
Is-sett ta’ għodod awdjo SHIFT jappoġġa l-aċċessibbiltà billi jipprovdi deskrizzjonijiet awdjo captivating għal viżitaturi neqsin mid-dawl u narrazzjoni multilingwi għal firxa varjata ta’ udjenzi, filwaqt li jiżgura li kulħadd ikun jista’ jinvolvi ruħu fil-kontenut. Itejjeb ukoll l-involviment billi juża diskors u ħsejjes affettivi xprunati mill-IA biex igħaddas lill-udjenzi fl-istorja u l-kultura, u joħloq esperjenza captivating.
Skopri aktar
L-għodod kollha fis-SHIFT Audio Toolkit se jkunu disponibbli taħt saqaf wieħed fuq il-pjattaforma SHIFT, li bħalissa qed tiġi żviluppata. Din il-pjattaforma se toffri aċċess faċli għall-għodod SHIFT kollha, inkluża s-sistema Text-to-Speech, id-doppjaġġ tal-vidjow, il-ġenerazzjoni tal-ħsejjes, u aktar.
Biex tibqa 'aġġornat dwar l-aħħar żviluppi, karatteristiċi ġodda, u t-tnedija uffiċjali tal-pjattaforma SHIFT, jekk jogħġbok żur il-websajt SHIFT u irreġistra għan-newsletter SHIFT biex tirċievi aġġornamenti, pariri u avviżi f'waqthom direttament fl-inbox tiegħek.
Din il-kariga nkitbet minn Dionyssos Kounadis-Bastian, Riċerkatriċi Anzjana tal-IA, audEERING GmbH u Maria Kagkelidou, Maniġer tal-Komunikazzjonijiet, The Heritage Management Organization.