2023年7月12日下午7點(diǎn)12分,在B站20多萬觀眾粉絲的見證和祝福下,這位來自嗶哩嗶哩的世界首位中文虛擬歌手洛天依迎來了自己十一周年的生日會。除了一如既往溫暖治愈的歌聲外,此次洛天依與觀眾互動交流時音色活潑的流暢語音也受到粉絲們的特別關(guān)注。

自洛天依出道至今,她的說話交流均是通過歌聲合成引擎語調(diào)或是真人配音來完成制作。而生日會直播里高度流暢的語音,也被觀眾們普遍認(rèn)為是高水平的AI語調(diào)校。其實(shí)大家有所不知的是,今年生日會洛天依的說話發(fā)聲是由全新的方式——人工智能語音技術(shù)創(chuàng)造而成。接下來,一起探秘天依背后的“幕后團(tuán)隊”是如何幫助虛擬歌手進(jìn)化出更自然的說話能力!

作為首位中文虛擬歌手,洛天依獨(dú)特的治愈歌聲音色受到了粉絲和大眾的廣泛喜愛。今年,Vsinger和嗶哩嗶哩鳴實(shí)驗(yàn)室聯(lián)手為洛天依定制打造AI語音聲庫。與業(yè)界標(biāo)準(zhǔn)化AI語音不同的是,天依AI語音不僅在音色上高度還原了她標(biāo)志性的歌聲音色,也在合成效果上平衡了電子機(jī)械感和擬人自然感。這樣極具突破挑戰(zhàn)的設(shè)計,幫助天依延續(xù)了她獨(dú)樹一幟的音色,也讓她的AI發(fā)聲效果更吻合虛擬歌手的設(shè)定。

嗶哩嗶哩鳴實(shí)驗(yàn)室的方案與通用AI聲庫制作流程不同的是,洛天依的聲音本身也是由技術(shù)生成的,而非人類自然產(chǎn)生的聲音,所以不能像大多數(shù)聲音定制的方案一樣,簡簡單單通過數(shù)據(jù)采集來定制聲線。

想要得到洛天依說話音頻,可以利用洛天依歌聲聲庫,使用Vocaloid等音頻合成軟件,按照真人說話的韻律規(guī)則,手動調(diào)出洛天依說話音頻,俗稱語調(diào)。這個方法雖然能還原音色,但是會有很多局限性。這個方案需要調(diào)教師有較高水平的語調(diào)校的經(jīng)驗(yàn),即使這樣也通常很難調(diào)教出自然流利的語音內(nèi)容,而且也很難量產(chǎn)。

為了保持說話音色和唱歌音色的高度一致,并使說話顯得自然流暢,采取了一系列優(yōu)化。首先,在對洛天依歌聲聲庫進(jìn)行深入研究和分析的基礎(chǔ)上,定制了一版專門的AI語音模型。該方案在保證內(nèi)容完整性和音頻自然度的同時,能更好地解耦音色、音高和語義等信息。通過將這些要素分開,能更好地捕捉到洛天依獨(dú)特的音色特征,從而高度還原了洛天依的音色。

在模型訓(xùn)練過程中,嗶哩嗶哩鳴實(shí)驗(yàn)室以洛天依歌聲聲庫作為主要的數(shù)據(jù)源,為了增加模型的泛化能力和適應(yīng)性,通過使用多個音色的說話、唱歌數(shù)據(jù),讓模型學(xué)習(xí)到不同發(fā)音人之間學(xué)習(xí)到音色、語義、唱腔等差異和關(guān)聯(lián),從而提高模型對于說話和唱歌聲音的理解和轉(zhuǎn)換能力。使得在保留洛天依唱歌聲線的前提下,可以流利自如的進(jìn)行語言表達(dá)。

在基礎(chǔ)特征上使用了嗶哩嗶哩自研語音識別大模型來提供語義信息,同時也加入了諸如呼吸音的非語義信息來豐富效果。在保證說話與唱歌音色保持高度一致的前提下,也實(shí)現(xiàn)了能靈活按需調(diào)整語調(diào)、語速、語氣等效果,從而使得聲音更加自然生動。此外,為了輸出更高質(zhì)量的洛天依語音,也引入兩類不同的判別器,進(jìn)一步提高了合成音頻與目標(biāo)音頻音色的相似度以及合成音頻的音質(zhì)。

同樣,在2023年舉辦的BML和BW洛天依線下展演中,也使用了AI語音聲庫。除了洛天依,另一位Vsinger虛擬歌手言和也因嗶哩嗶哩鳴實(shí)驗(yàn)室的技術(shù)支持,而首次在今年十周年生日會直播上通過AI語音發(fā)聲交流,相信未來會有更多內(nèi)容與大家互動。

以洛天依AI語音為契機(jī),看到了人工智能語音技術(shù)為虛擬歌手賦予真實(shí)的發(fā)聲能力。在未來,或許能見證AI語音為創(chuàng)作開啟更多無限可能,為觀眾帶來更多聽覺震撼,更多的感動與共鳴!