新浪科技訊 11月27日下午消息，巨人巨人網(wǎng)絡AI Lab與清華大學SATLab、網(wǎng)絡西北工業(yè)大學聯(lián)合推出三項音視頻領域的布多多模態(tài)生成技術成果，相關研究成果將陸續(xù)在GitHub、模態(tài)HuggingFace等平臺開源。生成術

　　本次發(fā)布的新成三項研究成果——音樂驅動的視頻生成模型YingVideo-MV、零樣本歌聲轉換模型YingMusic-SVC與歌聲合成模型YingMusic-Singer，果相關技展現(xiàn)了團隊在音視頻多模態(tài)生成技術上的開源最新成果。

　　據(jù)悉，巨人YingVideo-MV模型實現(xiàn)“一段音樂加一張人物圖像”即可生成一個音樂視頻片段。網(wǎng)絡該模型能夠對音樂進行節(jié)奏、布多情緒與內(nèi)容結構的模態(tài)多模態(tài)分析，從而使鏡頭運動與音樂的生成術高度同步，具備推、新成拉、果相關技搖、移等鏡頭語言，并通過長時序一致性機制，有效緩解了長視頻中常見的人物“畸變”與“跳幀”現(xiàn)象。

　　在音頻領域，YingMusic-SVC主打“真實歌曲可用”的零樣本歌聲轉換能力。它通過針對真實音樂場景的全面優(yōu)化，有效抑制了伴奏、和聲與混響對歌聲轉換的干擾，顯著降低了破音與高音失真的風險，為高質(zhì)量的音樂再創(chuàng)作提供了穩(wěn)定的技術支撐。

　　而YingMusic-Singer歌聲合成模型則支持在給定旋律下輸入任意歌詞，即可生成發(fā)音清晰、旋律穩(wěn)定的自然歌聲。該模型的主要特點在于能夠靈活適應不同長度的歌詞，并支持零樣本音色克隆，提升了AI演唱在創(chuàng)作過程中的靈活度與實用性，降低音樂創(chuàng)作的門檻。