AI創作大時代：KTV 影片字幕效果怎麼做？(新的作法)

近期在 AI 相關研習中，我都會特別介紹以下這兩個使用 AI 聰明去除人聲、分離音樂的免費線上服務應用，很適合拿來做這篇文章中要介紹的 KTV 音樂影片。



加上有同學問到 KTV 影片的字幕效果該如何製作，在前一篇「AI創作大時代：KTV 影片字幕效果怎麼做？(舊的作法)」中，採用的是參考之前 PAPAYA 教學影片：「被字幕組認證的字幕神器 AegiSub / 雙語字幕 + 卡拉 OK + 動態特效全攻略」中有提到用 Aegisub 軟體方式進行 KTV 字幕動畫的做法，但是這樣的方式比較複雜，優點是對於追求更高品質的 KTV 字幕效果，它有比較多的樣式控制，缺點則是需要比較多的設定細節。


因此，這篇文章將配合 AI 處理人聲、語音辨識，並透過 Subtitle Edit 軟體來製作 KTV 影片字幕效果，來完成這次的任務！

以下我們以這一個經典兒歌「稻草裡的火雞」影片做為這次的練習，您可以自行將此影片下載。



一、使用 WhisperDesktop 或是剪映取得歌曲影片的歌詞字幕檔

WhisperDesktop 與剪映都具有語音轉文字的功能，我們可以利用它快取得取影片中的歌詞字幕檔，實測後發現 WhisperDesktop 對於用唱的不是用講話的方式，辨識度上真的差蠻多的，而且還出現不少簡體字！

目前推斷可能因為是童歌的關係，導致 WhisperDesktop  成效不好，但之前有試過其他國語歌曲，準確度就很高。



改用「autotranslate」在 Google Colab 上執行，或是使用剪映獨有的「識別歌詞」功能，就能得到準確度很高的歌詞字幕了！

不過，不論是 autotranslate 或是 WhisperDesktop 所取得的字幕中，都還是會有不少的簡體字，需要再一些修正！











使用記事本開啟一個空白的文字檔，將「autotranslate」在 Google Colab 上的字幕如下圖複製後，貼到新的文字檔中，並修正歌詞的部份不正確內容，並轉換為繁體中文後，就可以準備進行下一個階段了！





※ 一般來說歌詞通常不會太長，也可以考慮自行上網找到該首歌曲的歌詞後，再自行透過後續的字幕編輯步驟，自行在相對應的位置加入，相對來說會比較花時間。


二、使用 MyEdit 去除人聲的伴奏 mp3

使用前需要先將影片的聲音取出，可以使用以下的線上音頻轉換器將 MP4 轉換為 MP3

※ Moises https://moises.ai/ 支援 mp4 影片上傳直接擷取音軌，不需要先轉換為 mp3



接下來就可以使用 MyEdit 去人聲的服務，變成伴奏音樂。



三、將自製新的影片與僅有伴奏的音樂檔案合併成新的卡拉OK音樂影片

利用 Vrew 或是剪映等軟體，將新的影片與僅有伴奏的音樂檔案合併成新的卡拉OK音樂影片。

以下這段影片是利用 Vrew 的「透過文字製作影片」功能所自動產生的影片，再透過「插入 / 背景音樂」加入伴奏音樂。



影片比音樂時間長度短時，可以透過影片片段的複製，來增加影片的長度，再去替換適合的圖片與影片，以符合原本音樂的時間。






四、使用 Subtitle Edit 製作 KTV 影片字幕效果

Subtitle Edit 是免費開源的字幕編輯軟體，可以從官方下載安裝版，也可以從阿榮福利味下載免安裝中文版。




1.開啟字幕檔與視訊檔案

使用 Subtitle Edit 開啟字幕檔案與視訊檔，這樣就可以先比對一下字幕與影片的位置是否正確。






從「選項 / 設定 / 視訊播放器」可以調整視訊顯示預覽時的字型大小，此設定僅影響字幕的預覽，影片真正輸出時，還會有另外的字幕文字大小設定。










2.製作卡拉OK字幕效果














3.匯出卡拉OK效果影片


















以下是新的卡拉OK版「稻草裏的火雞」影片：




※ 教學資料總整理：


※ Youtube 直播與研習記錄：



※ 延伸閱讀：


留言

張貼留言