換教程)
10分鐘音頻煉出AI聲線RVC-WebUI 語音音色轉(zhuǎn)換教程【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI下稱 RVC-WebUI做的事很直接把你手里 10 分鐘左右的清晰人聲煉成一個能用的語音轉(zhuǎn)換模型再在瀏覽器里把任何一段音頻說成這個人的聲音。底模是用約 50 小時開源 VCTK 數(shù)據(jù)集預(yù)訓(xùn)練好的你不需要從零訓(xùn)練只做微調(diào)訓(xùn)練、推理、人聲分離全部收在一個 Gradio 網(wǎng)頁里不碰代碼也能跑完整個流程。這套框架能做什么10 分鐘低底噪數(shù)據(jù)即可訓(xùn)出可用模型推薦采樣率 40k/48ktop1 檢索替換輸入源特征為訓(xùn)練集特征從機制上杜絕音色泄漏內(nèi)置 InterSpeech 2023 的 RMVPE 音高提取比 crepe_full 更快專治啞音實時變聲端到端延遲 170ms配合 ASIO 輸入輸出可壓到 90ms集成 UVR5 做伴奏/人聲分離AMD/Intel 顯卡在 Windows 可走 DirectMLLinux 走 CPU能力說完了下面把環(huán)境搭起來。裝依賴與啟動最短路徑環(huán)境要求一句話Python 3.12 x64Ubuntu 24.04 x86_64 或 Windows 桌面環(huán)境NVIDIA 顯卡顯存 ≥4GB 體驗最佳configs/config.py 里寫死了這個下限低于它會自動退回 CPU。第一步克隆倉庫git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI第二步建虛擬環(huán)境按硬件裝依賴python3.12 -m venv .venv source .venv/bin/activate # CPU / AMD / IntelAMD 在 Windows 上可用 DirectML pip install -r requirments_cpu_py312.txtNVIDIA 用戶分兩種情況RTX 50 系先裝 CUDA 12.8 的 Torch 再裝requirments_cu128_py312.txtRTX 50 系以前的卡先裝 CUDA 11.8 的 Torch 再裝requirments_cu118_py312.txt。裝完可以驗證一下python -c import torch; print(torch.__version__, torch.cuda.is_available())第三步下載預(yù)訓(xùn)練模型到assets/用 Hugging Face 的hf download把lj1995/VoiceConversionWebUI倉庫里的hubert_base/、rmvpe/rmvpe.pt、pretrained/、pretrained_v2/拉到assets/下只有要用 UVR5 分離人聲才需要額外下uvr5_weights/。Windows 用戶若系統(tǒng)沒有 ffmpeg把ffmpeg.exe、ffprobe.exe放到項目根目錄即可。第四步一條命令啟動python webui.py默認監(jiān)聽 7865 端口瀏覽器自動打開無桌面的服務(wù)器加--noautoopen參數(shù)端口被占時程序會自動順延到下一個可用端口。提示實時變聲是另一個入口python realtime_gui.pyWindows 下雙擊go-realtime_gui.bat它獨立于 WebUI走桌面小窗口參數(shù)可以熱更新、不用重啟。環(huán)境通了接下來走一遍最高頻的主線備數(shù)據(jù)、訓(xùn)練、轉(zhuǎn)換。把 10 分鐘人聲喂給訓(xùn)練器訓(xùn)練頁簽按 step1 到 step3 排好了操作順序照著點即可。step1填實驗配置填一個實驗名logs/下每個實驗一個文件夾配置、日志、ckpt 都放里面選目標采樣率 40k 或 48k再決定模型是否帶音高指導(dǎo)——唱歌場景必須選是純語音可以選否。版本默認 v2對應(yīng)assets/pretrained_v2/f0G40k.pth這一代底模。step2a處理數(shù)據(jù)填入訓(xùn)練文件夾路徑點處理數(shù)據(jù)。train/preprocess.py 會自動遍歷所有能解碼的音頻用能量切片器-42dB 閾值、約 3.7 秒一片、0.3 秒重疊切成短片段并做響度歸一化同時做 48Hz 高通濾掉低頻轟鳴。你只需要保證素材是單一說話人、低底噪、無背景音樂原曲帶伴奏的先丟進伴奏人聲分離去混響去回聲頁簽用 UVR5 提一遍干聲。step2b特征提取音高用 CPU 提取選 rmvpe 算法Hubert 聲學(xué)特征用 GPU 提取多卡可以用-分隔填多個卡號并行。step3開始訓(xùn)練關(guān)鍵參數(shù)就三個默認值基本能用參數(shù)默認值說明save_every_epoch5每 5 個 epoch 存一次 ckpttotal_epoch2010 分鐘小數(shù)據(jù)跑完 20 輪通常就夠每張顯卡的 batch_size按顯存自動估算顯存緊就往下調(diào)提示數(shù)據(jù)在 10 分鐘以內(nèi)的小數(shù)據(jù)勾上緩存所有訓(xùn)練集至顯存能明顯提速數(shù)據(jù)量大就別勾收益小還容易炸顯存。訓(xùn)練結(jié)束后你會拿到三樣?xùn)|西實驗?zāi)夸浝锏拇篌w積訓(xùn)練 ckpt、assets/weights/里的小體積推理模型.pth、以及用 train/train_index.py 基于 faiss 建好的 .index 索引文件。推理時 .pth 和 .index 要配套選。模型到手跑第一句轉(zhuǎn)換。第一次轉(zhuǎn)換先摸透三個參數(shù)模型推理 → 單次推理頁簽里選模型后拖入音頻真正影響聽感的是這三個滑塊變調(diào)整數(shù)半音數(shù)12 升一個八度-12 降一個八度男女互轉(zhuǎn)基本就是 ±12檢索特征占比index_rate默認 0.75控制拿訓(xùn)練集特征替換源特征的比例拉高音色更像目標說話人保護protect默認 0.33保護清輔音和呼吸聲、防止電音撕裂拉滿 0.5 等于關(guān)閉保護音高提取算法選 rmvpe 即可它是默認值也是目前最穩(wěn)的選擇。轉(zhuǎn)完不滿意先看批量推理頁簽填輸入文件夾整批音頻會輸出到opt/目錄適合回頭一次性驗證多個素材。提示同一個輸入路徑連續(xù)推理時程序會緩存已提取的音高反復(fù)調(diào)參對比不用每次等重新提取。想更懂它為什么這樣工作花兩分鐘看看目錄劃分。目錄怎么分核心模塊速覽Retrieval-based-Voice-Conversion-WebUI/ ├── webui.py # WebUI 入口五個頁簽都掛在這 ├── realtime_gui.py # 實時變聲獨立 GUI ├── infer/ # 推理核心 │ ├── vc/pipeline.py # 轉(zhuǎn)換主流程 │ ├── hubert.py # Hubert 特征提取 │ ├── rmvpe.py # RMVPE 音高提取 │ └── rtrvc.py # 實時推理接口 ├── train/ # 切片、特征提取、訓(xùn)練、索引構(gòu)建 ├── tools/ # UVR5 分離、CUDA Graph 等工具 ├── configs/ # v1/v2 網(wǎng)絡(luò)配置文件 └── i18n/ # 12 種語言界面三個設(shè)計點值得知道檢索式替換推理時先在 faiss 索引里找訓(xùn)練集中最相似的特征top1蓋住輸入源特征相當于把目標音色的聲紋指紋壓到源特征上音色泄漏就是這么被掐斷的設(shè)備自適應(yīng)精度configs/config.py 按顯存和 SM 版本自動決定 fp16/fp32 甚至退回 CPUPascal 和 16 系老卡不會被強推半精度模塊化推理鏈路音高RMVPE、聲學(xué)特征Hubert、聲碼器VITS 系各自獨立換算法只需換 infer/ 下對應(yīng)模塊理解了結(jié)構(gòu)看看別人拿它做什么。唱歌、直播、批量轉(zhuǎn)換三個真實用法翻唱與 AI 歌手訓(xùn)練時是否帶音高指導(dǎo)必須選是推理時變調(diào)給 ±12 做男女對調(diào)音高用 rmvpe 提取男低音場景 RMVPE 的識別比老算法穩(wěn)得多。想融合兩個人的音色用ckpt處理頁簽的 ckpt-merge 把兩個 .pth 按比例混合即可不必重訓(xùn)。直播與虛擬形象跑realtime_gui.py輸入輸出設(shè)備選同一種類型比如都用 MME追求更低延遲就切 ASIO端到端 90ms 量級。界面里顯示的算法延遲/推理時間會實時更新方便你按硬件調(diào) block_time 和 crossfade。批量與進階調(diào)參輸出有電音撕裂把 protect 往 0.5 方向調(diào)低音色不夠像把 index_rate 提到 0.8 以上并確認 .index 選對了。顯存富余的話batch_size 按顯存 GB 數(shù)除以 2往上加是 webui.py 里用的估算邏輯訓(xùn)練提速明顯。踩坑速查表現(xiàn)象大概率原因一句話解法啟動報依賴缺失或 cuda.is_available() 為 FalseTorch 的 CUDA 版本與驅(qū)動不匹配按顯卡重選 cu118/cu128 依賴重裝訓(xùn)練中途顯存 OOMbatch_size 過大或勾了顯存緩存調(diào)小 batch_size大數(shù)據(jù)關(guān)掉緩存至顯存轉(zhuǎn)換出來還像原說話人索引沒選或 index_rate 過低確認 .pth 與 .index 配套占比拉到 0.75 以上輔音處電音、撕裂保護參數(shù)沒生效protect 調(diào)到 0.4~0.5 之間注意 0.5 是關(guān)閉實時變聲爆音或延遲忽大忽小輸入輸出設(shè)備 hostapi 類型不一致兩側(cè)選同類型如都 MME進階切 ASIO從 10 分鐘素材到可聽感不錯的模型RVC-WebUI 把這條鏈路壓到了裝依賴、下模型、點按鈕的長度。建議下一步先拿 v2 底模跑一遍默認參數(shù)驗證流程再回頭調(diào) index_rate 和 protect 這兩個最敏感的旋鈕——它們決定了你離目標音色還差多少。更多歷史細節(jié)可以翻 docs/cn/Changelog_CN.md。【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 10分鐘音頻煉出AI聲線：RVC-WebUI 語音音色轉(zhuǎn)換教程
10分鐘音頻煉出AI聲線RVC-WebUI 語音音色轉(zhuǎn)換教程【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUIRetrieval-based-Voice-Conversion-WebUI下稱 RVC-WebUI做的事很直接把你手里 10 分鐘左右的清晰人聲煉成一個能用的語音轉(zhuǎn)換模型再在瀏覽器里把任何一段音頻說成這個人的聲音。底模是用約 50 小時開源 VCTK 數(shù)據(jù)集預(yù)訓(xùn)練好的你不需要從零訓(xùn)練只做微調(diào)訓(xùn)練、推理、人聲分離全部收在一個 Gradio 網(wǎng)頁里不碰代碼也能跑完整個流程。這套框架能做什么10 分鐘低底噪數(shù)據(jù)即可訓(xùn)出可用模型推薦采樣率 40k/48ktop1 檢索替換輸入源特征為訓(xùn)練集特征從機制上杜絕音色泄漏內(nèi)置 InterSpeech 2023 的 RMVPE 音高提取比 crepe_full 更快專治啞音實時變聲端到端延遲 170ms配合 ASIO 輸入輸出可壓到 90ms集成 UVR5 做伴奏/人聲分離AMD/Intel 顯卡在 Windows 可走 DirectMLLinux 走 CPU能力說完了下面把環(huán)境搭起來。裝依賴與啟動最短路徑環(huán)境要求一句話Python 3.12 x64Ubuntu 24.04 x86_64 或 Windows 桌面環(huán)境NVIDIA 顯卡顯存 ≥4GB 體驗最佳configs/config.py 里寫死了這個下限低于它會自動退回 CPU。第一步克隆倉庫git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI第二步建虛擬環(huán)境按硬件裝依賴python3.12 -m venv .venv source .venv/bin/activate # CPU / AMD / IntelAMD 在 Windows 上可用 DirectML pip install -r requirments_cpu_py312.txtNVIDIA 用戶分兩種情況RTX 50 系先裝 CUDA 12.8 的 Torch 再裝requirments_cu128_py312.txtRTX 50 系以前的卡先裝 CUDA 11.8 的 Torch 再裝requirments_cu118_py312.txt。裝完可以驗證一下python -c import torch; print(torch.__version__, torch.cuda.is_available())第三步下載預(yù)訓(xùn)練模型到assets/用 Hugging Face 的hf download把lj1995/VoiceConversionWebUI倉庫里的hubert_base/、rmvpe/rmvpe.pt、pretrained/、pretrained_v2/拉到assets/下只有要用 UVR5 分離人聲才需要額外下uvr5_weights/。Windows 用戶若系統(tǒng)沒有 ffmpeg把ffmpeg.exe、ffprobe.exe放到項目根目錄即可。第四步一條命令啟動python webui.py默認監(jiān)聽 7865 端口瀏覽器自動打開無桌面的服務(wù)器加--noautoopen參數(shù)端口被占時程序會自動順延到下一個可用端口。提示實時變聲是另一個入口python realtime_gui.pyWindows 下雙擊go-realtime_gui.bat它獨立于 WebUI走桌面小窗口參數(shù)可以熱更新、不用重啟。環(huán)境通了接下來走一遍最高頻的主線備數(shù)據(jù)、訓(xùn)練、轉(zhuǎn)換。把 10 分鐘人聲喂給訓(xùn)練器訓(xùn)練頁簽按 step1 到 step3 排好了操作順序照著點即可。step1填實驗配置填一個實驗名logs/下每個實驗一個文件夾配置、日志、ckpt 都放里面選目標采樣率 40k 或 48k再決定模型是否帶音高指導(dǎo)——唱歌場景必須選是純語音可以選否。版本默認 v2對應(yīng)assets/pretrained_v2/f0G40k.pth這一代底模。step2a處理數(shù)據(jù)填入訓(xùn)練文件夾路徑點處理數(shù)據(jù)。train/preprocess.py 會自動遍歷所有能解碼的音頻用能量切片器-42dB 閾值、約 3.7 秒一片、0.3 秒重疊切成短片段并做響度歸一化同時做 48Hz 高通濾掉低頻轟鳴。你只需要保證素材是單一說話人、低底噪、無背景音樂原曲帶伴奏的先丟進伴奏人聲分離去混響去回聲頁簽用 UVR5 提一遍干聲。step2b特征提取音高用 CPU 提取選 rmvpe 算法Hubert 聲學(xué)特征用 GPU 提取多卡可以用-分隔填多個卡號并行。step3開始訓(xùn)練關(guān)鍵參數(shù)就三個默認值基本能用參數(shù)默認值說明save_every_epoch5每 5 個 epoch 存一次 ckpttotal_epoch2010 分鐘小數(shù)據(jù)跑完 20 輪通常就夠每張顯卡的 batch_size按顯存自動估算顯存緊就往下調(diào)提示數(shù)據(jù)在 10 分鐘以內(nèi)的小數(shù)據(jù)勾上緩存所有訓(xùn)練集至顯存能明顯提速數(shù)據(jù)量大就別勾收益小還容易炸顯存。訓(xùn)練結(jié)束后你會拿到三樣?xùn)|西實驗?zāi)夸浝锏拇篌w積訓(xùn)練 ckpt、assets/weights/里的小體積推理模型.pth、以及用 train/train_index.py 基于 faiss 建好的 .index 索引文件。推理時 .pth 和 .index 要配套選。模型到手跑第一句轉(zhuǎn)換。第一次轉(zhuǎn)換先摸透三個參數(shù)模型推理 → 單次推理頁簽里選模型后拖入音頻真正影響聽感的是這三個滑塊變調(diào)整數(shù)半音數(shù)12 升一個八度-12 降一個八度男女互轉(zhuǎn)基本就是 ±12檢索特征占比index_rate默認 0.75控制拿訓(xùn)練集特征替換源特征的比例拉高音色更像目標說話人保護protect默認 0.33保護清輔音和呼吸聲、防止電音撕裂拉滿 0.5 等于關(guān)閉保護音高提取算法選 rmvpe 即可它是默認值也是目前最穩(wěn)的選擇。轉(zhuǎn)完不滿意先看批量推理頁簽填輸入文件夾整批音頻會輸出到opt/目錄適合回頭一次性驗證多個素材。提示同一個輸入路徑連續(xù)推理時程序會緩存已提取的音高反復(fù)調(diào)參對比不用每次等重新提取。想更懂它為什么這樣工作花兩分鐘看看目錄劃分。目錄怎么分核心模塊速覽Retrieval-based-Voice-Conversion-WebUI/ ├── webui.py # WebUI 入口五個頁簽都掛在這 ├── realtime_gui.py # 實時變聲獨立 GUI ├── infer/ # 推理核心 │ ├── vc/pipeline.py # 轉(zhuǎn)換主流程 │ ├── hubert.py # Hubert 特征提取 │ ├── rmvpe.py # RMVPE 音高提取 │ └── rtrvc.py # 實時推理接口 ├── train/ # 切片、特征提取、訓(xùn)練、索引構(gòu)建 ├── tools/ # UVR5 分離、CUDA Graph 等工具 ├── configs/ # v1/v2 網(wǎng)絡(luò)配置文件 └── i18n/ # 12 種語言界面三個設(shè)計點值得知道檢索式替換推理時先在 faiss 索引里找訓(xùn)練集中最相似的特征top1蓋住輸入源特征相當于把目標音色的聲紋指紋壓到源特征上音色泄漏就是這么被掐斷的設(shè)備自適應(yīng)精度configs/config.py 按顯存和 SM 版本自動決定 fp16/fp32 甚至退回 CPUPascal 和 16 系老卡不會被強推半精度模塊化推理鏈路音高RMVPE、聲學(xué)特征Hubert、聲碼器VITS 系各自獨立換算法只需換 infer/ 下對應(yīng)模塊理解了結(jié)構(gòu)看看別人拿它做什么。唱歌、直播、批量轉(zhuǎn)換三個真實用法翻唱與 AI 歌手訓(xùn)練時是否帶音高指導(dǎo)必須選是推理時變調(diào)給 ±12 做男女對調(diào)音高用 rmvpe 提取男低音場景 RMVPE 的識別比老算法穩(wěn)得多。想融合兩個人的音色用ckpt處理頁簽的 ckpt-merge 把兩個 .pth 按比例混合即可不必重訓(xùn)。直播與虛擬形象跑realtime_gui.py輸入輸出設(shè)備選同一種類型比如都用 MME追求更低延遲就切 ASIO端到端 90ms 量級。界面里顯示的算法延遲/推理時間會實時更新方便你按硬件調(diào) block_time 和 crossfade。批量與進階調(diào)參輸出有電音撕裂把 protect 往 0.5 方向調(diào)低音色不夠像把 index_rate 提到 0.8 以上并確認 .index 選對了。顯存富余的話batch_size 按顯存 GB 數(shù)除以 2往上加是 webui.py 里用的估算邏輯訓(xùn)練提速明顯。踩坑速查表現(xiàn)象大概率原因一句話解法啟動報依賴缺失或 cuda.is_available() 為 FalseTorch 的 CUDA 版本與驅(qū)動不匹配按顯卡重選 cu118/cu128 依賴重裝訓(xùn)練中途顯存 OOMbatch_size 過大或勾了顯存緩存調(diào)小 batch_size大數(shù)據(jù)關(guān)掉緩存至顯存轉(zhuǎn)換出來還像原說話人索引沒選或 index_rate 過低確認 .pth 與 .index 配套占比拉到 0.75 以上輔音處電音、撕裂保護參數(shù)沒生效protect 調(diào)到 0.4~0.5 之間注意 0.5 是關(guān)閉實時變聲爆音或延遲忽大忽小輸入輸出設(shè)備 hostapi 類型不一致兩側(cè)選同類型如都 MME進階切 ASIO從 10 分鐘素材到可聽感不錯的模型RVC-WebUI 把這條鏈路壓到了裝依賴、下模型、點按鈕的長度。建議下一步先拿 v2 底模跑一遍默認參數(shù)驗證流程再回頭調(diào) index_rate 和 protect 這兩個最敏感的旋鈕——它們決定了你離目標音色還差多少。更多歷史細節(jié)可以翻 docs/cn/Changelog_CN.md。【免費下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考