2015年9月23日 星期三

google Translate 上的 語音合成 以及 注音

python ryGoogleTTS2015.py
----

D:\Dropbox\ryResearchHTK2015\ryWork03_googleTTS>python ryGoogleTTS2015.py
ttsIt--> _tts.mp3, _tts.tmx
ttsIt--> en00_wiki.txt.mp3, en00_wiki.txt.tmt
ttsIt--> jp00_wiki.txt.mp3, jp00_wiki.txt.tmt
mecab -o jp00_wiki.txt.mecab jp00_wiki.txt  ---->  jp00_wiki.txt.mecab
 --->  jp00_wiki.txt.wp
ttsIt--> tc00_wiki.txt.mp3, tc00_wiki.txt.tmt
---->  tc00_wiki.txt.gTrans
---->  tc00_wiki.txt.wp

D:\Dropbox\ryResearchHTK2015\ryWork03_googleTTS>python ryGoogleTTS2015.py enTest.txt en
ttsIt--> enTest.txt.mp3, enTest.txt.tmt

D:\Dropbox\ryResearchHTK2015\ryWork03_googleTTS>python ryGoogleTTS2015.py jpTest.txt ja
ttsIt--> jpTest.txt.mp3, jpTest.txt.tmt
mecab -o jpTest.txt.mecab jpTest.txt  ---->  jpTest.txt.mecab
 --->  jpTest.txt.wp

D:\Dropbox\ryResearchHTK2015\ryWork03_googleTTS>python ryGoogleTTS2015.py tcTest.txt zh-tw
ttsIt--> tcTest.txt.mp3, tcTest.txt.tmt
---->  tcTest.txt.gTrans
---->  tcTest.txt.wp

2015年9月13日 星期日

研究,從安裝HTK開始。


http://htk.eng.cam.ac.uk/download.shtml

----
需註冊,完了會收到回信,如下。

renyuanL

Your password is g*********5

Please visit http://htk.eng.cam.ac.uk/change_pass.shtml 
if you need to change your password or retrieve your login details.

Why not subscribe to the HTK mailing lists by visiting http://htk.eng.cam.ac.uk/mailing/subscribe_mail.shtml

----
from there, we get the 3 zip files:

HTK-3.4.1.zip
HTK-samples-3.4.1.zip
htkbook.pdf.zip

----
解壓縮 HTK-3.4.1.zip
進入 htk/
研讀 README

    Compiling & Installing HTK under Windows
    ========================================
    Prerequisites:
        * HTK has been verified to compile using Microsoft Visual Studio.

        cd htk
        mkdir bin.win32
        cd HTKLib
        nmake /f htk_htklib_nt.mkf all
        cd ..
        cd HTKTools
        nmake /f htk_htktools_nt.mkf all
        cd ..
        cd bin.win32
        dir

----
若一切順利,你會看到如下結果:

C:\Users\renyuan\Dropbox\ryResearchHTK2015\HTK-3.4.1\htk\bin.win32>dir
 磁碟區 C 中的磁碟是 Acer
 磁碟區序號:  8808-1A7F

 C:\Users\renyuan\Dropbox\ryResearchHTK2015\HTK-3.4.1\htk\bin.win32 的目錄

2015/09/13  下午 06:38    <DIR>          .
2015/09/13  下午 06:38    <DIR>          ..
2015/09/13  下午 06:38           281,600 HBuild.exe
2015/09/13  下午 06:38           465,408 HCompV.exe
2015/09/13  下午 06:38           451,072 HCopy.exe
2015/09/13  下午 06:38           257,536 HDMan.exe
2015/09/13  下午 06:38           601,088 HERest.exe
2015/09/13  下午 06:38           439,808 HHEd.exe
2015/09/13  下午 06:38           489,984 HInit.exe
2015/09/13  下午 06:38           271,872 HLEd.exe
2015/09/13  下午 06:38           407,040 HList.exe
2015/09/13  下午 06:38           363,520 HLRescore.exe
2015/09/13  下午 06:38           266,240 HLStats.exe
2015/09/13  下午 06:38           628,736 HMMIRest.exe
2015/09/13  下午 06:38           272,384 HParse.exe
2015/09/13  下午 06:38           430,080 HQuant.exe
2015/09/13  下午 06:38           484,864 HRest.exe
2015/09/13  下午 06:38           277,504 HResults.exe
2015/09/13  下午 06:38           304,640 HSGen.exe
2015/09/13  下午 06:38           359,936 HSLab.exe
2015/09/13  下午 06:38           353,792 HSmooth.exe
2015/09/13  下午 06:38           647,680 HVite.exe
              20 個檔案       8,054,784 位元組
----

"CguAlign" 目前只用到其中 5 支程式,列表如下:

HLEd.exe .... for 音標處理, doing phonetic symbol
HCopy.exe .... for 語音特徵, doing DSP
HCompV.exe .... for HMM training
HERest.exe .... for HMM training
HVite.exe .... for HMM recognition, speech alignment

----
接下來,
我們要逐一手動操作每一支程式,
然後再用Python來做自動化處理。

----
我們處理的聲音檔案通常是 .mp3 檔案,
透過 ffmpeg 我們可以轉成 htk 吃得下的 .wav 檔案
來這裡下載 ffmpeg
https://www.ffmpeg.org/

設法安裝起來。

你會得到一個很乾淨的 ffmpeg.exe
學會用它,從其官方網頁或 google ffmpeg mp3 wav

----
在網上爬文及自我嘗試約1小時後,
用以下這「一行」指令可以把 .mp3 轉成 pcm 16bit little-endian 16K mono 的 .wav

ffmpeg  
-i 01.mp3 
-y 
-acodec pcm_s16le 
-ac 1 
-ar 16000  01_out.wav  
2>_ffmpeg.tmp

用 ffmpeg -h 可以看到其他可能性。

----
audacity
是一個「看」聲音波形的重要軟體,
其他功能還包括「切」、「DSP處理」。
務必下載及安裝起來。

google 一下吧。

http://audacityteam.org/download/


處理聲音一開始就要配備這項工具!
----

開始要把手弄黑了、、、、

https://www.dropbox.com/s/vwcmbz34me82ngi/_doHtk01.bat?dl=0

https://www.dropbox.com/s/bd5ib53owy12xkg/bin20150914.zip?dl=0

#_x.mp3 --> _x.wav
ffmpeg  -i _x.mp3 -y -acodec pcm_s16le -ac 1 -ar 10000 _x.wav 1>_1.out  2>  _2.out

#_x.wav --> _x.mfc.htk
hcopy -A -D -C _hCopy.conf -F WAV _x.wav _x.mfc.htk           1>>_1.out 2>> _2.out

#_x.mfc.htk --> _x.mfc.txt
hlist -A -h -t _x.mfc.htk    1> _x.mfc.txt 2>> _2.out

----

https://www.dropbox.com/s/ngpca0u5d8wqkkd/ryHtkmfc01.py?dl=0

馬上加進 python, 訊號圖形就出來了。
----

加上 翰翰 的雲端語音合成
https://www.dropbox.com/s/m3z0otch5a65vc7/bin20150914_2.zip?dl=0

こんにちは、私は学生です、20さいです。
Hello, I am a student, 20 years old.
你好,我是學生,20歲。

I came from Taiwan.
私は台湾から来ました。
我來自台灣。

謝謝你。再見!
Thank you very much. Goodby!
有難う御座います。さようなら!

https://www.dropbox.com/s/zfgkd1tr0mkq186/_y.txt.mp3?dl=0


----

以上做了1天,約20小時吧!
(除了吃飯、喝水及上廁所之外,大約睡4小時!)

然後呢?
音文同步是否就做出來了呢?

HTK 要大展身手了!!!
----
中英日三語「音文同步」核心,基於 HTK + GoogleTranslate + MeCab
https://www.dropbox.com/sh/b1trvkmcwfirbbl/AAC8-IR7qs0poqr3DeHPxTPSa?dl=0