Captionテキストの対応

[35noitamina]

概要・変更点

Irodori-TTS-Serverで音声以外にテキストで声色を指定する機能を追加します。
既存のパラメータに加え、caption,text,caption_scale,speaker_scaleを追加します。

それぞれの機能は以下の通りです。

• caption: caption:{} の形式でテキストによるキャプションを指定します。(任意)

以降はcaption内に記述します。

• text:テキストによる指示内容を指定します。(必須)
• caption_scale:テキストによる指示の影響を設定します。(任意)
• speaker_scale:元音声からの影響を設定します。(任意)

背景

Irodori-TTS-Serverを使用する際微調整をしたいと思った時や明示的にプロンプトを書くことができず、Irodori-TTSを開きなおす必要がありました。
また、Irodori-TTSをCLIから実行してもモデルロードに時間がかかってしまいます。
そのためサーバーのAPIから操作できるように機能を追加しました。

例

音声のみ生成

curl http://localhost:8088/v1/audio/speech ^
  -H "Content-Type: application/json" ^
  -d "{\"model\": \"irodori-tts\", \"input\": \"明日の天気は一日中晴れ\", \"voice\": \"sample\", \"response_format\": \"wav\"}" ^
  --output speech.wav

speech.wav

音声+テキスト生成

curl http://localhost:8088/v1/audio/speech ^
  -H "Content-Type: application/json" ^
  -d "{\"model\": \"irodori-tts\", \"input\": \"今日の天気は一日中晴れ。\", \"voice\": \"sample\", \"response_format\": \"wav\", \"caption\": {\"text\": \"参照音声より少し大人っぽくして。\", \"caption_scale\": 8, \"speaker_scale\": 2, \"no_ref\": false}}" ^
  --output speech.wav

.speech.wav

テキストのみ生成

curl http://localhost:8088/v1/audio/speech ^
  -H "Content-Type: application/json" ^
  -d "{\"model\": \"irodori-tts\", \"input\": \"今日の天気は一日中晴れ。\", \"voice\": \"None\", \"response_format\": \"wav\", \"caption\": {\"text\": \"落ち着いた、近い距離感の女性話者\", \"no_ref\": true}}" ^
  --output speech.wav

speech.wav