Skip to content

Repository files navigation

Recording Composition Tool Hisui

GitHub tag (latest SemVer) hisui License

About Shiguredo's open source software

We will not respond to PRs or issues that have not been discussed on Discord. Also, Discord is only available in Japanese.

Please read https://github.com/shiguredo/oss/blob/master/README.en.md before use.

時雨堂のオープンソースソフトウェアについて

利用前に https://github.com/shiguredo/oss をお読みください。

Recording Composition Tool Hisui について

Recording Composition Tool Hisui は、映像・音声のメディア処理ツールです。

Sora 向けの録画合成機能は sora-archive-compositor に移行しました。 Hisui は OBS WebSocket 互換サーバーを中心に、 WebRTC、 RTMP、 SRT、 RTSP、 HLS、 MPEG-DASH などによるメディアの入出力を提供します。

特徴

  • OBS WebSocket 互換サーバーでメディアの入出力を制御できます
  • WebRTC、 RTMP、 SRT、 RTSP、 HLS、 MPEG-DASH など多彩な入出力に対応しています
  • MP4 ファイルの詳細情報を取得できます
  • MP4 の音声を Whisper で文字起こしできます (実験的機能)

今後の Hisui について

Media Processing Tool Hisui とは

  • 映像・音声をパイプラインで自在に処理する汎用的なメディア処理ツールを目指しています

映像・音声の入力から出力まで、柔軟なパイプライン処理ができるようになります。

例えば以下のようなことができるようになります。

  • Sora Python SDK から受信した映像・音声をリアルタイムで合成
  • JSON-RPC 2.0 経由で Python による音声文字起こし結果を映像に埋め込み
  • 処理済み映像を Sora Python SDK で配信しつつ、RTMP で配信しつつ、MP4 ファイルとして同時出力

Media Pipeline Tool Hisui は以下の特徴を持つ予定です。

  • 入出力に JSON-RPC 2.0 が利用できます
    • Content-TypeContent-Length を持つ JSON-RPC 2.0 ベースのプロトコルを採用します
    • Content-Typeapplication/octet-stream を指定することでバイナリデータを扱えます
  • プラグイン不要で JSON-RPC 2.0 サーバーを実装するだけで機能を拡張できます
  • 重いエンコード・デコード・合成処理は Hisui が担当します

対応機能

  • WebRTC 入出力機能
  • RTMP 入出力機能
  • SRT 入出力機能
  • RTSP 入出力機能
  • HLS 出力機能
  • MPEG-DASH 出力機能

インストール

Hisui は uv を利用して PyPI 経由でインストールすることができます。

uv tool install hisui

Python ライブラリとして利用する

Hisui は Python でコマンドラインのラッパーライブラリを提供しています。

uv add hisui
from hisui import Hisui

with Hisui() as hisui:
    # List available codecs
    codecs = hisui.list_codecs()
    print(codecs)

ファイル形式

  • MP4 ファイルの読み込みに対応しています
  • MP4、 HLS、 MPEG-DASH への出力に対応しています

デコーダー/エンコーダー

  • Opus のソフトウェアによるデコード/エンコードに対応しています
  • Apple Audio Toolbox を利用した AAC のデコード/エンコードに対応しています
  • libvpx を利用した VP8 / VP9 のソフトウェアによるデコード/エンコードに対応しています
  • SVT-AV1 を利用した AV1 のソフトウェアによるエンコードに対応しています
  • dav1d を利用した AV1 のソフトウェアによるデコードに対応しています
  • OpenH264 を利用した H.264 のデコード/エンコードに対応しています
  • Apple Video Toolbox を利用したハードウェアアクセラレーターによる H.264 / H.265 のデコード/エンコードに対応しています
  • NVIDIA Video Codec を利用したハードウェアアクセラレーターによる AV1 / H.264 / H.265 のエンコードと、VP8 / VP9 / AV1 / H.264 / H.265 のデコードに対応しています

NVIDIA Video Codec

NVIDIA Video Codec を利用する場合は NVIDIA ドライバー 570.0 以降が必要です。

FDK-AAC

Important

Ubuntu を利用する場合、 FDK-AAC を利用した AAC のデコード/エンコードに対応しています。 ただし、 libfdk-aac-dev パッケージをシステムにインストールした上で、 --features fdk-aac を指定して Hisui を自前でビルドする必要があります。

動作環境

  • Ubuntu 24.04 x86_64
  • Ubuntu 24.04 arm64
  • Ubuntu 22.04 x86_64
  • Ubuntu 22.04 arm64
  • macOS 26 arm64
  • macOS 15 arm64

macOS の対応バージョン

直近の 2 バージョンをサポートします。

Ubuntu の対応バージョン

直近の LTS 2 バージョンをサポートします。

対応 Sora

  • WebRTC SFU Sora 2025.1 以降

ドキュメント

Hisui の利用方法は usage.md をご確認ください。

ビルド

Hisui のビルド方法は build.md をご確認ください。

サポートについて

優先実装

優先実装とは Sora のライセンスを契約頂いているお客様向けに Sora Python SDK の実装予定機能を有償にて前倒しで実装することです。

詳細は Discord やメールなどでお気軽にお問い合わせください

優先実装が可能な機能一覧

  • Intel VPL 対応
  • AMD AMF 対応
  • NETINT Quadra 対応

Discord

  • サポートしません
  • アドバイスします
  • フィードバック歓迎します

最新の状況などは Discord で共有しています。質問や相談も Discord でのみ受け付けています。

https://discord.gg/shiguredo

バグ報告

Discord の #sora-tool-faq チャンネルへお願いします。

ライセンス

Apache License 2.0

Copyright 2025-2025, Takeru Ohta (Original Author)
Copyright 2025-2025, Shiguredo Inc.

Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.

OpenH264

https://www.openh264.org/BINARY_LICENSE.txt

"OpenH264 Video Codec provided by Cisco Systems, Inc."

NVIDIA Video Codec SDK

https://docs.nvidia.com/video-technologies/video-codec-sdk/13.0/index.html

“This software contains source code provided by NVIDIA Corporation.”

H.264 (AVC) と H.265 (HEVC) のライセンスについて

時雨堂が提供する Hisui のビルド済みバイナリには H.264 と H.265 のコーデックは含まれていません

H.264

H.264 対応は Via LA Licensing (旧 MPEG-LA) に連絡を取り、ロイヤリティの対象にならないことを確認しています。

時雨堂がエンドユーザーの PC /デバイスに既に存在する AVC / H.264 エンコーダー/デコーダーに依存する製品を提供する場合は、 ソフトウェア製品は AVC ライセンスの対象外となり、ロイヤリティの対象にもなりません。

H.265

H.265 対応は以下の二つの団体に連絡を取り、H.265 ハードウェアアクセラレーターのみを利用し、 H.265 が利用可能なバイナリを配布する事は、ライセンスが不要であることを確認しています。

また、H.265 のハードウェアアクセラレーターのみを利用した H.265 対応の SDK を OSS で公開し、 ビルド済みバイナリを配布する事は、ライセンスが不要であることも確認しています。

About

Recording Composition Tool Hisui

Resources

Stars

27 stars

Watchers

3 watching

Forks

Releases

Packages

Used by

Contributors

Languages