AOSSIE-Org / AOSSIE-Org/Resonate

iOS: Integrate JUCE DSP with Native Audio Capture and LiveKit Publishing

オープン
#686 コメント 2 件 リアクション 0 件 担当者 1 名 @uju09 が担当を希望しています GitHub で見る
enhancement
主要言語
Dart
スター
344
フォーク
350
PR マージ指標
30日以内にマージされた PR はありません

説明

### 🚀 The feature

On iOS, replace LiveKit’s default microphone capture with a custom audio pipeline that:
• Captures microphone audio using AVAudioEngine
• Processes audio buffers using the shared JUCE DSP engine (via Objective-C++)
• Publishes processed audio buffers to LiveKit AudioTrack

The existing LiveKit transport layer remains unchanged.

### Motivation, pitch

To enable real-time, on-device voice processing on iOS, microphone audio must be captured natively and processed before being handed to LiveKit.

Using JUCE via Objective-C++ allows us to reuse the same DSP logic implemented for Android, ensuring consistent audio behavior across platforms. This approach maintains privacy, avoids server-side audio modification, and aligns with iOS real-time audio best practices.

コントリビューションガイド

コントリビューションガイドを開く

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。