AOSSIE-Org / AOSSIE-Org/Resonate

iOS: Integrate JUCE DSP with Native Audio Capture and LiveKit Publishing

Offen
#686 2 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @uju09 Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Dart
Sterne
344
Forks
350
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

### 🚀 The feature

On iOS, replace LiveKit’s default microphone capture with a custom audio pipeline that:
• Captures microphone audio using AVAudioEngine
• Processes audio buffers using the shared JUCE DSP engine (via Objective-C++)
• Publishes processed audio buffers to LiveKit AudioTrack

The existing LiveKit transport layer remains unchanged.

### Motivation, pitch

To enable real-time, on-device voice processing on iOS, microphone audio must be captured natively and processed before being handed to LiveKit.

Using JUCE via Objective-C++ allows us to reuse the same DSP logic implemented for Android, ensuring consistent audio behavior across platforms. This approach maintains privacy, avoids server-side audio modification, and aligns with iOS real-time audio best practices.

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.