AOSSIE-Org / AOSSIE-Org/Resonate

Android: Integrate JUCE DSP with Native Audio Capture and LiveKit Publishing

Đang mở
#685 1 bình luận 0 reaction 1 người được giao Được @uju09 nhận Xem trên GitHub
enhancement
Ngôn ngữ chính
Dart
Star
344
Fork
350
Chỉ số merge pull request
Không có pull request nào được merge trong 30 ngày

Mô tả

### 🚀 The feature

On Android, replace LiveKit’s default microphone input with a custom audio pipeline that:
• Captures microphone audio using native APIs (AudioRecord / Oboe)
• Processes audio buffers using the shared JUCE DSP engine
• Publishes DSP-processed audio to LiveKit as the audio track

LiveKit’s transport, encoding, and room logic remain unchanged.

### Motivation, pitch

Android currently publishes raw microphone audio directly to LiveKit. To support client-side voice processing, we need to intercept audio before publishing.

Implementing this natively ensures low latency and real-time safety, while JUCE guarantees consistent DSP behaviour across platforms. This change is limited in scope to input replacement and does not modify LiveKit internals or server-side behaviour.

Hướng dẫn đóng góp

Mở hướng dẫn đóng góp

Đánh giá

Issue này chưa được đánh giá.

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.