google-deepmind / google-deepmind/dm_aux
Further development | Advice on audio processing
- Vorherrschende Sprache
- Python
- Sterne
- 68
- Forks
- 7
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Beschreibung
Is there any further development planned? I find it interesting to have a reasonable audio augmentations / features generation library accelerated with JAX.
The most common library, [audiomentations](https://github.com/iver56/audiomentations), runs purely on CPU, where it has sister pytorch GPU-boosted library, [torch-audiomentations](https://github.com/asteroid-team/torch-audiomentations). Torchaudio also has quite a great support for CPU/GPU with [many ops included](https://pytorch.org/audio/stable/functional.html).
For Tensorflow I could only find tfio.audio with minimal usefulness (mespectrogram generation + specaugment and trim, not too many wave augmentations).
In my use case I would like to waveform augment dataset in offline fashion and dump it into `tfrecords` as melspectrograms. Then I would load them into Tensorflow which I currently use in my project and apply there melspectrogram augmentations on-fly.
At this moment I could use audiomentations with some multiprocessing and do all waveform augments on CPU, and then use tfrecords and tf.io while training with Tensorflow.
Could you share how you approach such problems? Is there any widely supported audio-processing library for jax/tensorflow ecosystem?
Beitragsleitfaden
Rechercherichtung
Es wird keine Datei, kein Test und kein Einstiegspunkt genannt, und das Issue bittet um Rat, statt eine klar abgegrenzte Änderung zu identifizieren. Kläre zunächst, ob das Projekt Waveform- oder Mel-Spektrogramm-Augmentierung hinzufügen sollte, welchen JAX- oder TensorFlow-Workflow es unterstützen sollte und was eine abgeschlossene Unterstützung umfassen würde; vergleiche die hier beschriebenen Referenzen audiomentations, torch-audiomentations, torchaudio und tfio.audio.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python, pytorch, tensorflow
- Bereich
- audio-video-rtc, machine-learning
- Issue-Typ
- Feature
- Schwierigkeit
- 5/5
- Geschätzter Aufwand
- Über eine Woche
- Aktivitätsstatus
- Veraltet
- Klarheit
- Muss geklärt werden
- Anfängerfreundlichkeit
- 15/100