google-deepmind / google-deepmind/dm_aux

Further development | Advice on audio processing

Aperta
#1 1 commento 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
68
Fork
7
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Is there any further development planned? I find it interesting to have a reasonable audio augmentations / features generation library accelerated with JAX.

The most common library, [audiomentations](https://github.com/iver56/audiomentations), runs purely on CPU, where it has sister pytorch GPU-boosted library, [torch-audiomentations](https://github.com/asteroid-team/torch-audiomentations). Torchaudio also has quite a great support for CPU/GPU with [many ops included](https://pytorch.org/audio/stable/functional.html).

For Tensorflow I could only find tfio.audio with minimal usefulness (mespectrogram generation + specaugment and trim, not too many wave augmentations).

In my use case I would like to waveform augment dataset in offline fashion and dump it into `tfrecords` as melspectrograms. Then I would load them into Tensorflow which I currently use in my project and apply there melspectrogram augmentations on-fly.
At this moment I could use audiomentations with some multiprocessing and do all waveform augments on CPU, and then use tfrecords and tf.io while training with Tensorflow.

Could you share how you approach such problems? Is there any widely supported audio-processing library for jax/tensorflow ecosystem?

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Non viene indicato alcun file, test o punto di ingresso e l’issue chiede indicazioni invece di identificare una modifica ben circoscritta. Chiarisci innanzitutto se il progetto dovrebbe aggiungere l’augmentation di waveform o mel-spectrogram, quale workflow JAX o TensorFlow dovrebbe supportare e cosa dovrebbe includere il supporto completo; confronta i riferimenti a audiomentations, torch-audiomentations, torchaudio e tfio.audio descritti qui.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch, tensorflow
Ambito
audio-video-rtc, machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
15/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.