CouncilDataProject / CouncilDataProject/cdp-data

Ideas for annotation utilities

Aperta
#10 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
enhancement
Lingua principale
Jupyter Notebook
Stelle
5
Fork
4
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Descrizione

Currently using this dummy python script to gather annotation data but there is some method that I can see for converting this from a "dummy script" to a more standardized function

I want to address the idea of "caching the raw dataset" but also "an initial pull of data" into "some data is annotated" and finally towards "need more data to train my model, keep pulling more, but skip existing data"

```python
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import logging
from pathlib import Path

import torch
from cdp_data import CDPInstances, datasets

from speakerbox.preprocessing import diarize_and_split_audio

###############################################################################

logging.basicConfig(
level=logging.INFO,
format="[%(levelname)4s: %(module)s:%(lineno)4s %(asctime)s] %(message)s",
)
log = logging.getLogger(__name__)

###############################################################################

torch.device("cpu")

# Pull specific meetings
for start_date, end_date in [
("2021-05-24", "2021-05-25"),
("2021-06-07", "2021-06-08"),
("2021-09-20", "2021-09-21"),
("2021-06-28", "2021-06-29"),
("2021-07-12", "2021-07-13"),
]:
datasets.get_session_dataset(
CDPInstances.Seattle,
start_datetime=start_date,
end_datetime=end_date,
store_audio=True,
)

dataset_dir = Path(f"cdp-datasets/{CDPInstances.Seattle}")
for audio_file in dataset_dir.glob("event-*/session-*/audio.wav"):
storage = audio_file.parent.parent.name
if not (Path(storage).exists() or Path(f"ANNOTATED-{storage}").exists()):
print("working on file:", audio_file)
print("storing:", storage)
torch.cuda.empty_cache()
diarize_and_split_audio(audio_file, storage_dir=storage)
else:
print("skipping", storage)

```

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Inizia dallo script Python pubblicato, in particolare dalle chiamate a datasets.get_session_dataset e diarize_and_split_audio. Identifica i punti di ingresso del repository per il recupero dei dataset e l’elaborazione delle annotazioni, quindi chiarisci l’API riutilizzabile prevista, il comportamento della cache e i test necessari per dimostrare che i dati esistenti vengono saltati.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python, pytorch
Ambito
data-engineering, machine-learning
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Ferma
Chiarezza
Da chiarire
Idoneità per principianti
25/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.