CouncilDataProject / CouncilDataProject/cdp-data

Ideas for annotation utilities

Offen
#10 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
enhancement
Vorherrschende Sprache
Jupyter Notebook
Sterne
5
Forks
4
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Beschreibung

Currently using this dummy python script to gather annotation data but there is some method that I can see for converting this from a "dummy script" to a more standardized function

I want to address the idea of "caching the raw dataset" but also "an initial pull of data" into "some data is annotated" and finally towards "need more data to train my model, keep pulling more, but skip existing data"

```python
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import logging
from pathlib import Path

import torch
from cdp_data import CDPInstances, datasets

from speakerbox.preprocessing import diarize_and_split_audio

###############################################################################

logging.basicConfig(
level=logging.INFO,
format="[%(levelname)4s: %(module)s:%(lineno)4s %(asctime)s] %(message)s",
)
log = logging.getLogger(__name__)

###############################################################################

torch.device("cpu")

# Pull specific meetings
for start_date, end_date in [
("2021-05-24", "2021-05-25"),
("2021-06-07", "2021-06-08"),
("2021-09-20", "2021-09-21"),
("2021-06-28", "2021-06-29"),
("2021-07-12", "2021-07-13"),
]:
datasets.get_session_dataset(
CDPInstances.Seattle,
start_datetime=start_date,
end_datetime=end_date,
store_audio=True,
)

dataset_dir = Path(f"cdp-datasets/{CDPInstances.Seattle}")
for audio_file in dataset_dir.glob("event-*/session-*/audio.wav"):
storage = audio_file.parent.parent.name
if not (Path(storage).exists() or Path(f"ANNOTATED-{storage}").exists()):
print("working on file:", audio_file)
print("storing:", storage)
torch.cuda.empty_cache()
diarize_and_split_audio(audio_file, storage_dir=storage)
else:
print("skipping", storage)

```

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Beginne mit dem geposteten Python-Skript, insbesondere mit den Aufrufen von datasets.get_session_dataset und diarize_and_split_audio. Identifiziere die Einstiegspunkte des Repositorys für den Abruf von Datensätzen und die Verarbeitung von Annotationen, und kläre anschließend die vorgesehene wiederverwendbare API, das Caching-Verhalten und die erforderlichen Tests, die zeigen, dass vorhandene Daten übersprungen werden.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python, pytorch
Bereich
data-engineering, machine-learning
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Veraltet
Klarheit
Muss geklärt werden
Anfängerfreundlichkeit
25/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.