allenai / allenai/dolma

Support providing streams into mixer via CLI

Ouverte
#130 0 commentaires 0 réactions 1 personne assignée Réclamée par @soldni Voir sur GitHub
enhancement
Langage dominant
Python
Étoiles
1.5k
Forks
203
Métriques de merge des PR
Aucune PR mergée en 30 j

Description

@IanMagnusson asks

> I'm trying to figure out how to mix using the dolma cli args instead of the config. I want to do something like this but I cant figure out how to index the streams arg correctly:

```shell
dolma mix --streams[0].name "$name"
--streams[0].documents "$input_prefix/$file" \
--streams[0].output.path "$output_prefix/$file" \
--streams[0].output.max_size_in_bytes 1000000000 \
--streams[0].attributes s2orc-eval \
--streams[0].filter.exculde "$@.attributes[?(@.bff_duplicate_paragraph_spans_decontamination && @.bff_duplicate_paragraph_spans_decontamination[0] && @.bff_duplicate_paragraph_spans_decontamination[0][2] >= 1.0)]"
```

We should support this use case. As a stopgap, we should support `echo '{...}' | dolma -c - mix`, i.e. allow passing config through stdin.

Guide de contribution

Aucun guide de contribution indexé pour ce dépôt

Évaluation

Cette issue n'a pas encore été évaluée.

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.