allenai / allenai/dolma3

Quality Annotated Dolma 3 Web Corpus

オープン
#23 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
85
フォーク
27
PR マージ指標
30日以内にマージされた PR はありません

説明

Hi

In the OLMo 3 paper I spotted this text -

Image

Are the quality annotations publicly available?
I could see topic wise folders [here](https://huggingface.co/datasets/allenai/dolma3_mix-6T-1025-7B/tree/main/data) but not quality data. Also what do numbers like 16, 17 mean in folder names like `data/common_crawl-art_and_design-0016`?

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。