Sharing the 1.3B-Pile@300B model

The 1.3B-Pile@300B model is quite strong:
https://docs.google.com/spreadsheets/d/1CI8Q9RCblLRzUOPJ6ViqBmo284-8ojluQ-CmaEuhuv0/edit#gid=1295801165

lambada 0.6088 piqa 0.7160 hellaswag 0.5209 --> these are all better than gpt-neo 1.3B.

Could you share the model? Thank you.

リポジトリのファイル、テスト、エントリポイントは指定されておらず、issue にはベンチマーク結果を含む Google Sheets のリンクがあり、モデルの共有を求めているだけです。まずリンク先の結果を確認し、想定されている配布経路を特定してください。配布メカニズムや受け入れ確認が指定されていないため、完了の定義はありません。

索引モデルが issue の本文から書いたものです。