CouncilDataProject / CouncilDataProject/cdp-data
Prototype delayed dask dataframes for better computation scaling
オープン
enhancement
- 主要言語
- Jupyter Notebook
- スター
- 5
- フォーク
- 4
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
Currently all computation is multithreaded by default and that doesn't leave a lot of room to the user in terms of deciding how and when they want to actually gather data or compute a result.
The datasets module can easily be switched over to dask for data gathering and caching
The keywords module should be looked at for how to use dask dataframes for just-in-time compute and out-of-memory compute.
コントリビューションガイド
調査の方向性
まず datasets モジュールを読んで現在のデータ収集とキャッシュの仕組みを理解し、次に keywords モジュールを調べて既存の計算動作を確認してください。プロトタイプでは遅延した収集または計算をサポートし、just-in-time および out-of-memory の dataframe 利用に対応する必要がありますが、この issue では具体的なテストや受け入れ基準は定義されていません。
索引モデルが issue の本文から書いたものです。
評価
- 領域
- data-engineering, performance
- issue の種類
- 機能追加
- 難易度
- 5/5
- 見積もり時間
- 1週間以上
- 活発さ
- 停滞
- 明瞭さ
- 説明が足りない
- 初心者へのやさしさ
- 30/100