CouncilDataProject / CouncilDataProject/cdp-data

Prototype delayed dask dataframes for better computation scaling

オープン
#9 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Jupyter Notebook
スター
5
フォーク
4
PR マージ指標
30日以内にマージされた PR はありません

説明

Currently all computation is multithreaded by default and that doesn't leave a lot of room to the user in terms of deciding how and when they want to actually gather data or compute a result.

The datasets module can easily be switched over to dask for data gathering and caching

The keywords module should be looked at for how to use dask dataframes for just-in-time compute and out-of-memory compute.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

まず datasets モジュールを読んで現在のデータ収集とキャッシュの仕組みを理解し、次に keywords モジュールを調べて既存の計算動作を確認してください。プロトタイプでは遅延した収集または計算をサポートし、just-in-time および out-of-memory の dataframe 利用に対応する必要がありますが、この issue では具体的なテストや受け入れ基準は定義されていません。

索引モデルが issue の本文から書いたものです。

評価

領域
data-engineering, performance
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。