python / python/pyperformance

Add benchmarks for machine learning application

オープン
#189 コメント 4 件 リアクション 5 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

主要言語
Python
スター
1k
フォーク
203
平均マージ
1時間 20分
マージ済み PR(30日)
2

説明

Today, Machine learning applications are important use-cases of Python.
I haven't prepared concrete benchmark implementations yet, but I would like to suggest guidelines for machine learning benchmarks.

A. Each benchmark should provide all of the following implementations and shows the same result.

  • Pure Python-based implementation (might be not easy). Sympy based implementation
  • Numpy-based implementation.
  • (optional) Famous frameworks like scikit-learn, TensorFlow, or PyTorch-based implementation.

B. Following algorithm-based benchmark should provide training and inference benchmark.

  • Regression algorithm
  • Decision tree algorithm
  • Clustering algorithm
  • Nearest neighborhood algorithm
  • Matrix factorization
  • ... (Please suggest!)

C. Deep learning-based or neural network-based benchmarks only provide inference benchmark with fixed weights since training benchmark needs GPU resources but using GPU resource is out of the topic.

  • Simple neural network
  • ... (Please suggest!)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

この issue ではファイル、テスト、エントリーポイントが指定されておらず、具体的なベンチマーク実装も提供されていません。まずリポジトリに既存のベンチマークの慣例を確認し、そのうえで対象とするアルゴリズムと実装を明確にしてください。完了とするには、対応する training と inference のベンチマーク一式について合意する必要があります。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
numpy, python, pytorch, scikit-learn, tensorflow
領域
machine-learning, performance
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。