Add benchmarks for machine learning application
Nadie ha tomado este issue todavía.
- Lenguaje dominante
- Python
- Estrellas
- 1k
- Forks
- 203
- Merge medio
- 1 h 20 min
- PR fusionados (30 d)
- 2
Descripción
Today, Machine learning applications are important use-cases of Python.
I haven't prepared concrete benchmark implementations yet, but I would like to suggest guidelines for machine learning benchmarks.
A. Each benchmark should provide all of the following implementations and shows the same result.
Pure Python-based implementation (might be not easy).Sympy based implementation- Numpy-based implementation.
- (optional) Famous frameworks like scikit-learn, TensorFlow, or PyTorch-based implementation.
B. Following algorithm-based benchmark should provide training and inference benchmark.
- Regression algorithm
- Decision tree algorithm
- Clustering algorithm
- Nearest neighborhood algorithm
- Matrix factorization
- ... (Please suggest!)
C. Deep learning-based or neural network-based benchmarks only provide inference benchmark with fixed weights since training benchmark needs GPU resources but using GPU resource is out of the topic.
- Simple neural network
- ... (Please suggest!)
Guía de contribución
No hay ninguna guía de contribución indexada para este repositorio
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Línea de trabajo
El issue no menciona archivos, pruebas ni puntos de entrada, y no proporciona implementaciones concretas de benchmarks. Empieza revisando las convenciones de benchmarks existentes del repositorio y, después, aclara los algoritmos y las implementaciones incluidos en el alcance; para darlo por terminado sería necesario acordar un conjunto de benchmarks correspondientes de entrenamiento e inferencia.
Escrito por el modelo de indexación a partir del texto del issue.
Evaluación
- Stack tecnológico
- numpy, python, pytorch, scikit-learn, tensorflow
- Área
- machine-learning, performance
- Tipo de issue
- Nueva funcionalidad
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Estado de actividad
- Estancado
- Claridad
- Necesita aclaración
- Aptitud para principiantes
- 25/100