elastic / elastic/elastic-evals-sdk-python

[kbn-evals] Examples should not ship in the installed wheel

Aperta Adatta ai principianti
#40 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
kbn-evals Team:nightshift-context-and-research
Lingua principale
Python
Stelle
2
Fork
0
Merge medio
1g 13h
PR unite (30g)
18

Descrizione

### Summary

`pyproject.toml` includes `examples/` in the wheel and pre-registers all three demo suites as entry-point plugins. Every `pip install elastic-evals` ships demo code to the user and shows three suites they didn't create in `elastic-evals list`.

### Problem

- `pyproject.toml:46-47`: `examples` listed in wheel packages
- `pyproject.toml:37-40`: three example suites registered as `elastic_evals.suites` entry points
- `examples` as a top-level module name can collide with other packages
- The three entry-point IDs use inconsistent naming patterns within kebab-case (`agent-builder`, `claude-code-eval`, `chatbot-rag-eval-example`)

### Fix

- Remove `examples` from the wheel packages list
- Remove example entry-point registrations
- Document the plugin entry-point contract so users can register their own suites

### Done when

- [ ] `pip` or `uv` installs no example code
- [ ] `elastic-evals list` on a clean install shows no pre-registered suites
- [ ] The plugin contract is documented with a short example

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia dalle righe 37-47 di pyproject.toml per ispezionare l’elenco dei pacchetti del wheel e gli entry point di elastic_evals.suites. Verifica che un’installazione pulita con pip o uv non contenga esempi, conferma che elastic-evals list non mostri suite pre-registrate e documenta il contratto dell’entry point con un breve esempio.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
build-system, cli, documentation
Tipo di issue
Bug
Difficoltà
2/5
Tempo stimato
1-3 ore
Stato di attività
Tranquilla
Chiarezza
Specificata chiaramente
Idoneità per principianti
76/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.