elastic / elastic/elastic-evals-sdk-python

[kbn-evals] Examples should not ship in the installed wheel

Offen Anfängerfreundlich
#40 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen
kbn-evals Team:nightshift-context-and-research
Vorherrschende Sprache
Python
Sterne
2
Forks
0
Ø Merge
1 T. 13 Std.
Gemergte PRs (30 T.)
18

Beschreibung

### Summary

`pyproject.toml` includes `examples/` in the wheel and pre-registers all three demo suites as entry-point plugins. Every `pip install elastic-evals` ships demo code to the user and shows three suites they didn't create in `elastic-evals list`.

### Problem

- `pyproject.toml:46-47`: `examples` listed in wheel packages
- `pyproject.toml:37-40`: three example suites registered as `elastic_evals.suites` entry points
- `examples` as a top-level module name can collide with other packages
- The three entry-point IDs use inconsistent naming patterns within kebab-case (`agent-builder`, `claude-code-eval`, `chatbot-rag-eval-example`)

### Fix

- Remove `examples` from the wheel packages list
- Remove example entry-point registrations
- Document the plugin entry-point contract so users can register their own suites

### Done when

- [ ] `pip` or `uv` installs no example code
- [ ] `elastic-evals list` on a clean install shows no pre-registered suites
- [ ] The plugin contract is documented with a short example

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Rechercherichtung

Beginne mit den Zeilen 37–47 in pyproject.toml, um die Wheel-Paketliste und die Entry Points von elastic_evals.suites zu prüfen. Verifiziere, dass eine saubere pip- oder uv-Installation keine Beispiele enthält, bestätige, dass elastic-evals list keine vorregistrierten Suiten anzeigt, und dokumentiere den Entry-Point-Vertrag mit einem kurzen Beispiel.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
build-system, cli, documentation
Issue-Typ
Bug
Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Aktivitätsstatus
Ruhig
Klarheit
Klar beschrieben
Anfängerfreundlichkeit
76/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.