elastic / elastic/elastic-evals-sdk-python
Experiment results URL points to nonexistent Kibana /runs/ route
Dieses Issue hat noch niemand übernommen.
- Vorherrschende Sprache
- Python
- Sterne
- 2
- Forks
- 0
- Ø Merge
- 1 T. 13 Std.
- Gemergte PRs (30 T.)
- 18
Beschreibung
At SDK commit f86f4a013778c08ccbeb64195464f3378f13bbd5, log_results_url() prints:
{KIBANA_URL}/app/management/ai/evals/runs/{run_id}
Kibana 9.5.3 has no /runs/:runId evals route. Its detail route is /experiments/:experimentId. During a successful 30-example run, the SDK printed the /runs/ link above; opening /experiments/{RanExperiment.id} instead showed all per-example results and evaluator statistics.
Sources:
This is Python-SDK-maturity/UX: successful execution should return a usable experiment URL (ideally on RanExperiment) and print that same URL. Preserve any configured base/space path and strip userinfo credentials. Be explicit about execution grouping: the SDK's run ID and RanExperiment.id are different IDs, and simply replacing /runs/ with /experiments/ while retaining run_id is not sufficient without the appropriate execution query parameter.
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
- Forke das Repository und arbeite in einem Branch.
- Öffne einen Pull Request, der die Issue-Nummer nennt.
Rechercherichtung
Beginne bei src/elastic_evals/utils/logging.py am SDK-URL-Builder und prüfe, wie RanExperiment und die Ausführungs-IDs verfügbar sind. Vergleiche den Builder mit den Routen in Kibanas application.tsx und verifiziere den konfigurierten Base-/Space-Pfad sowie die Verarbeitung der Zugangsdaten. Als erledigt gilt die Aufgabe, wenn eine erfolgreiche Ausführung eine verwendbare /experiments/{experimentId}-URL mit der entsprechenden Ausführungsgruppierung zurückgibt und ausgibt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Bewertung
- Tech-Stack
- python
- Bereich
- developer-experience
- Issue-Typ
- Bug
- Schwierigkeit
- 3/5
- Geschätzter Aufwand
- 1-2 Tage
- Aktivitätsstatus
- Aktiv
- Klarheit
- Größtenteils klar
- Anfängerfreundlichkeit
- 68/100