elastic / elastic/elastic-evals-sdk-python

Experiment results URL points to nonexistent Kibana /runs/ route

Offen
#64 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Vorherrschende Sprache
Python
Sterne
2
Forks
0
Ø Merge
1 T. 13 Std.
Gemergte PRs (30 T.)
18

Beschreibung

At SDK commit f86f4a013778c08ccbeb64195464f3378f13bbd5, log_results_url() prints:

{KIBANA_URL}/app/management/ai/evals/runs/{run_id}

Kibana 9.5.3 has no /runs/:runId evals route. Its detail route is /experiments/:experimentId. During a successful 30-example run, the SDK printed the /runs/ link above; opening /experiments/{RanExperiment.id} instead showed all per-example results and evaluator statistics.

Sources:

This is Python-SDK-maturity/UX: successful execution should return a usable experiment URL (ideally on RanExperiment) and print that same URL. Preserve any configured base/space path and strip userinfo credentials. Be explicit about execution grouping: the SDK's run ID and RanExperiment.id are different IDs, and simply replacing /runs/ with /experiments/ while retaining run_id is not sufficient without the appropriate execution query parameter.

Beitragsleitfaden

Für dieses Repository ist kein Beitragsleitfaden indexiert

Erste Schritte

  1. Lies das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreib ins Issue, dass du es übernimmst — das erspart doppelte Arbeit.
  3. Forke das Repository und arbeite in einem Branch.
  4. Öffne einen Pull Request, der die Issue-Nummer nennt.

Rechercherichtung

Beginne bei src/elastic_evals/utils/logging.py am SDK-URL-Builder und prüfe, wie RanExperiment und die Ausführungs-IDs verfügbar sind. Vergleiche den Builder mit den Routen in Kibanas application.tsx und verifiziere den konfigurierten Base-/Space-Pfad sowie die Verarbeitung der Zugangsdaten. Als erledigt gilt die Aufgabe, wenn eine erfolgreiche Ausführung eine verwendbare /experiments/{experimentId}-URL mit der entsprechenden Ausführungsgruppierung zurückgibt und ausgibt.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
python
Bereich
developer-experience
Issue-Typ
Bug
Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
68/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.