elastic / elastic/elastic-evals-sdk-python

Experiment results URL points to nonexistent Kibana /runs/ route

Aperta
#64 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
Lingua principale
Python
Stelle
2
Fork
0
Merge medio
1g 13h
PR unite (30g)
18

Descrizione

At SDK commit `f86f4a013778c08ccbeb64195464f3378f13bbd5`, `log_results_url()` prints:

```text
{KIBANA_URL}/app/management/ai/evals/runs/{run_id}
```

Kibana 9.5.3 has no `/runs/:runId` evals route. Its detail route is `/experiments/:experimentId`. During a successful 30-example run, the SDK printed the `/runs/` link above; opening `/experiments/{RanExperiment.id}` instead showed all per-example results and evaluator statistics.

Sources:

- [SDK URL builder](https://github.com/elastic/elastic-evals-sdk-python/blob/f86f4a013778c08ccbeb64195464f3378f13bbd5/src/elastic_evals/utils/logging.py#L95)
- [Kibana 9.5.3 routes](https://github.com/elastic/kibana/blob/v9.5.3/x-pack/platform/plugins/shared/evals/public/application.tsx)

This is Python-SDK-maturity/UX: successful execution should return a usable experiment URL (ideally on `RanExperiment`) and print that same URL. Preserve any configured base/space path and strip userinfo credentials. Be explicit about execution grouping: the SDK's run ID and `RanExperiment.id` are different IDs, and simply replacing `/runs/` with `/experiments/` while retaining `run_id` is not sufficient without the appropriate execution query parameter.

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia da src/elastic_evals/utils/logging.py, nel builder degli URL dell’SDK, e verifica come sono disponibili RanExperiment e gli ID delle esecuzioni. Confronta il builder con le route di application.tsx di Kibana e verifica il percorso base/space configurato e la gestione delle credenziali. Il lavoro è completato quando un’esecuzione riuscita restituisce e stampa un URL /experiments/{experimentId} utilizzabile con il raggruppamento di esecuzione appropriato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
developer-experience
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
68/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.