elastic / elastic/elastic-evals-sdk-python

[kbn-evals] Tracing not initialised: all trace IDs null

Chiusa
#32 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub
kbn-evals Team:nightshift-context-and-research
Lingua principale
Python
Stelle
2
Fork
0
Merge medio
1g 13h
PR unite (30g)
18

Descrizione

### Summary

`init_tracing()` is never called by the SDK. Without it, every ingested score has `trace_id=null`, and every Kibana evaluator short-circuits to `label="unavailable"`. Running an experiment with default settings produces no usable evaluation results.

### Problem

- `init_tracing()` is only called in example scripts, never from `run_experiment()`
- `evaluators/kibana.py:226-231` returns `"unavailable"` when `trace_id` is None
- Nothing in the docs warns users about this

### Fix

Call `init_tracing(config.tracing)` automatically in `ElasticEvalsClient.__init__`. `TracingConfig.enabled` already exists as the opt-out: setting `ELASTIC_EVALS_TRACING_ENABLED=false` in the environment disables tracing before the client is constructed. No new API parameter is needed.

### Done when

- [ ] Running `run_experiment()` without calling `init_tracing()` first does not produce `trace_id=null` scores
- [ ] The opt-out (`ELASTIC_EVALS_TRACING_ENABLED=false`) is documented

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Direzione di ricerca

Inizia da ElasticEvalsClient.__init__ e confronta la sua configurazione del tracing con le chiamate a init_tracing() negli script di esempio; esamina evaluators/kibana.py:226-231 e run_experiment() per comprendere il comportamento attuale delle tracce null. La modifica è completa quando un’esecuzione predefinita produce trace IDs non-null e l’opt-out ELASTIC_EVALS_TRACING_ENABLED=false è documentato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
python
Ambito
backend, observability-sre
Tipo di issue
Bug
Difficoltà
3/5
Tempo stimato
1-2 giorni
Stato di attività
Tranquilla
Chiarezza
Specificata chiaramente
Idoneità per principianti
74/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.