elastic / elastic/elastic-evals-sdk-python
[kbn-evals] Tracing not initialised: all trace IDs null
- Lingua principale
- Python
- Stelle
- 2
- Fork
- 0
- Merge medio
- 1g 13h
- PR unite (30g)
- 18
Descrizione
### Summary
`init_tracing()` is never called by the SDK. Without it, every ingested score has `trace_id=null`, and every Kibana evaluator short-circuits to `label="unavailable"`. Running an experiment with default settings produces no usable evaluation results.
### Problem
- `init_tracing()` is only called in example scripts, never from `run_experiment()`
- `evaluators/kibana.py:226-231` returns `"unavailable"` when `trace_id` is None
- Nothing in the docs warns users about this
### Fix
Call `init_tracing(config.tracing)` automatically in `ElasticEvalsClient.__init__`. `TracingConfig.enabled` already exists as the opt-out: setting `ELASTIC_EVALS_TRACING_ENABLED=false` in the environment disables tracing before the client is constructed. No new API parameter is needed.
### Done when
- [ ] Running `run_experiment()` without calling `init_tracing()` first does not produce `trace_id=null` scores
- [ ] The opt-out (`ELASTIC_EVALS_TRACING_ENABLED=false`) is documented
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Inizia da ElasticEvalsClient.__init__ e confronta la sua configurazione del tracing con le chiamate a init_tracing() negli script di esempio; esamina evaluators/kibana.py:226-231 e run_experiment() per comprendere il comportamento attuale delle tracce null. La modifica è completa quando un’esecuzione predefinita produce trace IDs non-null e l’opt-out ELASTIC_EVALS_TRACING_ENABLED=false è documentato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- backend, observability-sre
- Tipo di issue
- Bug
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Tranquilla
- Chiarezza
- Specificata chiaramente
- Idoneità per principianti
- 74/100