Bug in QAEvaluator Evaluation Object

- azure-ai-evaluation:
- 1.11.0:
- MacOS:
- Python 3.11.9:

When using the QAEvaluator object the F1 threshold is defaulting to 3 when it should be 0.5. Not only that, it is passing below the threshold when only above the threshold should be passing

Run the QAEvaluator object on a simple example and it should come up.

The default threshold for F1 should be 0.5, and it should pass if the value is above the threshold (not below).

I tried to run this with setting the default in the object to 0.5 manually and it still defaulted to 3.0.

And Secondly, if your agent outputs happen to be just a string composed of numbers reading in from the jsonl file converts the column to integer and QAEvaluator will fail at a ".lower()" step.

Inizia riproducendo il problema con un semplice esempio di QAEvaluator in azure-ai-evaluation, verificando come viene inizializzata la soglia F1 e come viene confrontato il risultato. Traccia inoltre l’errore quando le stringhe numeriche JSONL arrivano al passaggio .lower(); il lavoro è completato quando il valore predefinito è 0.5, i valori superiori lo superano e gli input numerici non falliscono più in quel punto.

Scritto dal modello di indicizzazione a partire dal testo della issue.