simvue-io / simvue-io/python-api
Requesting multiple metrics sometimes give different results to requesting them individually
オープン
まだ誰も着手していません。
bug
python
- 主要言語
- Python
- スター
- 4
- フォーク
- 1
- 平均マージ
- 5日 8時間
- マージ済み PR(30日)
- 4
説明
Description of Bug
Sometimes, when a single metric is requested with get_metric_values, it returns a value for a particular time. But if both that metric and another are requested simultaneously, even if they both have a value at the same time, the value returned for the first metric is None.
Steps To Reproduce
Run this, noting that the run is on trial3. then comment out line 7, uncomment line 8, and run it again:
import simvue
run_id = "AZPKJLrtwr3ZerLi4QNnu8"
client = simvue.Client()
metric_names = ["soot_visibility.z.7_0.avg", "soot_visibility.z.37_0.avg"]
#metric_names = ["soot_visibility.z.7_0.avg"]
all_metric_values = client.get_metric_values(metric_names, 'time', run_ids=[run_id])
for (metric_name, single_metric_values) in all_metric_values.items():
print(f"{metric_name}: {list(single_metric_values.items())[-1]}")
Output:
soot_visibility.z.37_0.avg: ((1731.6583251953125, 'AZPKJLrtwr3ZerLi4QNnu8'), 29.584584259066062)
soot_visibility.z.7_0.avg: ((1731.6583251953125, 'AZPKJLrtwr3ZerLi4QNnu8'), None)
Output with line 8 instead of 7:
soot_visibility.z.7_0.avg: ((1731.6583251953125, 'AZPKJLrtwr3ZerLi4QNnu8'), 19.169060055914873)
Setup
- OS: Ubuntu
- python-api version v2.3.5
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
調査の方向性
get_metric_values の呼び出しから始め、両方の metric_names 構成を使って、提供された再現手順を trial3 に対して実行します。共有タイムスタンプの返却値を比較します。複数のメトリクスを要求した場合に、影響を受けるメトリクスを個別に要求したときに返される値と同じ値が維持されれば完了です。
索引モデルが issue の本文から書いたものです。
評価
- 技術スタック
- python
- 領域
- api, data
- issue の種類
- バグ
- 難易度
- 3/5
- 見積もり時間
- 1〜2日
- 活発さ
- 停滞
- 明瞭さ
- 明確に書かれている
- 初心者へのやさしさ
- 45/100