simvue-io / simvue-io/python-api

Requesting multiple metrics sometimes give different results to requesting them individually

オープン
#924 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

bug python
主要言語
Python
スター
4
フォーク
1
平均マージ
5日 8時間
マージ済み PR(30日)
4

説明

Description of Bug

Sometimes, when a single metric is requested with get_metric_values, it returns a value for a particular time. But if both that metric and another are requested simultaneously, even if they both have a value at the same time, the value returned for the first metric is None.

Steps To Reproduce

Run this, noting that the run is on trial3. then comment out line 7, uncomment line 8, and run it again:

import simvue

run_id = "AZPKJLrtwr3ZerLi4QNnu8"

client = simvue.Client()

metric_names = ["soot_visibility.z.7_0.avg", "soot_visibility.z.37_0.avg"]
#metric_names = ["soot_visibility.z.7_0.avg"]

all_metric_values = client.get_metric_values(metric_names, 'time', run_ids=[run_id])

for (metric_name, single_metric_values) in all_metric_values.items():
    print(f"{metric_name}: {list(single_metric_values.items())[-1]}")

Output:

soot_visibility.z.37_0.avg: ((1731.6583251953125, 'AZPKJLrtwr3ZerLi4QNnu8'), 29.584584259066062)
soot_visibility.z.7_0.avg: ((1731.6583251953125, 'AZPKJLrtwr3ZerLi4QNnu8'), None)

Output with line 8 instead of 7:

soot_visibility.z.7_0.avg: ((1731.6583251953125, 'AZPKJLrtwr3ZerLi4QNnu8'), 19.169060055914873)

Setup

  • OS: Ubuntu
  • python-api version v2.3.5

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

get_metric_values の呼び出しから始め、両方の metric_names 構成を使って、提供された再現手順を trial3 に対して実行します。共有タイムスタンプの返却値を比較します。複数のメトリクスを要求した場合に、影響を受けるメトリクスを個別に要求したときに返される値と同じ値が維持されれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
python
領域
api, data
issue の種類
バグ
難易度
3/5
見積もり時間
1〜2日
活発さ
停滞
明瞭さ
明確に書かれている
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。