graphprotocol / graphprotocol/graph-node

[Bug] v0.40.1 - "graphman reassign" operations fails ~ 50% of the time without any meaningful info in subgraph's logs

オープン
#6,227 コメント 3 件 リアクション 3 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

bug Stale
主要言語
Rust
スター
3.2k
フォーク
1.1k
平均マージ
4日 1時間
マージ済み PR(30日)
1

説明

Bug report

Hi Team,
I'm using grapnode v0.40.1. Roughly 50% of my "graphman reassign" operations look like below:

  1. Subgraph is running perfectly fine (healthy, no lag, not paused) on indexer node X
  2. I invoke "graphman reassign SUBGRAPH_HASH indexer_node_Y" command and it finalises without problems
  3. I check the status of the subgraph with "graphman info --status" command after few minutes and the subgraph is stuck, it isn't processing any new blocks
  4. Target index node doesn't produce logs for this subgraph
  5. Prometheus metrics (for example "deployment_head") are available on the previous index node and on the new/target indexer node, on the previous index node they have misleading values as processing doesn't really take place on it anymore
  6. I have to perform at least 1 more reassign operation to fix the subgraphs, sometimes up to 5 reassignment operations have to be done
    I checked existing issues and it may be the case that https://github.com/graphprotocol/graph-node/issues/5253 is related so I've added a comment to it.

Can someone please take a look?

Relevant log output

IPFS hash

No response

Subgraph name or link to explorer

No response

Some information to help us out
  • Tick this box if this bug is caused by a regression found in the latest release.
  • Tick this box if this bug is specific to the hosted service.
  • I have searched the issue tracker to make sure this issue is not a duplicate.
OS information

None

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

まず、断続的に発生する graphman reassign SUBGRAPH_HASH indexer_node_Y ワークフローを再現し、その後 graphman info --status を調べて、両方の indexer ノード上のログと deployment_head を比較します。背景については関連する issue #5253 を確認してください。再割り当てがターゲットノードで一貫して処理を開始し、失敗時に正確なメトリクスと有用なログが得られれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
rust
領域
cli, distributed-systems
issue の種類
バグ
難易度
4/5
見積もり時間
3〜5日
活発さ
活発
明瞭さ
おおむね明確
初心者へのやさしさ
45/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。