GoogleCloudPlatform / GoogleCloudPlatform/cloud-logging-data-source-plugin

Feature Request: Ability to correlate logs with other data sources

オープン
#42 コメント 5 件 リアクション 3 件 担当者 0 名 GitHub で見る
enhancement
主要言語
TypeScript
スター
24
フォーク
17
平均マージ
13時間 11分
マージ済み PR(30日)
11

説明

The recently announced [correlation](https://grafana.com/docs/grafana/latest/administration/correlations/) feature in Grafana enables data correlation between any enabled data sources.

We want to be able to correlate logs from Google Cloud Logging plugin with other observability data (not in GCP) like metrics and traces.

In practice this means adding Links to a Log Panel in Grafana Explore that use correlation variables:

Screenshot 2023-07-13 at 16 48 54

In this example I used a Loki data source with some dummy data to configure log correlation with traces and metrics.
One thing that's required for a correlation is to know what field the log line is in. This can be checked in Grafana Explore by clicking the Inspector and then viewing the Data tab:

Screenshot 2023-07-13 at 17 00 32

In this case the required field is Line which is used as an input for configuring source data in the correlation configuration page:

Screenshot 2023-07-13 at 17 02 06

When I use the Inspector for logs in Google Cloud Logging plugin I get a different field for each log entry (see the csv examples attached), which makes it impossible to define correlations for our logs.

Screenshot 2023-07-13 at 17 34 05

I also tried using regex to extract `resoure.labels.pod_name` from the content field, but unfortunately it doesn't seem to work. The regex I used: `resource.labels.pod_name="(.+?)"`

Screenshot 2023-07-18 at 14 08 54

I suspect that Grafana treats (content + payload) as a field name and a log entry as the field value. So any regex would be checked against the field value, which is why it's not possible to make it work with the current field + payload structure.

It would be great if the plugin could work with the new correlation feature as it enables us to improve our troubleshooting experience.

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

プラグインの現在のフィールドとペイロードの構造から始め、リンクされている Grafana の correlations ドキュメントと、issue に記載されている Inspector の出力を使用します。生成されたログフィールドを、correlations が想定する安定した Line フィールドと比較します。Google Cloud Logging の結果から、ログ、メトリクス、またはトレースに使用できる相関ソースが取得できれば完了です。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
google-cloud, typescript
領域
observability
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。