googleapis / googleapis/google-cloud-cpp

Expose page token to caller for ListObjects API

オープン
#15,233 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る
type: feature request
主要言語
C++
スター
659
フォーク
462
平均マージ
1日 2時間
マージ済み PR(30日)
89

説明

**What component of `google-cloud-cpp` is this feature request for?**

google/cloud/storage/client.h

**Is your feature request related to a problem? Please describe.**
Currently ListObjects returns an iterator which can be used to go through all the object metadata using single API call. But in case the process that was fetching crashed, I need to resume efficiently right from where it left off for a particular prefix. As in I don't want to start the iterator from the beginning for that prefix. If we can add functionality using page token(as other cloud provider like AWS exposes) to efficiently resume starting from the page where the process crashed, then that will prevent us from re-fetching from beginning.

**Describe the solution you'd like**

Some sort of pagination or efficient seeking mechanism to resume from the process left off.

**Describe alternatives you've considered**

I have not leveraged [startOffset] option but given the object's are listed in lexicographical order of their name, can it be used for efficiently resuming from where the process left off if I pass the last fetched key just before the crash as `startOffset` to a new ListObjects iterator ? Is this seek to the startOffset when passed in the ListObjects API done in O(1)?

**Additional context**

コントリビューションガイド

コントリビューションガイドを開く

調査の方向性

google/cloud/storage/client.h の ListObjects から始め、issue で説明されている既存の startOffset オプションとそのイテレータを比較します。呼び出し側から見たページネーションと再開の契約を明確にし、startOffset が必要な動作を提供するかどうかも含めて、クラッシュ後に一覧表示を確実に継続できる方法として完了を定義します。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
cpp
領域
api, cloud
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
30/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。