openzim / openzim/python-scraperlib

Add S3 based optimization cache support

オープン
#30 コメント 1 件 リアクション 1 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

enhancement stale
主要言語
Python
スター
31
フォーク
27
平均マージ
3日 7時間
マージ済み PR(30日)
2

説明

We use kiwix_storagelib for implementing S3 based optimization cache in the scrapers. However, this gives rise to redundant code. We put a version of the file along with the optimizer version as the metadata always. So, this can be better implemented in scraperlib. For a start, we can have a caching module that can have 3 functions, (or maybe a class containing methods). The primary 3 things we need are -

  • download_from_cache()
  • upload_to_cache()
  • check_credentials()

There can be several ways to have this, but it should at least fulfill the following -

  • Compare optimizer_version
  • Compare file_version

Optional things can be to check file upload date and discard if it's older than a specified amount of time. If we go for a class based approach, we can also explore possibilities to improve performance.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

調査の方向性

まず、scrapers における既存の kiwix_storagelib の使用方法と、optimizer およびファイルのバージョンがメタデータとしてどのように保存されているかを確認します。キャッシュのエントリーポイントを定義し、認証情報、ダウンロード、アップロード、および両方のバージョン比較が対象になっていることを検証します。issue では具体的なファイルやテストは指定されていません。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
aws, python
領域
backend, cloud
issue の種類
機能追加
難易度
4/5
見積もり時間
3〜5日
活発さ
停滞
明瞭さ
説明が足りない
初心者へのやさしさ
35/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。