Kaggle / Kaggle/docker-python

Additional ext4-backed mount point for high-throughput I/O caching (besides `/kaggle/working`)

オープン
#1,506 コメント 0 件 リアクション 1 件 担当者 0 名 GitHub で見る
enhancement
主要言語
Python
スター
2.7k
フォーク
1k
平均マージ
7日 14時間
マージ済み PR(30日)
2

説明

## 🚀 Feature

Provide an additional mount point backed by a physical device (`ext4`), separate from `/kaggle/working`, to use as a high-throughput I/O cache (e.g., `/tmp`).

## Motivation

* The container root (`/`) appears to be provided via an overlay filesystem; write/metadata performance on overlay can be slower or less predictable than on a host-backed volume such as `/kaggle/working`.
* Some applications default to `/tmp` for I/O-intensive caches; on overlay this default can become an I/O bottleneck.
* `/kaggle/working` is relatively fast and can be an alternatives to `/tmp`, but its capacity is limited to \~20 GB per session, which is sometimes insufficient to host checkpoint of LLMs (\~100GB).
* An additional fast endpoint for caching has the potential to better utilize the instance’s compute resources (e.g., T4, P100) that are often bottlenecked by disk I/O.

## Additional context

I benchmarked sequential I/O and observed both writes and reads to be slower on `/tmp` (overlay) than on `/kaggle/working` (host-backed). Write throughput on `/tmp` is especially unstable; it sometimes gets ~5–10× lower in my tests.

* [🕵️ I/O Performance Test in Kaggle Kernel](https://www.kaggle.com/code/tatamikenn/i-o-performance-test-in-kaglle-kernel)

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

調査の方向性

まず、issue の I/O ベンチマークと既存のコンテナマウント設定を確認してください。レポートでは実装ファイルやテストは指定されていません。追加の物理デバイス backed の ext4 マウントを /kaggle/working とは別に定義し、その後、既存のマウント動作を変更せずに、より大きく高速なキャッシュパスを提供することを検証してください。

索引モデルが issue の本文から書いたものです。

評価

技術スタック
docker, linux
領域
infrastructure, operating-systems
issue の種類
機能追加
難易度
5/5
見積もり時間
1週間以上
活発さ
停滞
明瞭さ
おおむね明確
初心者へのやさしさ
25/100

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。