aimclub / aimclub/CoScientist

Единообразие передачи файла через S3

Offen
#329 0 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @AerDragon Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
27
Forks
11
Ø Merge
2 T. 15 Std.
Gemergte PRs (30 T.)
12

Beschreibung

## Создать систему единообразной передачи файлов через S3

При необходимости внести файл на ввод тула (или получить от него ответ в виде файла) - он подгружается в S3, передается ссылка. Необходимо для данных, передача которых аргументом проблематична (условный словарь - можно напрямую, csv - уже файл)

При необходимости тул получает ссылку на файл, возвруащает ссылку на файл. по хорошему написанные функции уже переделывать не надо (это сломает текущий воркфлоу с контрактом взаимодействия и внутренним тестированием). Преобразование отдельных helper-функций в сервер реализовывается на этапе wrapper - соответственно модификации вносятся только на него. Сейчас в рамках теста тулы могут принимать на вход локальный путь или тот же URL - значит эту опцию не ломаем, проводится проверка S3 / ссылка другого типа, в зависимости от этого параметр передается напрямую / через дополнительные этапы оформленные wrapper-ом.

Референс по реализации - https://github.com/ITMO-NSS-team/MCPhub/blob/main/automl/automl_mcp.py и MCP SMILES_GENERATIVE, там тоже сделано S3

## Моменты от Арсения:
Q1) Выживут ли файлы и получится ли после завершения работы косаентиста?
A1) Выживут, ТТЛ отсутствует как таковой в принципе сейчас - пока ничего не было в эту сторону сделано

Q2) Насколько легко там все структурировать в хранилище
A2) Скоупать бакеты по юзерам -> сессиям, тогда хаоса будет меньше и он будет изолирован на юзера

## Дизайн док на который можно опираться (уже мог устареть)
Проверить что там все учтено из текущего описания задачи - [S3_FILE_TRANSFER_DESIGN.md](https://github.com/user-attachments/files/31419078/S3_FILE_TRANSFER_DESIGN.md)

Beitragsleitfaden

Beitragsleitfaden öffnen

Rechercherichtung

Start with S3_FILE_TRANSFER_DESIGN.md and compare it with the current wrapper layer and the reference implementation in automl/automl_mcp.py. Trace how wrappers handle local paths and URLs, then define the consistent S3 link flow without changing existing helper functions or breaking current workflows. Done means inputs and outputs can use S3 links while local paths and other URLs remain supported.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Bewertung

Tech-Stack
aws, python
Bereich
backend, cloud, infrastructure
Issue-Typ
Feature
Schwierigkeit
5/5
Geschätzter Aufwand
Über eine Woche
Aktivitätsstatus
Aktiv
Klarheit
Größtenteils klar
Anfängerfreundlichkeit
35/100

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.