aimclub / aimclub/CoScientist

Единообразие передачи файла через S3

Offen
#329 0 Kommentare 0 Reaktionen 1 zugewiesene Person Beansprucht von @AerDragon Auf GitHub ansehen
Vorherrschende Sprache
Python
Sterne
27
Forks
11
Ø Merge
2 T. 15 Std.
Gemergte PRs (30 T.)
12

Beschreibung

## Создать систему единообразной передачи файлов через S3

При необходимости внести файл на ввод тула (или получить от него ответ в виде файла) - он подгружается в S3, передается ссылка. Необходимо для данных, передача которых аргументом проблематична (условный словарь - можно напрямую, csv - уже файл)

При необходимости тул получает ссылку на файл, возвруащает ссылку на файл. по хорошему написанные функции уже переделывать не надо (это сломает текущий воркфлоу с контрактом взаимодействия и внутренним тестированием). Преобразование отдельных helper-функций в сервер реализовывается на этапе wrapper - соответственно модификации вносятся только на него. Сейчас в рамках теста тулы могут принимать на вход локальный путь или тот же URL - значит эту опцию не ломаем, проводится проверка S3 / ссылка другого типа, в зависимости от этого параметр передается напрямую / через дополнительные этапы оформленные wrapper-ом.

Референс по реализации - https://github.com/ITMO-NSS-team/MCPhub/blob/main/automl/automl_mcp.py и MCP SMILES_GENERATIVE, там тоже сделано S3

## Моменты от Арсения:
Q1) Выживут ли файлы и получится ли после завершения работы косаентиста?
A1) Выживут, ТТЛ отсутствует как таковой в принципе сейчас - пока ничего не было в эту сторону сделано

Q2) Насколько легко там все структурировать в хранилище
A2) Скоупать бакеты по юзерам -> сессиям, тогда хаоса будет меньше и он будет изолирован на юзера

## Дизайн док на который можно опираться (уже мог устареть)
Проверить что там все учтено из текущего описания задачи - [S3_FILE_TRANSFER_DESIGN.md](https://github.com/user-attachments/files/31419078/S3_FILE_TRANSFER_DESIGN.md)

Beitragsleitfaden

Beitragsleitfaden öffnen

Bewertung

Dieses Issue wurde noch nicht bewertet.

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.