aimclub / aimclub/CoScientist

Единообразие передачи файла через S3

Aperta
#329 0 commenti 0 reazioni 1 assegnatario Rivendicata da @AerDragon Vedi su GitHub
Lingua principale
Python
Stelle
27
Fork
11
Merge medio
2g 15h
PR unite (30g)
12

Descrizione

## Создать систему единообразной передачи файлов через S3

При необходимости внести файл на ввод тула (или получить от него ответ в виде файла) - он подгружается в S3, передается ссылка. Необходимо для данных, передача которых аргументом проблематична (условный словарь - можно напрямую, csv - уже файл)

При необходимости тул получает ссылку на файл, возвруащает ссылку на файл. по хорошему написанные функции уже переделывать не надо (это сломает текущий воркфлоу с контрактом взаимодействия и внутренним тестированием). Преобразование отдельных helper-функций в сервер реализовывается на этапе wrapper - соответственно модификации вносятся только на него. Сейчас в рамках теста тулы могут принимать на вход локальный путь или тот же URL - значит эту опцию не ломаем, проводится проверка S3 / ссылка другого типа, в зависимости от этого параметр передается напрямую / через дополнительные этапы оформленные wrapper-ом.

Референс по реализации - https://github.com/ITMO-NSS-team/MCPhub/blob/main/automl/automl_mcp.py и MCP SMILES_GENERATIVE, там тоже сделано S3

## Моменты от Арсения:
Q1) Выживут ли файлы и получится ли после завершения работы косаентиста?
A1) Выживут, ТТЛ отсутствует как таковой в принципе сейчас - пока ничего не было в эту сторону сделано

Q2) Насколько легко там все структурировать в хранилище
A2) Скоупать бакеты по юзерам -> сессиям, тогда хаоса будет меньше и он будет изолирован на юзера

## Дизайн док на который можно опираться (уже мог устареть)
Проверить что там все учтено из текущего описания задачи - [S3_FILE_TRANSFER_DESIGN.md](https://github.com/user-attachments/files/31419078/S3_FILE_TRANSFER_DESIGN.md)

Guida per i contributori

Apri la guida per i contributori

Direzione di ricerca

Start with S3_FILE_TRANSFER_DESIGN.md and compare it with the current wrapper layer and the reference implementation in automl/automl_mcp.py. Trace how wrappers handle local paths and URLs, then define the consistent S3 link flow without changing existing helper functions or breaking current workflows. Done means inputs and outputs can use S3 links while local paths and other URLs remain supported.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Valutazione

Stack tecnologico
aws, python
Ambito
backend, cloud, infrastructure
Tipo di issue
Funzionalità
Difficoltà
5/5
Tempo stimato
Più di una settimana
Stato di attività
Attiva
Chiarezza
Abbastanza chiara
Idoneità per principianti
35/100

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.