Пайплайн для обновления базы
- Lingua principale
- Python
- Stelle
- 27
- Fork
- 11
- Merge medio
- 2g 15h
- PR unite (30g)
- 12
Descrizione
- от сервиса получить данные о статьях
- скачать pdf для нужных статей (тул от нирсии)
- запустить пайплайн для обработки статей (на вход pdf + метаданные из базы)
сначала запустить на тестовой выборке, потом обработать всю базу, потом настроить регулярные обновления
http://fpin-projects.ru:12280/docs#/
Guida per i contributori
Apri la guida per i contributori
Direzione di ricerca
Start with the service API documentation at http://fpin-projects.ru:12280/docs#/ and determine the entry points for retrieving article metadata and downloading PDFs. Then map the existing article-processing pipeline and define a test-sample run, a full-database run, and the regular-update mechanism as separate completion stages.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Stack tecnologico
- python
- Ambito
- data-engineering, databases
- Tipo di issue
- Funzionalità
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Stato di attività
- Tranquilla
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 20/100