aayushxrj / aayushxrj/Pluto.ai
Use SentenceTransformersTokenTextSplitter() with RecursiveCharacterTextSplitter() to efficiently manage token limit of LLM
Aperta
enhancement
- Lingua principale
- Python
- Stelle
- 5
- Fork
- 0
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Descrizione
Questa issue non ha una descrizione.
Guida per i contributori
Nessuna guida per i contributori indicizzata per questo repository
Direzione di ricerca
Look for text splitting logic in the codebase, likely in a preprocessing or ingestion module. Identify where RecursiveCharacterTextSplitter is currently used and understand the token limits of the LLM (Claude). Research how to integrate SentenceTransformersTokenTextSplitter to respect token boundaries more efficiently. Test the new splitter on sample documents to verify it stays within limits.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Valutazione
- Ambito
- ai, backend
- Tipo di issue
- Funzionalità
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Stato di attività
- Ferma
- Chiarezza
- Da chiarire
- Idoneità per principianti
- 30/100