aayushxrj / aayushxrj/Pluto.ai
Use SentenceTransformersTokenTextSplitter() with RecursiveCharacterTextSplitter() to efficiently manage token limit of LLM
Ouverte
enhancement
- Langage dominant
- Python
- Étoiles
- 5
- Forks
- 0
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Description
Cette issue n'a pas de description.
Guide de contribution
Aucun guide de contribution indexé pour ce dépôt
Piste de recherche
Recherchez la logique de découpage du texte dans la base de code, probablement dans un module de prétraitement ou d’ingestion. Identifiez où RecursiveCharacterTextSplitter est actuellement utilisé et comprenez les limites de tokens du LLM (Claude). Étudiez comment intégrer SentenceTransformersTokenTextSplitter afin de respecter plus efficacement les limites de tokens. Testez le nouveau séparateur sur des documents d’exemple pour vérifier qu’il reste dans les limites.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Évaluation
- Domaine
- ai, backend
- Type d'issue
- Fonctionnalité
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Activité
- À l'abandon
- Clarté
- À clarifier
- Accessibilité débutants
- 30/100