Is there anyway to merge multiple tokenize vocab?

Hi guys, My PC RAM Is overused because the large files to tokenize, So I have to train the tokenizers for part to part, but is there any way to merge them? Thanks a lot!

L’issue ne nomme aucun fichier, test, implémentation du tokenizer ni format de vocabulaire. Commencez par inspecter le dépôt afin d’identifier les points d’entrée du tokenizer et les artefacts de vocabulaire pris en charge, puis déterminez quels vocabulaires entraînés indépendamment doivent être fusionnés et ce que cette fusion doit préserver pour être réussie.

Rédigé par le modèle d'indexation à partir du texte de l'issue.