Is there anyway to merge multiple tokenize vocab?

Hi guys, My PC RAM Is overused because the large files to tokenize, So I have to train the tokenizers for part to part, but is there any way to merge them? Thanks a lot!

この issue では、ファイル、テスト、tokenizer の実装、または語彙形式が指定されていません。まずリポジトリを調査して tokenizer のエントリーポイントとサポートされている語彙アーティファクトを特定し、その後、どの独立して学習された語彙をマージすべきか、またマージを成功させるために何を保持する必要があるかを明確にしてください。

索引モデルが issue の本文から書いたものです。