AbrahamSanders / AbrahamSanders/codec-bpe

compression rate

オープン
#2 コメント 6 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
77
フォーク
8
PR マージ指標
30日以内にマージされた PR はありません

説明

good work!
I'm using 10M audio codecs to train codec-bpe with a `vocab_size=30k,num_codebook=4,codebook_size=1024`, after training I get a tokenizer and found the compression rate is nearly 1. For example, a 4s audio with 25hz, I get 400 audio codec tokens, and using codec-bpe I get about nearly the same token-size about more than 350 which is less then 1 ,`this can yield savings of 2-5x in sequence length compared to directly modeling the flattened codebooks `. I follow the steps in the readme, so can you share your codec-bpe tokenizer based on encodec or some other codec?

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。