graykode / graykode/nlp-tutorial
Problem with BERT batch generation
オープン
- 主要言語
- Jupyter Notebook
- スター
- 14.9k
- フォーク
- 3.9k
- PR マージ指標
- 30日以内にマージされた PR はありません
説明
There is a problem with padding on [line 73-75 ](https://github.com/graykode/nlp-tutorial/blob/cb4881ebf6683dc6970c53a2cf50d5fd01edf118/5-2.BERT/BERT-Torch.py#L73). What if the sentence length is larger than [maxlen](https://github.com/graykode/nlp-tutorial/blob/cb4881ebf6683dc6970c53a2cf50d5fd01edf118/5-2.BERT/BERT-Torch.py#L16)? Then we end up with sequences of varying length and [line 214](https://github.com/graykode/nlp-tutorial/blob/cb4881ebf6683dc6970c53a2cf50d5fd01edf118/5-2.BERT/BERT-Torch.py#L214) throws an error.
コントリビューションガイド
評価
この issue はまだ評価されていません。