codertimo/BERT-pytorch

Vedi su GitHub

Google AI 2018 BERT pytorch implementation

Stelle: 6.5k
Fork: 1.3k
Issue aperte per principianti: 0
Issue indicizzate: 57

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 30/10/2018
Ultima indicizzazione: 15/9/2026
Guida per i contributori: Nessuna guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: help wanted good first issue
Metriche di merge delle PR: Nessuna PR unita negli ultimi 30g

Aperta Tutte

57 issue aperte indicizzate

what’s your data set? Aperta

question

codertimo/BERT-pytorch#1 · 7 commenti · 0 reazioni · 2 assegnatari · Indicizzata il 15/9/2026
Is it possible to train BERT? Aperta

help wanted question

codertimo/BERT-pytorch#3 · 7 commenti · 0 reazioni · 1 assegnatario · Indicizzata il 15/9/2026
when training the masked LM, the unmasked words (have label 0) were trained together with masked words? Aperta

enhancement question

codertimo/BERT-pytorch#29 · 6 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
pred_loss decrease fast while avg_acc stay at 50% Aperta

help wanted invalid question

codertimo/BERT-pytorch#32 · 53 commenti · 1 reazione · 0 assegnatari · Indicizzata il 15/9/2026
Vocab Replace \t to blank issue Aperta

bug

codertimo/BERT-pytorch#33 · 2 commenti · 1 reazione · 0 assegnatari · Indicizzata il 15/9/2026
Pretrained model transfer to pytorch Aperta

enhancement help wanted

codertimo/BERT-pytorch#34 · 8 commenti · 11 reazioni · 1 assegnatario · Indicizzata il 15/9/2026
how to test the model? Aperta

enhancement question

codertimo/BERT-pytorch#38 · 2 commenti · 3 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Tie the input and output embedding? Aperta

enhancement

codertimo/BERT-pytorch#40 · 5 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
the format of input Aperta

question

codertimo/BERT-pytorch#41 · 4 commenti · 1 reazione · 0 assegnatari · Indicizzata il 15/9/2026
Making Wikipedia Corpus Aperta

help wanted

codertimo/BERT-pytorch#42 · 1 commento · 2 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Making Book Corpus Aperta

help wanted

codertimo/BERT-pytorch#43 · 5 commenti · 2 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
What should be the shapes and example of values of x and segment_info in BERT.forward? Aperta

codertimo/BERT-pytorch#48 · 0 commenti · 6 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Question about the loss of Masked LM Aperta

good first issue

codertimo/BERT-pytorch#49 · 5 commenti · 13 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
made a script to generate bert pre-train data Aperta

codertimo/BERT-pytorch#50 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
IndexError: list index out of range Aperta

codertimo/BERT-pytorch#52 · 13 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
PositionalEmbedding Aperta

good first issue

codertimo/BERT-pytorch#53 · 3 commenti · 4 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
will "random.randint(self.corpus_lines if self.corpus_lines < 1000 else 1000)" report error? Aperta

codertimo/BERT-pytorch#55 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
chooses 15% of token Aperta

good first issue

codertimo/BERT-pytorch#56 · 1 commento · 1 reazione · 0 assegnatari · Indicizzata il 15/9/2026
How to test your model after training on my own dataset? Aperta

codertimo/BERT-pytorch#57 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
self.d_k = d_model // h gives 64 dimension ? Aperta

codertimo/BERT-pytorch#60 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
How can I finetune with this project Aperta

codertimo/BERT-pytorch#61 · 5 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
OOM error in cuda while passing large corpus of wikipedia text files ? how to manage big files to train Aperta

codertimo/BERT-pytorch#64 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Erroneous Code Aperta

codertimo/BERT-pytorch#65 · 0 commenti · 1 reazione · 0 assegnatari · Indicizzata il 15/9/2026
ONNX conversion: TransformerBlock problem Aperta

codertimo/BERT-pytorch#67 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Vocab's load_vectors seems to be an old method? Aperta

codertimo/BERT-pytorch#69 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
# of parameter is larger than bert base instead im using specs less than bert base Aperta

codertimo/BERT-pytorch#70 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Did you have tried to use ipdb to set breakpoint in __get__item__, which is a funtion from BERTDataset Aperta

codertimo/BERT-pytorch#71 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
predict next sentence ony? it also can do SQA assignments? Aperta

codertimo/BERT-pytorch#72 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Can you share me a trained data? Aperta

codertimo/BERT-pytorch#73 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
How to use BERT model to fine-tune a cloze-style task? Aperta

codertimo/BERT-pytorch#74 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
If I want to use /u as a placeholder instead of /t, what do I need to do Aperta

codertimo/BERT-pytorch#75 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
How to Output Embedded Sentence Vector? Aperta

codertimo/BERT-pytorch#76 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
embedding/position.py with RuntimeError if d_model is odd Aperta

codertimo/BERT-pytorch#78 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
How to use this bert model to load and finetune ? Aperta

codertimo/BERT-pytorch#79 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
How to implement model once pretrained for masked input sentences? Aperta

codertimo/BERT-pytorch#80 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Default model sizes are much smaller than BERT base Aperta

codertimo/BERT-pytorch#81 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
how to do Ner Aperta

codertimo/BERT-pytorch#82 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
transformer.py 中的forword方法调用的SublayerConnection类。实现残差链接和标准化的实现 Aperta

codertimo/BERT-pytorch#83 · 2 commenti · 3 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
In Next Sentence Prediction task,the original code may choose the same line when you try to use the negative sample Aperta

codertimo/BERT-pytorch#86 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
An error occurred【AttributeError: type object 'BERT' has no attribute 'hidden'】 Aperta

codertimo/BERT-pytorch#87 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
IndexError Aperta

codertimo/BERT-pytorch#88 · 6 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
The exact English pretraining data and Chinese pretraining data that are exact same to the BERT paper's pretraining data. Aperta

codertimo/BERT-pytorch#89 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
why language_model.py has different vectors Aperta

codertimo/BERT-pytorch#91 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Why not use torch.no_grad when evaluating test data? Aperta

codertimo/BERT-pytorch#92 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
dataset / dataset.py have one erro? Aperta

codertimo/BERT-pytorch#93 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
It keeps trying to use CUDA despite --with_cuda False option Aperta

codertimo/BERT-pytorch#94 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
Pooler layer? Aperta

codertimo/BERT-pytorch#95 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
bert-vocab? Aperta

codertimo/BERT-pytorch#96 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 15/9/2026
why specify `ignore_index=0` in the NLLLoss function in BERTTrainer? Aperta

codertimo/BERT-pytorch#98 · 1 commento · 1 reazione · 0 assegnatari · Indicizzata il 15/9/2026
What dataset did you use to train model? Aperta

codertimo/BERT-pytorch#99 · 2 commenti · 3 reazioni · 0 assegnatari · Indicizzata il 15/9/2026

codertimo/BERT-pytorch

Ricevi le nuove issue nella tua casella