allenai/longformer

Vedi su GitHub

Longformer: The Long-Document Transformer

Stelle: 2.2k
Fork: 286
Issue aperte per principianti: 0
Issue indicizzate: 128

Lingua principale: Python
Licenza: Apache-2.0
Ultimo push su GitHub: 8/5/2021
Ultima indicizzazione: 13/9/2026
Guida per i contributori: Nessuna guida per i contributori
Codice di condotta: Nessun codice di condotta
Label per principianti: Nessuna label per principianti indicizzata
Metriche di merge delle PR: Nessuna PR unita negli ultimi 30g

Aperta Tutte

128 issue aperte indicizzate

led-base-16384 summary results Aperta

allenai/longformer#154 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Does the multi-task training include predicting relevant paragraphs? Aperta

allenai/longformer#156 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Question about the implemented sparse attention Aperta

allenai/longformer#157 · 5 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
How can I run attention_mode='sliding_chunks' when autoregressive=True ? Aperta

allenai/longformer#158 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Problems with using LongFormer Aperta

allenai/longformer#159 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
index out of range: Tried to access index 50265 out of table with 50264 rows. Aperta

allenai/longformer#160 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
when fine-turn on QuacQA dataset,I meet RuntimeError: index out of range: Tried to access index 1 out of table with 0 rows. at /pytorch/aten/src/TH/generic/THTensorEvenMoreMath.cpp:418 Aperta

allenai/longformer#162 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
index out of range in self! Aperta

allenai/longformer#163 · 6 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Generating Embeddings Aperta

allenai/longformer#164 · 1 commento · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Initializing Weights Aperta

allenai/longformer#165 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Instructions to compile the TVM CUDA kernel do not work Aperta

allenai/longformer#167 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Urgent plz! Sequence Classifier produces same output during prediction Aperta

allenai/longformer#170 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
longformer infer speed? Aperta

allenai/longformer#171 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
GPUs requested but none are available. Aperta

allenai/longformer#173 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
ValueError: hidden size is called d_model Aperta

allenai/longformer#174 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
longformer speed compared to bert model Aperta

allenai/longformer#175 · 1 commento · 6 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Size mismatch error - LongBART Aperta

allenai/longformer#177 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
The exact English pretraining data and Chinese pretraining data that are exact same to the BERT paper's pretraining data. Aperta

allenai/longformer#178 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
local vs global attention in further MLM pre-training. Aperta

allenai/longformer#180 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Repeated and missed id of hyperpartisan splits Aperta

allenai/longformer#181 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
about global attention some issue Aperta

allenai/longformer#182 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
infer speed longformer vs bert Aperta

allenai/longformer#183 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Memory requirement changes after converting a model using create_long_model() function Aperta

allenai/longformer#184 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
about the model name Aperta

allenai/longformer#185 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Longformer model with weight(model.encoder.embed_positions.weight) error Aperta

allenai/longformer#186 · 3 commenti · 2 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
IndexError: index out of range in self Aperta

allenai/longformer#187 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
reproductivity of the output of Longformer Aperta

allenai/longformer#189 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Convert BERT to "long" version Aperta

allenai/longformer#191 · 5 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
allenai `LongformerEncoderDecoderForConditionalGeneration` vs huggingface `LEDForConditionalGeneration` Aperta

allenai/longformer#192 · 4 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Run inference for summarization Aperta

allenai/longformer#193 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Confusing attention_window configuration in converting roberta-base to longformer notebook Aperta

allenai/longformer#194 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
cannot import name 'nvcc' from 'tvm.contrib' (unknown location) Aperta

allenai/longformer#195 · 4 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Reproducibility of Table 11 (Summarization) Aperta

allenai/longformer#198 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
The availability of Longformer-tiny? Aperta

allenai/longformer#199 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Help needed with document/sentence embedding using longformer (LongformerForMaskedLM) model. Aperta

allenai/longformer#202 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Embedding dimension Aperta

allenai/longformer#203 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Correct way of loading pretrained model led-base-16384 Aperta

allenai/longformer#205 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Error when converting MBart to Longformer Aperta

allenai/longformer#206 · 2 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
LongformerForSequenceClassification explanation Aperta

allenai/longformer#207 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
What kind/format of text can replace your use of wikitext-103-raw-v1? Aperta

allenai/longformer#208 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Cannot build the docker image following the Cheatsheet.txt Aperta

allenai/longformer#209 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Difference between this codebase and Huggingface? Aperta

allenai/longformer#210 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Initialization for large-model-training is far too slow Aperta

allenai/longformer#211 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Longformer for autoregression Aperta

allenai/longformer#212 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
is here a simple example for seq2seq? Aperta

allenai/longformer#214 · 1 commento · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
TypeError: forward() takes from 2 to 7 positional arguments but 8 were given Aperta

allenai/longformer#215 · 3 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Is it possible to train LongformerEncoderDecoder starting from Japanese T5 checkpoint? Aperta

allenai/longformer#217 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Autoregressive and Relative Position Embedding Support Aperta

allenai/longformer#219 · 0 commenti · 0 reazioni · 0 assegnatari · Indicizzata il 13/9/2026
Adapting this repo to current version of transformers library Aperta

allenai/longformer#220 · 3 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026
Trying to run longformers on TPU Aperta

allenai/longformer#221 · 0 commenti · 1 reazione · 0 assegnatari · Indicizzata il 13/9/2026

allenai/longformer

Ricevi le nuove issue nella tua casella