modelscope / modelscope/ms-swift

Qwen2.5 VL 7B with --use_liger_kernel true leads to KeyError: 'input_ids'

Open
#6,534 3 comments 0 reactions 1 assignee View on GitHub

@hjh0119 is already working on this.

Since Nov 12, 2025.

stale
Dominant language
Python
Stars
15.7k
Forks
1.7k
Avg merge
1d 16h
Merged PRs (30d)
136

Description

Describe the bug
I've tried to recreate multimodal rlhf setup from documentation described here https://swift.readthedocs.io/en/latest/BestPractices/GRPO-Multi-Modal-Training.html

With three small changes:
I've changed Qwen/Qwen2.5-VL-3B-Instruct -> Qwen/Qwen2.5-VL-7B-Instruct
and added flag --use_liger_kernel true, also tried combine it with --load_from_cache_file false but it didn't help
also I've added flag --attn_impl flash_attn with or without it problem persist
I'm getting this traceback:

[rank0]: Traceback (most recent call last):
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/cli/rlhf.py", line 5, in <module>
[rank0]:     rlhf_main()
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/llm/train/rlhf.py", line 217, in rlhf_main
[rank0]:     return SwiftRLHF(args).main()
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/llm/base.py", line 49, in main
[rank0]:     result = self.run()
[rank0]:              ^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/llm/train/sft.py", line 195, in run
[rank0]:     return self.train(trainer)
[rank0]:            ^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/llm/train/sft.py", line 243, in train
[rank0]:     trainer.train(trainer.args.resume_from_checkpoint)
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/trainers/mixin.py", line 794, in train
[rank0]:     res = super().train(*args, **kwargs)
[rank0]:           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/transformers/trainer.py", line 2325, in train
[rank0]:     return inner_training_loop(
[rank0]:            ^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/transformers/trainer.py", line 2674, in _inner_training_loop
[rank0]:     tr_loss_step = self.training_step(model, inputs, num_items_in_batch)
[rank0]:                    ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/trainers/rlhf_trainer/grpo_trainer.py", line 2015, in training_step
[rank0]:     return super().training_step(model, inputs, num_items_in_batch)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/transformers/trainer.py", line 4020, in training_step
[rank0]:     loss = self.compute_loss(model, inputs, num_items_in_batch=num_items_in_batch)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/trainers/rlhf_trainer/utils.py", line 170, in wrapper
[rank0]:     return func(self, *args, **kwargs)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/trainers/rlhf_trainer/grpo_trainer.py", line 1406, in compute_loss
[rank0]:     return self._forward_redirection(model, unwrapped_model, self.compute_liger_loss, unwrapped_model, inputs)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/trainers/rlhf_trainer/utils.py", line 209, in __call__
[rank0]:     wrapper_output = wrapper_module(*args, **kwargs)
[rank0]:                      ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1773, in _wrapped_call_impl
[rank0]:     return self._call_impl(*args, **kwargs)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1784, in _call_impl
[rank0]:     return forward_call(*args, **kwargs)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/deepspeed/utils/nvtx.py", line 20, in wrapped_fn
[rank0]:     ret_val = func(*args, **kwargs)
[rank0]:               ^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/deepspeed/runtime/engine.py", line 2178, in forward
[rank0]:     loss = self.module(*inputs, **kwargs)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1773, in _wrapped_call_impl
[rank0]:     return self._call_impl(*args, **kwargs)
[rank0]:            ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1879, in _call_impl
[rank0]:     return inner()
[rank0]:            ^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/torch/nn/modules/module.py", line 1806, in inner
[rank0]:     args_kwargs_result = hook(self, args, kwargs)  # type: ignore[misc]
[rank0]:                          ^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/llm/template/base.py", line 1325, in pre_forward_hook
[rank0]:     kwargs = to_device(self._post_encode(model, old_kwargs), model.device)
[rank0]:                        ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
[rank0]:   File "/mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/.pdm_venv_3_11/lib/python3.11/site-packages/swift/llm/template/template/qwen.py", line 399, in _post_encode
[rank0]:     input_ids = inputs['input_ids']
[rank0]:                 ~~~~~~^^^^^^^^^^^^^
[rank0]: KeyError: 'input_ids'

Your hardware and system info
8xh100 80 gb
ms-swift==3.9.3
liger_kernel==0.6.3
transformers==4.57.1
trl==0.20.0
torch==2.8.0

Additional context
Here is sh script to reproduce error

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 \
NPROC_PER_NODE=6 \
swift rlhf \
    --rlhf_type grpo \
    --model Qwen/Qwen2.5-VL-7B-Instruct \
    --external_plugins examples/train/grpo/plugin/plugin.py \
    --reward_funcs external_r1v_acc format \
    --use_vllm true \
    --vllm_mode server \
    --vllm_server_host 127.0.0.1 \
    --vllm_server_port 8000 \
    --train_type full \
    --torch_dtype bfloat16 \
    --dataset 'AI-ModelScope/clevr_cogen_a_train' \
    --load_from_cache_file true \
    --max_completion_length 1024 \
    --num_train_epochs 1 \
    --per_device_train_batch_size 8 \
    --per_device_eval_batch_size 8 \
    --learning_rate 1e-6 \
    --gradient_accumulation_steps 2 \
    --save_strategy 'steps' \
    --eval_strategy 'steps' \
    --eval_steps 1000 \
    --save_steps 1000 \
    --save_total_limit 10 \
    --logging_steps 1 \
    --output_dir output/GRPO_CLEVR_COUNTDOWN \
    --warmup_ratio 0.01 \
    --dataloader_num_workers 4 \
    --num_generations 24 \
    --temperature 1.0 \
    --system 'examples/train/grpo/prompt.txt' \
    --deepspeed zero3 \
    --log_completions true \
    --report_to wandb \
    --num_iterations 1 \
    --async_generate false \
    --beta 0.001 \
    --attn_impl flash_attn \
    --load_from_cache_file false \
    --use_liger_kernel true

Also I've put simple print inside _post_encode method of Qwen2VLTemplate to see what inputs does it see, and I've got this:

[INFO:swift] default_system: 'A conversation between User and Assistant. The user asks a question, and the Assistant solves it. The assistant first thinks about the reasoning process in the mind and then provides the user with the answer. The reasoning process and answer are enclosed within <think> </think> and <answer> </answer> tags, respectively, i.e., <think> reasoning process here </think><answer> answer here </answer>'
[INFO:swift] max_length: 128000
[INFO:swift] response_prefix: ''
[INFO:swift] agent_template: hermes
[INFO:swift] norm_bbox: none
[INFO:swift] Setting ROOT_IMAGE_DIR: None. You can adjust this hyperparameter through the environment variable: `ROOT_IMAGE_DIR`.
[INFO:swift] Setting QWENVL_BBOX_FORMAT: legacy. You can adjust this hyperparameter through the environment variable: `QWENVL_BBOX_FORMAT`.
[INFO:swift] Start time of running main: 2025-11-10 17:56:49.197345
[INFO:swift] swift.__version__: 3.9.3
[INFO:swift] Downloading the dataset from ModelScope, dataset_id: AI-ModelScope/clevr_cogen_a_train
Loading checkpoint shards:   0%|                                                                                                                                                                                                                                                                                                                                                       | 0/5 [00:00<?, ?it/s]Downloading Model from https://www.modelscope.cn to directory: /mnt/shared_ru.ml.SZ-4_000005/multimodal/datasets/cache/modelscope/models/Qwen/Qwen2.5-VL-7B-Instruct
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:03<00:00,  1.54it/s]
Loading checkpoint shards:  40%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 2/5 [00:01<00:02,  1.36it/s]Downloading Model from https://www.modelscope.cn to directory: /mnt/shared_ru.ml.SZ-4_000005/multimodal/datasets/cache/modelscope/models/Qwen/Qwen2.5-VL-7B-Instruct
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:03<00:00,  1.53it/s]
Loading checkpoint shards:  20%|███████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                            | 1/5 [00:00<00:03,  1.15it/s]Downloading Model from https://www.modelscope.cn to directory: /mnt/shared_ru.ml.SZ-4_000005/multimodal/datasets/cache/modelscope/models/Qwen/Qwen2.5-VL-7B-Instruct
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:03<00:00,  1.50it/s]
Loading checkpoint shards:  20%|███████████████████████████████████████████████████████████████████                                                                                                                                                                                                                                                                            | 1/5 [00:00<00:02,  1.57it/s]Downloading Model from https://www.modelscope.cn to directory: /mnt/shared_ru.ml.SZ-4_000005/multimodal/datasets/cache/modelscope/models/Qwen/Qwen2.5-VL-7B-Instruct
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:03<00:00,  1.53it/s]
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:03<00:00,  1.37it/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:04<00:00,  5.74it/s]
Loading dataset shards: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:00<00:00, 7697.06it/s]
Map: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 70000/70000 [00:24<00:00, 2914.74 examples/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:07<00:00,  3.78it/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:05<00:00,  4.81it/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:06<00:00,  4.25it/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:04<00:00,  5.56it/s]
Loading dataset shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:00<00:00, 162.28it/s]
Loading dataset shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:00<00:00, 479.52it/s]
Loading dataset shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:00<00:00, 87.43it/s]
Loading dataset shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:00<00:00, 131.27it/s]
Resolving data files: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 27/27 [00:06<00:00,  4.31it/s]
Loading dataset shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 26/26 [00:00<00:00, 103.69it/s]
Map: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 70000/70000 [00:44<00:00, 1585.57 examples/s]
[INFO:swift] train_dataset: Dataset({
    features: ['images', 'messages', 'solution'],
    num_rows: 70000
})
[INFO:swift] val_dataset: None
[INFO:swift] The RLHFArguments will be saved in: /mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/outputs/GRPO_CLEVR_COUNTDOWN/v23-20251110-175549/args.json
[INFO:swift] model: Qwen2_5_VLForConditionalGeneration(
  (model): Qwen2_5_VLModel(
    (visual): Qwen2_5_VisionTransformerPretrainedModel(
      (patch_embed): Qwen2_5_VisionPatchEmbed(
        (proj): Conv3d(3, 1280, kernel_size=(2, 14, 14), stride=(2, 14, 14), bias=False)
      )
      (rotary_pos_emb): Qwen2_5_VisionRotaryEmbedding()
      (blocks): ModuleList(
        (0-31): 32 x Qwen2_5_VLVisionBlock(
          (norm1): Qwen2RMSNorm((1280,), eps=1e-06)
          (norm2): Qwen2RMSNorm((1280,), eps=1e-06)
          (attn): Qwen2_5_VLVisionAttention(
            (qkv): Linear(in_features=1280, out_features=3840, bias=True)
            (proj): Linear(in_features=1280, out_features=1280, bias=True)
          )
          (mlp): Qwen2_5_VLMLP(
            (gate_proj): Linear(in_features=1280, out_features=3420, bias=True)
            (up_proj): Linear(in_features=1280, out_features=3420, bias=True)
            (down_proj): Linear(in_features=3420, out_features=1280, bias=True)
            (act_fn): SiLUActivation()
          )
        )
      )
      (merger): Qwen2_5_VLPatchMerger(
        (ln_q): Qwen2RMSNorm((1280,), eps=1e-06)
        (mlp): Sequential(
          (0): Linear(in_features=5120, out_features=5120, bias=True)
          (1): GELU(approximate='none')
          (2): Linear(in_features=5120, out_features=3584, bias=True)
        )
      )
    )
    (language_model): Qwen2_5_VLTextModel(
      (embed_tokens): Embedding(152064, 3584)
      (layers): ModuleList(
        (0-27): 28 x Qwen2_5_VLDecoderLayer(
          (self_attn): Qwen2_5_VLAttention(
            (q_proj): Linear(in_features=3584, out_features=3584, bias=True)
            (k_proj): Linear(in_features=3584, out_features=512, bias=True)
            (v_proj): Linear(in_features=3584, out_features=512, bias=True)
            (o_proj): Linear(in_features=3584, out_features=3584, bias=False)
            (rotary_emb): Qwen2_5_VLRotaryEmbedding()
          )
          (mlp): Qwen2MLP(
            (gate_proj): Linear(in_features=3584, out_features=18944, bias=False)
            (up_proj): Linear(in_features=3584, out_features=18944, bias=False)
            (down_proj): Linear(in_features=18944, out_features=3584, bias=False)
            (act_fn): SiLUActivation()
          )
          (input_layernorm): Qwen2RMSNorm((3584,), eps=1e-06)
          (post_attention_layernorm): Qwen2RMSNorm((3584,), eps=1e-06)
        )
      )
      (norm): Qwen2RMSNorm((3584,), eps=1e-06)
      (rotary_emb): Qwen2_5_VLRotaryEmbedding()
    )
  )
  (lm_head): Linear(in_features=3584, out_features=152064, bias=False)
)
[INFO:swift] model_parameter_info: Qwen2_5_VLForConditionalGeneration: 8292.1667M Params (7615.6165M Trainable [91.8411%]), 0.0019M Buffers.
[INFO:swift] use_reentrant: True
[INFO:swift] The logging file will be saved in: /mnt/shared_ru.ml.SZ-4_000086/nurdinov/gigavision-ms-swift-train/outputs/GRPO_CLEVR_COUNTDOWN/v23-20251110-175549/logging.jsonl
The tokenizer has new PAD/BOS/EOS tokens that differ from the model config and generation config. The model config and generation config were aligned accordingly, being updated with the tokenizer's values. Updated tokens: {'bos_token_id': None}.
[INFO:swift] Successfully registered post_encode hook: ['Qwen2_5_VLForConditionalGeneration', 'Qwen2_5_VLForConditionalGeneration'].
The tokenizer has new PAD/BOS/EOS tokens that differ from the model config and generation config. The model config and generation config were aligned accordingly, being updated with the tokenizer's values. Updated tokens: {'bos_token_id': None}.
The tokenizer has new PAD/BOS/EOS tokens that differ from the model config and generation config. The model config and generation config were aligned accordingly, being updated with the tokenizer's values. Updated tokens: {'bos_token_id': None}.
The tokenizer has new PAD/BOS/EOS tokens that differ from the model config and generation config. The model config and generation config were aligned accordingly, being updated with the tokenizer's values. Updated tokens: {'bos_token_id': None}.
The tokenizer has new PAD/BOS/EOS tokens that differ from the model config and generation config. The model config and generation config were aligned accordingly, being updated with the tokenizer's values. Updated tokens: {'bos_token_id': None}.
The tokenizer has new PAD/BOS/EOS tokens that differ from the model config and generation config. The model config and generation config were aligned accordingly, being updated with the tokenizer's values. Updated tokens: {'bos_token_id': None}.
Gradient accumulation steps mismatch: GradientAccumulationPlugin has 1, DeepSpeed config has 2. Using DeepSpeed's value.
Train:   0%|                                                                                                                                                                                                                                                                                                                                                                       | 0/17500 [00:00<?, ?it/s]Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys(['input_ids', 'attention_mask', 'pixel_values', 'image_grid_thw', 'position_ids', 'text_position_ids', 'logits_to_keep'])


Input keys:

dict_keys([])


Input keys:

dict_keys([])


Input keys:

dict_keys([])

Input keys:

dict_keys([])

Input keys:

dict_keys([])




Input keys:

dict_keys([])

Contributor guide

Open the contributing guide

First steps

  1. Read the whole issue, then the project's contributing guide.
  2. Comment on the issue to say you are picking it up — it saves two people doing the same work.
  3. Fork the repository and make your change on a branch.
  4. Open a pull request that references the issue number.

Assessment

This issue has not been assessed yet.

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.