加载模型是否支持dtype="half"?

由于硬件设备不支持float16，尝试加载时进行修改
llm = LLM( model=MODEL_PATH, hf_overrides={"architectures": ["DeepseekOCRForCausalLM"]}, block_size=256, enforce_eager=False, trust_remote_code=True, max_model_len=8192, swap_space=0, max_num_seqs=MAX_CONCURRENCY, tensor_parallel_size=1, gpu_memory_utilization=0.9, disable_mm_preprocessor_cache=True, dtype="half" )
但是使用会存在相关报错，部分使用float，部分bfloat