我在使用uie进行推理，选用trt后端，fp16模式进行推理，但是使用uie-base fp16的时候，什么信息都检测不出来，使用uie-medium可以正常

Open

#1,977 opened on May 23, 2023 0 comments 0 reactions 0 assignees View on GitHub

Nobody has claimed this yet.

Dominant language: Python
Stars: 3.7k
Forks: 756
Avg merge: 19h 28m
Merged PRs (30d): 4

Description

环境

【FastDeploy版本】：说明具体的版本，如fastdeploy-linux-gpu-1.0.6
【系统平台】: Linux x64(Ubuntu 18.04)
【硬件】：说明具体硬件型号，如 Nvidia GPU 3060， CUDA 11.8 CUDNN 8.3
【编译语言】：Python3.9

问题日志及出现问题的操作流程

附上详细的问题日志有助于快速定位分析
【模型跑不通】
- 先执行examples下的部署示例，包括使用examples提供的模型，确认是否可以正确执行
- 如若examples下的代码可以运行，但自己的模型，或自己的代码不能运行
- - 提供复现问题的代码+模型+错误log，供工程师快速定位问题
【模型精度问题】
- 先执行examples下的部署示例，包括使用examples提供的模型，确认是否可以正确执行
- 如若examples下的代码可以运行，但自己的模型，或自己的代码不能运行
- - 提供复现问题的代码+模型+错误log，供工程师快速定位问题
【性能问题】描述清楚对比的方式
- 注意性能测试，循环跑N次，取后80%的用时平均（模型启动时，刚开始受限于资源分配，速度会较慢）
- FastDeploy的Predict包含模型本身之外的数据前后处理用时
- - 提供复现问题的代码+模型+错误log，供工程师快速定位问题

Contributor guide

No contributing guide indexed for this repository

First steps

Read the whole issue, then the project's contributing guide.
Comment on the issue to say you are picking it up — it saves two people doing the same work.
Fork the repository and make your change on a branch.
Open a pull request that references the issue number.

Research direction

The issue names no source file or test. Start by running the deployment examples under examples with the example models, while recording the FastDeploy version, GPU, CUDA, cuDNN, complete logs, and reproduction code that are missing here. Compare TensorRT FP16 inference for uie-base and uie-medium; done means identifying why the former returns no detections or confirming a model/backend limitation.

Written by the indexing model from the issue text.

Assessment

Tech stack: python
Domain: machine-learning
Issue type: Bug
Difficulty: 4/5
Estimated time: 3-5 days
Activity status: Stale
Clarity: Needs clarification
Newbie friendliness: 25/100