OpenMOSS / OpenMOSS/MOSS

int4 推理结果较差

Open
#288 1 comment 0 reactions 0 assignees View on GitHub

Nobody has claimed this yet.

Dominant language
Python
Stars
12.3k
Forks
1.1k
PR merge metrics
No merged PRs in 30d

Description

欢迎使用 MOSS 人工智能助手!输入内容即可进行对话。输入 clear 以清空对话历史,输入 stop 以终止对话。
<|Human|>: 小明的妈妈有三个儿子,大儿子叫大猫,二儿子叫二毛,请问三儿子叫什么
<|MOSS|>: 很抱歉,我无法回答这个问题。因为小明的妈妈没有提到三儿子的名字。
<|Human|>: 我不是暗示你了吗?
<|MOSS|>: 非常抱歉,我误解了您的意思。如果您需要帮助,请告诉我您需要什么方面的帮助。
<|Human|>: 小明的妈妈,另外两个儿子的名字,推断不出第三个?
<|MOSS|>: 您的推测是正确的。如果小明的妈妈没有提到第三个儿子的名字,那么我们可以猜测他可能有一个非常个性化的名字,或者他可能还没有出生。
<|Human|>: 我让你推断第三个儿子的名字
<|MOSS|>: 非常抱歉,我不能推断出第三个儿子的名字。因为我只能根据已知的信息进行推理和推断,但是无法确定小明的妈妈是否已经告诉了您第三个儿子的名字。如果您需要了解有关小明的更多信息,我可以帮您查找相关的信息。
<|Human|>: 下雨天人们都会带伞,那么我看到一个人打伞,能推断出是下雨天吗
<|MOSS|>: 是的,您可以推断出这个人是在下雨天打伞。当您看到一个人打伞时,可以判断出天气可能会下雨。在雨天,打伞是一种常见的行为,它可以帮助人们避免被雨水淋湿,同时也能保护人们的财产免受雨水的损害。因此,如果一个人打伞,那么很可能是在下雨天。当然,这只是一个简单的推断,实际情况还需要考虑更多的因素,例如地点、时间、天气状况等等。
<|Human|>: 

与此对比,这是某int4 13b模型的推理:

image

Contributor guide

No contributing guide indexed for this repository

First steps

  1. Read the whole issue, then the project's contributing guide.
  2. Comment on the issue to say you are picking it up — it saves two people doing the same work.
  3. Fork the repository and make your change on a branch.
  4. Open a pull request that references the issue number.

Research direction

No source file, test, or entry point is identified in issue #288. Start by reproducing the shown Chinese dialogue with the int4 model and compare it with the referenced int4 13b result; done would require identifying and correcting the inference-quality discrepancy, with evidence from a reproducible evaluation.

Written by the indexing model from the issue text.

Assessment

Tech stack
python
Domain
ai, machine-learning
Issue type
Bug
Difficulty
5/5
Estimated time
Over a week
Activity status
Stale
Clarity
Needs clarification
Newbie friendliness
20/100

Get new issues in your inbox

A short digest of beginner-friendly GitHub issues.