Kappa computation when predicted scores are on a different scale

In a situation where predicted scores are on a completely different scale from the observed scores, kappa computation fails because the range of possible scores is too large. We saw this recently with SGDRegressor which produced scores in the range 1233372304332.22 to 1723509896207.16 when human scores were 1-5.

Few possible solutions:
(1) Do not compute kappa if there is no overlap in range between predicted and observed scores.
(2) Do not compute kappa if the range is greater than certain threshold.

Thoughts?

ファイル、テスト、エントリーポイントのいずれも指定されていません。まず kappa の計算箇所を特定し、1233372304332.22–1723509896207.16 前後の予測スコアと 1–5 の観測スコアで失敗を再現してください。重複しない、または過度に大きいスコア範囲に対する合意済みのポリシーが実装され、失敗がテストでカバーされれば完了です。

索引モデルが issue の本文から書いたものです。