allenai / allenai/document-qa

Why is cosine distance used in document_splitter.py

オープン
#35 コメント 1 件 リアクション 0 件 担当者 0 名 GitHub で見る
主要言語
Python
スター
435
フォーク
118
PR マージ指標
30日以内にマージされた PR はありません

説明

In the method score_paragraphs(in the class ShallowOpenWebRanker) the cosine distant metric is use.
Should it not be using the dot product metric, because the cosine metric does not take into account magnitude and tfidf is direction and magnitude?
From what I can see this would be similar to saying does the paragraph contain the word and not taking into account how many times the word occurs.

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

評価

この issue はまだ評価されていません。

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。