Okapi BM25
順位付け手法
BM25は、bag-of-wordsを拡張した手法であり、文書内のクエリの単語同士の相互関係ではなく、文書におけるクエリの単語の出現頻度に基づいて、文書集合を順位付けする。
単語
を含むクエリQが与えられたとき、文書DのBM25スコアは、

と定義される。このとき、
を文書Dにおける単語の出現頻度、
を文書Dの単語数、avgdlを文書集合の平均単語数とする。
およびbは任意のパラメータであり、
、
とされることが多い。また、単語
のidf値は、

と定義される。このとき、Nを全文書数、
を
を含む文書数とする。また、
には複数の定義があり、上記の定義式はその1つである。BM25では二項独立モデルに基づいて導出された。
ただし、上記の定義式では、半分以上の文書集合に出現する単語のidf値が負になるため、ほぼ同一の2つの文書について、半分以上の文書集合に出現する単語を含む文書と含まない文書とでは、後者のBM25スコアが大きくなってしまうことがある。そのため、実用上は、
- idf値の最小値を0とし、一般的な用語を完全に無視する
- idf値の最小値を定数
とし、一般的な用語を完全に無視することを避けつつ、影響を減らす
- idfが必ず正となる定義式に変える
といった処理がなされる。
BM25の改変版
- BM25の係数bを極値に変えたものは、BM11(
のとき)やBM15(
のとき)という。
- BM25F:重要度や長さが異なるフィールド(見出しや本文、アンカーテキストなど)で構成される文書を考慮した、BM25の改変版である。
- BM25+:BM25では、単語出現頻度が文書長で適切に正規化されていないため、クエリを含む長い文書よりクエリを含まない短い文書の方がBM25スコアが高くなることがある。BM25+は、BM25の上記について改良するために開発された。BM25+の定義式では任意のパラメータ
が追加されている(訓練データがないときの初期値は1.0)。BM25+の定義式は、下式である。
![{\displaystyle {\text{score}}(D,Q)=\sum _{i=1}^{n}{\text{IDF}}(q_{i})\cdot \left[{\frac {f(q_{i},D)\cdot (k_{1}+1)}{f(q_{i},D)+k_{1}\cdot \left(1-b+b\cdot {\frac {|D|}{\text{avgdl}}}\right)}}+\delta \right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8dcf99b661d7e7e5aa53091d1348cc643384383c)