検索

モデルへの入力となる、データの性質を数値化した個々の項目。

[[embedding]]で数値化したデータを保存し、意味の近さで高速に検索できるデータベース。RAGの基盤。

数値を一列に並べたもの。AIはあらゆるデータをベクトルとして扱う。

データをベクトル化し、意味の近さで検索する手法。RAGの基盤。

単語や文の意味を、コンピュータが扱える多次元の数値ベクトルとして表現したもの。

テキストなどを意味ベクトルに変換することに特化したモデル。

ベクトル同士の近さを測り、最も似たデータを探し出す処理。

2つのベクトルの向きの近さで意味の似ている度合いを測る指標。

単語の並び順の情報を、Transformerが扱えるようベクトルに埋め込む仕組み。

ベクトルが持つ数値の個数。表現力と計算コストのバランスを決める。

長い文書を検索しやすい適切な大きさの断片に分割する処理。

大量データを高速に検索するために事前に整理した索引構造。