概要
長い文書を検索しやすい適切な大きさの断片に分割する処理。
詳しい解説
チャンキングは、長い文書を検索・埋め込みしやすい大きさの断片(チャンク)に分割する処理です。では、分割した各チャンクをでベクトル化して保存します。チャンクが大きすぎると無関係な情報が混ざり、小さすぎると文脈が失われるため、分割の仕方が検索精度を左右します。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
適切なサイズに刻む
マニュアルを段落や見出し単位で区切ると、質問に関連する箇所をピンポイントで取り出せます。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する