自然言語処理

入力の中で「どこに注目すべきか」を動的に重み付けする仕組み。Transformerの心臓部。

単語や文の意味を、コンピュータが扱える多次元の数値ベクトルとして表現したもの。

人間の言葉から意図や意味を読み取る技術。音声アシスタント等の基盤。

テキストなどを意味ベクトルに変換することに特化したモデル。

文章に込められた感情(肯定・否定など)を判定すること。

外部の知識を検索してプロンプトに与え、その情報をもとにAIに回答させる手法。最新情報や社内文書に強い。

文章から人名・地名・組織名などの固有名詞を抽出する技術。

人間が日常使う言葉(自然言語)をコンピュータに理解・生成させるための技術分野。

長い文章の要点をAIが短くまとめること。

言葉の表面ではなく意味を理解して関連情報を探す検索。

同一の文の中で、各単語が他のすべての単語との関連度を計算するアテンションの一種。

膨大なテキストで訓練された巨大な言語モデル。文章生成・要約・対話などを高い精度でこなす。

対話形式でユーザーの質問に自動応答するプログラム。

長い文書を検索しやすい適切な大きさの断片に分割する処理。

あらゆるタスクを「テキスト→テキスト」の形に統一して扱うモデル。

AIが文章を自動で作り出すこと。LLMの最も基本的な機能。

自然言語の質問を、データベース照会用のSQLに変換する技術。

文章をトークンに分割する処理プログラム。LLMの入口を担う。

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

[[attention]]機構を中核とする深層学習アーキテクチャ。現代のLLMの基盤となっている。

文脈を双方向に読む、自然言語理解で広く使われた基礎的モデル。

機械翻訳の品質を、参照訳との一致度で自動評価する指標。

文書を内容に応じてカテゴリに自動で振り分けること。

データをベクトル化し、意味の近さで検索する手法。RAGの基盤。

[[embedding]]で数値化したデータを保存し、意味の近さで高速に検索できるデータベース。RAGの基盤。

ある言語の文章を別の言語に変換すること。NLPの代表的応用。

要約の品質を、参照要約との重なりで自動評価する指標。