大規模言語モデル

人間の好みの評価を報酬として[[reinforcement-learning]]を行い、AIの応答を人間の価値観に近づける手法。

単語の並び順の情報を、Transformerが扱えるようベクトルに埋め込む仕組み。

指示と理想の応答のペアで学習させ、指示に従う能力を高める手法。

単語や文の意味を、コンピュータが扱える多次元の数値ベクトルとして表現したもの。

目標を与えると、自ら計画を立て、ツールを使いながら多段階のタスクを自律的に遂行するAI。

理想的な応答例を正解として学習させる、ファインチューニングの基本段階。

パラメータ数を抑えた小型の言語モデル。端末上での動作や低コスト運用に向く。

別のLLMに出力の良し悪しを採点させる、自動評価の手法。

重みが公開され、誰でも入手・改変・自社運用できる大規模言語モデル。

出力のランダム性(多様さ)を調整するパラメータ。高いほど創造的。

これまでのやり取りの記録。マルチターン対話で文脈を保つために使う。

Claudeが回答前に、時間をかけて段階的に推論を行う機能。複雑な問題の精度を高める。

大量データで広く事前学習され、多様な用途の土台となる大規模モデル。

量子化でモデルを圧縮しつつLoRAで微調整する、さらに省メモリな手法。

Alibabaが開発した、多言語対応のオープンソースLLMシリーズ。

重みが非公開で、主にAPI経由で提供される商用モデル。

Anthropicが開発する大規模言語モデル。安全性と有用性の両立を重視して設計されている。

外部の知識を検索してプロンプトに与え、その情報をもとにAIに回答させる手法。最新情報や社内文書に強い。

プログラムコードに特化して学習した大規模言語モデル。コード生成・補完に使う。

AIが応答時に参照する、これまでの会話や与えられた前提情報。

言語モデルが一度に処理・記憶できる[[token]]の最大量。会話や文書の「視野の広さ」。

モデルが一度に扱えるトークン数の長さ。コンテキストウィンドウの大きさ。

1回の応答で生成できるトークン数の上限設定。出力の長さを制御する。

乱数の初期値。固定すると生成結果を再現しやすくなる。

OpenAIが開発した代表的な大規模言語モデルのシリーズ。ChatGPTの基盤technology。

OpenAIのマルチモーダルモデル。テキスト・画像・音声を統合的に扱う。

Google DeepMindが開発したマルチモーダルなLLMシリーズ。

ベクトルが持つ数値の個数。表現力と計算コストのバランスを決める。

AIに考える過程を明示的に書き出させ、推論の質と透明性を高めること。

AIに結論だけでなく途中の推論過程を順を追って書かせることで、複雑な問題の正答率を高める手法。

AIが自分の誤りに気づき、自ら訂正する能力。

AIの役割・口調・制約など、全体的な振る舞いをあらかじめ指定する特別なプロンプト。

大量の汎用データでモデルに基礎的な知識・能力を獲得させる最初の学習段階。

大きな教師モデルの知識を、小さな生徒モデルに移して軽量化する手法。

1回の入力と1回の応答で完結する対話形式。

モデル規模・データ量・計算量を増やすほど性能が予測的に向上する経験則。

生成しながら逐次テキストを返す方式。体感の待ち時間を短くできる。

同じ問題を複数回解かせ、多数決で最も一貫した答えを採用する手法。

手本を一切示さず、指示だけでタスクを解かせるプロンプト手法。

複数の数値を、合計が1になる確率分布に変換する関数。多クラス分類の出力に使う。

膨大なテキストで訓練された巨大な言語モデル。文章生成・要約・対話などを高い精度でこなす。

モデルの学習データが収集された最終時点。それ以降の出来事は基本的に知らない。

AIが計算・検索・API呼び出しなど、外部の機能(ツール)を呼び出して回答を補強する仕組み。

複数の思考の道筋を木構造で枝分かれさせ、有望な経路を探索する推論手法。

好まれた応答を直接学習し、報酬モデルなしで人間の好みに合わせる手法。

高い推論性能と効率で注目された、中国発のオープンモデル。

文章をトークンに分割する処理プログラム。LLMの入口を担う。

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

処理で使われたトークンの総量。API料金の算定基準になる。

確率の高い上位k個の候補だけに絞り、その中から次の語を選ぶ手法。

確率の高い候補を累積pまで残してその中から選ぶ、出力の絞り込み手法。

[[attention]]機構を中核とする深層学習アーキテクチャ。現代のLLMの基盤となっている。

言語モデルが、事実に基づかないもっともらしい誤情報を、自信を持って生成してしまう現象。

モデルの一部のパラメータだけを更新し、低コストでファインチューニングする手法群。

強化学習の代表的アルゴリズム。RLHFでモデルを安定的に更新するのに使われる。

画像と言語を結びつけて理解する、マルチモーダルモデルの一種。

Microsoftが開発した、小型ながら高性能な小規模言語モデル。

事前学習済みのモデルを、特定タスク向けの追加データで再訓練し、専門特化させる手法。

LLMが、あらかじめ定義された関数を構造化された形で呼び出す仕組み。

プロンプト内に入出力の手本を数例示すことで、AIに望む形式や傾向を学ばせる手法。

AIに与える指示文や質問。プロンプトの良し悪しが、出力の質を大きく左右する。

繰り返し使う長いプロンプトをキャッシュし、コストと応答時間を削減する仕組み。

数値を一列に並べたもの。AIはあらゆるデータをベクトルとして扱う。

複数回のやり取りを重ねて進める対話形式。文脈を引き継ぐ。

複数のアテンションを並列に走らせ、多様な観点から単語間の関係を捉える仕組み。

テキスト・画像・音声など複数種類の情報をまとめて扱えるAIモデル。

Mistral AIが公開した、混合エキスパート(MoE)採用のオープンモデル。

入力ごとに一部の専門家(サブネットワーク)だけを使い、効率的に大規模化する設計。

ユーザーがその場でAIに送る具体的な指示や質問のメッセージ。

Meta AIが公開した代表的なオープンソースLLMシリーズ。

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

元のモデルを固定し、小さな追加行列だけを学習する代表的なPEFT手法。

手本を1例だけ示してタスクを解かせるプロンプト手法。