検索

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

文章をトークンに分割する処理プログラム。LLMの入口を担う。

処理で使われたトークンの総量。API料金の算定基準になる。

1回の応答で生成できるトークン数の上限設定。出力の長さを制御する。

同じ問題を複数回解かせ、多数決で最も一貫した答えを採用する手法。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

ChatGPTやGPTシリーズを開発するAI企業。生成AIブームの中心。

MicrosoftのクラウドAzure上でOpenAIのモデルを利用できるサービス。

言語モデルが一度に処理・記憶できる[[token]]の最大量。会話や文書の「視野の広さ」。

モデルが一度に扱えるトークン数の長さ。コンテキストウィンドウの大きさ。

AIが文章を自動で作り出すこと。LLMの最も基本的な機能。

データを潜在空間に圧縮・復元しながら、新しいデータを生成するモデル。

入力の中で「どこに注目すべきか」を動的に重み付けする仕組み。Transformerの心臓部。

同一の文の中で、各単語が他のすべての単語との関連度を計算するアテンションの一種。

稼働中のモデルの性能・コスト・異常を継続的に監視すること。

リクエストから応答が返るまでの待ち時間。短いほど快適。

複数のアテンションを並列に走らせ、多様な観点から単語間の関係を捉える仕組み。

Claudeが回答前に、時間をかけて段階的に推論を行う機能。複雑な問題の精度を高める。

AIから望む出力を引き出すために、[[prompt]]を工夫・設計する技術や手法の体系。

データの本質的な特徴を圧縮して表す、低次元の抽象的な空間。

人の逐次指示なしに、自ら計画・実行して目標を達成するAI。

暴力・差別など有害な入出力を検知して遮断する仕組み。

高度なAIが人類の存続そのものを脅かしかねないという長期的リスク。

文章に込められた感情(肯定・否定など)を判定すること。

重みが公開され、誰でも入手・改変・自社運用できる大規模言語モデル。

学習フレームワーク間でモデルを共通形式で受け渡すための標準。

Googleが開発した、機械学習計算に特化した専用プロセッサ。

人間が日常使う言葉(自然言語)をコンピュータに理解・生成させるための技術分野。

膨大なテキストで訓練された巨大な言語モデル。文章生成・要約・対話などを高い精度でこなす。

言語モデルが、事実に基づかないもっともらしい誤情報を、自信を持って生成してしまう現象。

データ自身から擬似的な正解を自動生成し、人手のラベルなしで学習する手法。

複数の数値を、合計が1になる確率分布に変換する関数。多クラス分類の出力に使う。

単語の並び順の情報を、Transformerが扱えるようベクトルに埋め込む仕組み。

大量の汎用データでモデルに基礎的な知識・能力を獲得させる最初の学習段階。

生成しながら逐次テキストを返す方式。体感の待ち時間を短くできる。

意味を保ちつつプロンプトを短くし、トークン消費とコストを減らす手法。

単位時間あたりに処理できる量。システムの処理能力を表す。

得られる性能・成果に対して、かかる費用がどれだけ少ないか。

出力のランダム性(多様さ)を調整するパラメータ。高いほど創造的。

確率の高い候補を累積pまで残してその中から選ぶ、出力の絞り込み手法。

確率の高い上位k個の候補だけに絞り、その中から次の語を選ぶ手法。

OpenAIが開発した代表的な大規模言語モデルのシリーズ。ChatGPTの基盤technology。

[[attention]]機構を中核とする深層学習アーキテクチャ。現代のLLMの基盤となっている。

繰り返し使う長いプロンプトをキャッシュし、コストと応答時間を削減する仕組み。

テキストや画像から動画をAIが生成する技術。

実データの代わりにAIが人工的に作り出す学習用データ。

OpenAIが開発した、テキストから画像を生成する代表的モデル。

OpenAIが開発した、テキストから高品質な動画を生成するモデル。

OpenAIが公開した高精度な音声認識モデル。多言語に対応。