検索

膨大なテキストで訓練された巨大な言語モデル。文章生成・要約・対話などを高い精度でこなす。

画像と言語を結びつけて理解する、マルチモーダルモデルの一種。

OpenAIが開発した代表的な大規模言語モデルのシリーズ。ChatGPTの基盤technology。

Anthropicが開発する大規模言語モデル。安全性と有用性の両立を重視して設計されている。

プログラムコードに特化して学習した大規模言語モデル。コード生成・補完に使う。

重みが公開され、誰でも入手・改変・自社運用できる大規模言語モデル。

Microsoftが開発した、小型ながら高性能な小規模言語モデル。

大量データで広く事前学習され、多様な用途の土台となる大規模モデル。

パラメータ数を抑えた小型の言語モデル。端末上での動作や低コスト運用に向く。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。

言語モデルが一度に処理・記憶できる[[token]]の最大量。会話や文書の「視野の広さ」。

言語モデルが、事実に基づかないもっともらしい誤情報を、自信を持って生成してしまう現象。

ニューラルネットワークの各接続が持つ、入力信号の重要度を表すパラメータ。学習で調整される。

モデル規模・データ量・計算量を増やすほど性能が予測的に向上する経験則。

GPUに搭載されたメモリ。扱えるモデルやバッチの大きさを決める。

大きな教師モデルの知識を、小さな生徒モデルに移して軽量化する手法。

文脈を双方向に読む、自然言語理解で広く使われた基礎的モデル。