検索

パラメータの数値精度を下げてモデルを軽量化し、省メモリ・高速化する技術。

モデルが複雑になりすぎるのを抑え、過学習を防ぐための工夫の総称。

文章を[[token]]という処理の最小単位に分割すること。言語モデルが文を扱う最初のステップ。

学習に使っていない未知のデータに対して、モデルが正しく働く能力。

個々のユーザーに合わせて内容や体験を最適化すること。

長い文章の要点をAIが短くまとめること。

量子化でモデルを圧縮しつつLoRAで微調整する、さらに省メモリな手法。

ニューロンの出力に非線形性を加え、ネットワークが複雑なパターンを表現できるようにする関数。

AIに考える過程を明示的に書き出させ、推論の質と透明性を高めること。

学習済みモデルに入力を与えて、予測や生成の結果を得ること。

大きな教師モデルの知識を、小さな生徒モデルに移して軽量化する手法。

パラメータ数を抑えた小型の言語モデル。端末上での動作や低コスト運用に向く。

リクエストから応答が返るまでの待ち時間。短いほど快適。

得られる性能・成果に対して、かかる費用がどれだけ少ないか。

GPUに搭載されたメモリ。扱えるモデルやバッチの大きさを決める。

クラウドに送らず、現場の機器側でAI処理を行う形態。

スマホなど端末の中だけでAIを動かす形態。通信不要でプライバシーに強い。

モデルを小さく軽くする技術の総称。量子化・蒸留・枝刈りなど。

NVIDIA製の推論高速化エンジン。GPU上で推論を最適化する。

重要度の低い重みや接続を削り、モデルを軽量化する技術。

人間の脳の神経細胞(ニューロン)の仕組みを模倣・着想源とした、機械学習の数理モデル。

人間が日常使う言葉(自然言語)をコンピュータに理解・生成させるための技術分野。

言語モデルがテキストを処理する際の最小単位。単語や単語の一部、記号などに相当する。

学習中に一部のニューロンをランダムに無効化し、過学習を防ぐ正則化手法。

「0より小さければ0、大きければそのまま」を返す、最も広く使われる活性化関数。

入力を0〜1の範囲のなめらかな値に変換する活性化関数。確率の表現に使われる。

学習にも調整にも使わず、最終的な性能を公平に評価するためのデータ。

文章をトークンに分割する処理プログラム。LLMの入口を担う。

ユーザーの好みを推定し、関連する商品や情報を提案する仕組み。

個別最適な学習支援や採点自動化など、教育分野に応用されるAI。

意味理解やAIを活用し、より的確に目的の情報へ導く検索。

既存データに変形を加えて学習データを水増しし、性能を高める手法。