検索

モデルを学習させるために使うデータ。質と量が、最終的なモデルの性能を大きく左右する。

訓練データに過剰に適合し、未知のデータに対する予測性能(汎化性能)が低下してしまう現象。

モデルが単純すぎて、訓練データのパターンすら十分に捉えられていない状態。

1回のパラメータ更新でまとめて処理する訓練データの件数。

訓練データ全体を1回学習し終える単位。学習の繰り返し回数を表す。

学習中のモデルの性能を確認し、ハイパーパラメータの調整に使うデータ。訓練には直接使わない。

[[embedding]]で数値化したデータを保存し、意味の近さで高速に検索できるデータベース。RAGの基盤。

機械学習に用いるデータの集まり。通常は訓練・検証・テストに分けて使う。

学習にも調整にも使わず、最終的な性能を公平に評価するためのデータ。

既存データに変形を加えて学習データを水増しし、性能を高める手法。

実データの代わりにAIが人工的に作り出す学習用データ。

物体検出やセグメンテーションの標準として使われる画像データセット。

深層学習ブームの火付け役となった、大規模な画像データセット。

大量のデータから規則やパターンをコンピュータ自身に学ばせ、予測や分類を行わせる手法。

入力データと正解ラベルのペアを使ってモデルを訓練し、未知のデータの予測を行う学習方法。

正解ラベルのないデータから、隠れた構造やグループ(クラスタ)を自動的に見つけ出す学習方法。

多層の[[neural-network]]を用いて、データから複雑な特徴を自動的に学習する機械学習の一分野。

データがどのカテゴリ(クラス)に属するかを予測する、教師あり学習の代表的タスク。

事前学習済みのモデルを、特定タスク向けの追加データで再訓練し、専門特化させる手法。

学習データの偏りなどに起因して、AIの判断が特定の傾向や不公平を生んでしまうこと。

少量のラベル付きデータと大量のラベルなしデータを組み合わせて学習する手法。

データ自身から擬似的な正解を自動生成し、人手のラベルなしで学習する手法。

データから学習した規則を内部に持ち、入力に対して予測や生成を行う仕組み。

モデルへの入力となる、データの性質を数値化した個々の項目。

教師あり学習で、各データに与える正解の情報。

学習に使っていない未知のデータに対して、モデルが正しく働く能力。

数値を一列に並べたもの。AIはあらゆるデータをベクトルとして扱う。

大量データで広く事前学習され、多様な用途の土台となる大規模モデル。

モデルの学習データが収集された最終時点。それ以降の出来事は基本的に知らない。

生成役と判別役を競わせて、本物そっくりのデータを生成する手法。

データを潜在空間に圧縮・復元しながら、新しいデータを生成するモデル。

データの本質的な特徴を圧縮して表す、低次元の抽象的な空間。

データをベクトル化し、意味の近さで検索する手法。RAGの基盤。

ベクトル同士の近さを測り、最も似たデータを探し出す処理。

大量データを高速に検索するために事前に整理した索引構造。

コード・モデル・データの変更履歴を記録し、いつでも復元できる仕組み。

大量のデータをまとめて一括で推論する方式。効率とコストに優れる。

AIの仕組み・データ・判断過程を、関係者に開示し理解可能にすること。

データにノイズを加え、個人を特定できなくしつつ全体の傾向は保つ技術。

データを集めず、各端末で学習した結果だけを集約してモデルを作る手法。

AIの学習データや生成物をめぐる著作権の論点。

過去データから将来の事象や数値を予測する分析手法。

自然言語の質問を、データベース照会用のSQLに変換する技術。

データとLLMをつなぐ、RAG構築に特化したフレームワーク。

似たデータ同士を自動的にグループ(クラスタ)にまとめる、教師なし学習の代表的タスク。

AIモデルを外部ツールやデータソースに接続するための、Anthropic提唱のオープンな標準規格。

大量の汎用データでモデルに基礎的な知識・能力を獲得させる最初の学習段階。

モデル規模・データ量・計算量を増やすほど性能が予測的に向上する経験則。

AIが参照する知識・文書を集めたデータの蓄積。RAGの情報源。

モデルやデータセットを共有する、AIの「GitHub」とも呼ばれるプラットフォーム。