概要
大量の汎用データでモデルに基礎的な知識・能力を獲得させる最初の学習段階。
詳しい解説
事前学習は、インターネット規模の膨大なテキストでに言語の基礎を獲得させる最初の段階です。多くはで、次のを予測する課題を解かせます。ここで作られた汎用的なモデルがで、その後やで特定用途・好みに適応させます。
💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。
具体例・活用シーン
二段階の学習
まず大量データで広く事前学習し、次に目的に合わせて微調整する——これが現代LLMの基本レシピです。
関連用語
この説明に誤りや改善点を見つけましたか?
✏️ この説明を改善提案する