ReLU

ReLU (Rectified Linear Unit)

読み: れる

概要

「0より小さければ0、大きければそのまま」を返す、最も広く使われる活性化関数。

ReLU(ランプ関数)は、入力が0以下なら0、0より大きければそのまま出力する、シンプルなです。計算が軽く、深いでも学習が進みやすいため、で最も標準的に使われます。古くから使われるの弱点(勾配消失)を緩和した点が普及の理由です。

💡 青い破線の用語にカーソルを合わせる(タップする)と、その場で簡単な説明が表示されます。

max(0, x) という一行で表せます。単純ながら深層学習の性能を大きく押し上げました。