ReLU

Funkcja ReLU, prostowana jednostka liniowa (ang. rectified linear unit), jednostronnie obcięta funkcja liniowa – funkcja aktywacji zdefiniowana jako nieujemna część jej argumentu:

ReLU⁡(x)=x+=max⁡(0,x)=x+|x|2={0dlax<0xdlax⩾0
Wykres ReLU w pobliżu x = 0

ReLU jest jedną z najpopularniejszych funkcji aktywacji sztucznych sieci neuronowych i znajduje zastosowanie w komputerowym widzeniu przy użyciu głębokich sieci neuronowych.

Zalety

Do zalet funkcji ReLU należą:

max⁡(0,ax)=amax⁡(0,x) dla a⩾0.

Potencjalne problemy

Możliwe wady funkcji ReLU to między innymi:

Zobacz też