ReLU

Funkcja ReLU, prostowana jednostka liniowa (ang. rectified linear unit), jednostronnie obcięta funkcja liniowa – funkcja aktywacji zdefiniowana jako nieujemna część jej argumentu:

${\displaystyle \operatorname {ReLU} (x)=x^{+}=\max(0,x)={\frac {x+|x|}{2}}=\left\{{\begin{matrix}0&{\text{dla}}&x<0\\x&{\text{dla}}&x\geqslant 0\end{matrix}}\right.}$

ReLU jest jedną z najpopularniejszych funkcji aktywacji sztucznych sieci neuronowych i znajduje zastosowanie w komputerowym widzeniu przy użyciu głębokich sieci neuronowych.

Zalety

Do zalet funkcji ReLU należą:

• Rzadka aktywacja: w sieci z losowo zainicjowanymi wagami tylko około 50% neuronów w warstwach ukrytych jest aktywowanych (tzn. ma niezerową wartość wyjściową).
• Lepsza propagacja gradientu: mniejsze ryzyko wystąpienia problemu zanikającego gradientu w porównaniu z sigmoidalnymi funkcjami aktywacji, które nasycają się w obu kierunkach.
• Wydajność obliczeniowa: funkcja jest bardzo prosta obliczeniowo – wymaga jedynie porównania z zerem i operacji dodawania.
• Niezmienność ze względu na skalę (jednorodność):

${\displaystyle \max(0,ax)=a\max(0,x){\text{ dla }}a\geqslant 0}$.

Potencjalne problemy

Możliwe wady funkcji ReLU to między innymi:

• Nieróżniczkowalność w zerze: funkcja jest różniczkowalna w każdym innym punkcie, jednak w punkcie ${\displaystyle x=0}$ jej pochodna jest niezdefiniowana. W praktyce można umownie przyjąć, że pochodna w tym punkcie wynosi 0 lub 1.
• Wyjście nie jest skoncentrowane wokół zera: wyjścia ReLU są zawsze nieujemne. Może to utrudnić sieci uczenie się podczas propagacji wstecznej, ponieważ aktualizacje gradientu mają tendencję do przesuwania wag w jednym kierunku (dodatnim lub ujemnym). Problem ten można częściowo rozwiązać za pomocą normalizacji wsadowej.
• Funkcja jest nieograniczona z góry: wartości ReLU mogą rosnąć bez ograniczeń, co w niektórych przypadkach może prowadzić do problemów, takich jak eksplodujący gradient.
• Nadmiarowość parametryzacji: z powodu niezmienności ze względu na skalę, sieć neuronowa może uzyskać identyczną funkcję wyjściową poprzez przeskalowanie wag i biasów przed aktywacją ReLU o czynnik ${\displaystyle k}$, a wag warstwy następnej o czynnik ${\displaystyle 1/k}$.
• Problem „umierającego ReLU” (ang. „Dying ReLU”): neurony z aktywacją ReLU mogą zostać zepchnięte do stanów, w których stają się nieaktywne dla niemal wszystkich danych wejściowych. W tym stanie żadne gradienty nie przepływają wstecz przez neuron, więc utyka on w wiecznie nieaktywnym stanie („umiera”). Jest to forma problemu zanikającego gradientu. W niektórych przypadkach duża liczba neuronów w sieci może utknąć w martwym stanie, skutecznie zmniejszając pojemność modelu i potencjalnie nawet zatrzymując proces uczenia. Problem ten pojawia się zazwyczaj, gdy współczynnik uczenia jest zbyt wysoki. Można go złagodzić, stosując warianty takie jak „Leaky ReLU”, gdzie dla ${\displaystyle x<0}$ przypisuje się niewielkie dodatnie nachylenie. W zależności od zadania może to jednak wiązać się ze spadkiem ogólnej wydajności modelu.

Zobacz też

• Funkcja softmax

Przypisy