Unitats recurrents controlades

Les unitats recurrents controlades (GRU) són un mecanisme de gating en xarxes neuronals recurrents, introduït el 2014 per Kyunghyun Cho i altres.^[1] El GRU és com una memòria a llarg termini (LSTM) amb una porta oblidada,^[2] però té menys paràmetres que LSTM, ja que no té una porta de sortida.^[3] Es va trobar que el rendiment de GRU en determinades tasques de modelatge de música polifònica, modelatge de senyals de parla i processament de llenguatge natural era similar al de LSTM.^[4][5] Els GRU van demostrar que el gating és realment útil en general i l'equip de Bengio va concloure que no hi havia cap conclusió concreta sobre quina de les dues unitats de gating era millor.^[6]

Arquitectura

Hi ha diverses variacions a la unitat completa de control, amb l'obtenció feta utilitzant l'estat ocult anterior i el biaix en diverses combinacions, i una forma simplificada anomenada unitat mínima de control.^[7]

L'operador ${\displaystyle \odot }$ denota el producte de Hadamard a continuació.

Unitat totalment controlada

Inicialment, per ${\displaystyle t=0}$, el vector de sortida és ${\displaystyle h_{0}=0}$

${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=z_{t}\odot h_{t-1}+(1-z_{t})\odot {\hat {h}}_{t}\end{aligned}}}$

Les variables

• ${\displaystyle x_{t}}$: vector d'entrada
• ${\displaystyle h_{t}}$: vector de sortida
• ${\displaystyle {\hat {h}}_{t}}$: vector d'activació candidat
• ${\displaystyle z_{t}}$: actualitza el vector de la porta
• ${\displaystyle r_{t}}$: reinicia el vector de la porta
• ${\displaystyle W}$, ${\displaystyle U}$ i ${\displaystyle b}$: matrius de paràmetres i vector

Funcions d'activació

• ${\displaystyle \sigma _{g}}$: L' original és una funció sigmoide.
• ${\displaystyle \phi _{h}}$: L' original és una tangent hiperbòlica.

Són possibles funcions d'activació alternatives, sempre que això ${\displaystyle \sigma _{g}(x)\in [0,1]}$.

Es poden crear formes alternatives canviant ${\displaystyle z_{t}}$ i ${\displaystyle r_{t}}$ ^[8]

• Tipus 1, cada porta depèn només de l'estat ocult anterior i del biaix.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1}+b_{r})\\\end{aligned}}}$

• Tipus 2, cada porta només depèn de l'estat ocult anterior.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(U_{z}h_{t-1})\\r_{t}&=\sigma _{g}(U_{r}h_{t-1})\\\end{aligned}}}$

• Tipus 3, cada porta es calcula utilitzant només el biaix.

  ${\displaystyle {\begin{aligned}z_{t}&=\sigma _{g}(b_{z})\\r_{t}&=\sigma _{g}(b_{r})\\\end{aligned}}}$

Referències