Difference between revisions of "Redes Neuronales, Pasos principales de Backpropagation"
Jump to navigation
Jump to search
(Created page with "<ol> <li>Inicializar Parametros<br> <span style="color: gray">Se les da un valor aleatorio a los parámetros para que no sean todos iguales a 0.</span> </li> <li> Se realiza u...") |
|||
Line 1: | Line 1: | ||
<div style="color: crimson">WARNING: Esta página está en desarrollo, puede contener '''errores'''.</div> | |||
<ol> | <ol> | ||
<li>Se inicializan hyperparametros<br> | |||
<ul style="color: gray"> | |||
<li>Alpha: valor numérico que se usa para ''gradient descent'' para avanzar.</li> | |||
<li>Cantidad de iteraciones</li> | |||
</ul> | |||
</li> | |||
<li>Inicializar Parametros<br> | <li>Inicializar Parametros<br> | ||
<span style="color: gray">Se les da un valor aleatorio a los parámetros para que no sean todos iguales a 0.</span> | <span style="color: gray">Se les da un valor aleatorio a los parámetros para que no sean todos iguales a 0.</span> | ||
</li> | </li> | ||
<li> | <li> | ||
Se realiza una cantidad de iteraciones del siguiente proceso | Se realiza una cantidad de iteraciones del siguiente proceso<br> | ||
<span style="color: gray">Este proceso acerca a lo más posible a 0 el costo de la suma de las predicciones. Con cada iteración se acerca más aunque puede estancarse cercano a algun valor. No necesariamente es un numero cercano a 0 (dependiendo del modelo y de la información puede ser un numero muy grande).</span> | <span style="color: gray"> | ||
Este proceso acerca a lo más posible a 0 el costo de la suma de las predicciones. Con cada iteración se acerca más aunque puede estancarse cercano a algun valor. No necesariamente es un numero cercano a 0 (dependiendo del modelo y de la información puede ser un numero muy grande).</span> | |||
<ol> | <ol> | ||
<li>Usando los parámetros se hace un ''forward propagation'' (propagación hacia adelante) para cada ejemplo de entrenamiento de la información.</li> | <li>Usando los parámetros se hace un ''forward propagation'' (propagación hacia adelante) para cada ejemplo de entrenamiento de la información.</li> | ||
<li>Se computa el costo usando el ''forward propagation''.< | <li>Se computa el costo usando el ''forward propagation''. (INSERTAR FORMULA DE COSTO)</li> | ||
<li>Se deriva el costo con relación a cada parametro.</li> | |||
<li>Se realiza gradient descent<br> | |||
<span style="color: gray">Para cada parametro: al valor más reciente se le resta el valor de su derivada y se actualiza el parametro con este nuevo valor.</span> | |||
</li> | |||
</ol> | </ol> | ||
</li> | </li> | ||
<li>El ultimo valor de los parámetros se usa para hacer nuevas predicciones.</li> | |||
</ol> | </ol> |
Revision as of 20:39, 12 March 2018
WARNING: Esta página está en desarrollo, puede contener errores.
- Se inicializan hyperparametros
- Alpha: valor numérico que se usa para gradient descent para avanzar.
- Cantidad de iteraciones
- Inicializar Parametros
Se les da un valor aleatorio a los parámetros para que no sean todos iguales a 0. -
Se realiza una cantidad de iteraciones del siguiente proceso
Este proceso acerca a lo más posible a 0 el costo de la suma de las predicciones. Con cada iteración se acerca más aunque puede estancarse cercano a algun valor. No necesariamente es un numero cercano a 0 (dependiendo del modelo y de la información puede ser un numero muy grande).- Usando los parámetros se hace un forward propagation (propagación hacia adelante) para cada ejemplo de entrenamiento de la información.
- Se computa el costo usando el forward propagation. (INSERTAR FORMULA DE COSTO)
- Se deriva el costo con relación a cada parametro.
- Se realiza gradient descent
Para cada parametro: al valor más reciente se le resta el valor de su derivada y se actualiza el parametro con este nuevo valor.
- El ultimo valor de los parámetros se usa para hacer nuevas predicciones.