Una idea antigua que tardó décadas en funcionar
Si ya sabes qué es el aprendizaje profundo (deep learning), te habrás hecho esta pregunta: si las redes con muchas capas y la retropropagación llevaban décadas sobre la mesa, ¿por qué despegaron en la década de 2010 y no antes? Para la comparación de base con el aprendizaje automático tienes Deep learning y machine learning: en qué se diferencian. Aquí voy a la historia de las ideas.
Las raíces son antiguas. Según el blog técnico de NVIDIA (una empresa que vende unidades de procesamiento gráfico, las GPU, así que conviene leerlo con esa cautela), el aprendizaje profundo se remonta a 1965, con Ivakhnenko y Lapa y sus modelos delgados pero profundos, entrenados capa a capa por mínimos cuadrados (NVIDIA, 16 de diciembre de 2015).
Después llegó la retropropagación, el método que ajusta los parámetros de la red propagando hacia atrás el error cometido, aplicada a redes convolucionales (las que recorren la imagen con filtros pequeños). Según el Computer History Museum (CHM), Geoffrey Hinton se incorporó a la Universidad de Toronto en 1987, y Yann LeCun, posdoc con él, mostró que esa técnica hacía a las redes convolucionales muy buenas reconociendo números manuscritos (CHM, 20 de marzo de 2025). NVIDIA sitúa en 1989, en Bell Labs, la primera aplicación práctica, que luego se usó para leer cheques en Estados Unidos.
Y sin embargo, según el CHM, las redes neuronales no superaban de forma consistente a otros algoritmos de aprendizaje automático. Faltaban dos ingredientes ajenos a la IA: muchos más datos, que hizo posibles la web, y suficiente potencia de cálculo en forma de GPU.
Primer ingrediente: datos a escala de ImageNet
El ImageNet Large Scale Visual Recognition Challenge (ILSVRC) es una prueba de referencia (benchmark) de clasificación y detección de objetos con cientos de categorías y millones de imágenes. Se celebra cada año desde 2010 y, según sus organizadores, ha atraído a más de cincuenta instituciones (Russakovsky et al., arXiv 1409.0575, v3 de 30 de enero de 2015).
La escala importa. El conjunto de entrenamiento de LSVRC-2010 que usaron Krizhevsky, Sutskever y Hinton tiene 1,3 millones de imágenes de alta resolución repartidas en 1000 clases (NIPS 2012). Alex Krizhevsky, en cambio, había probado antes su código en CIFAR-10, un conjunto pequeño, según el CHM.
Un matiz del CHM: ImageNet era un desarrollo de nicho que esperaba las circunstancias adecuadas. Tener los datos no bastaba por sí solo.
Segundo ingrediente: GPU y cómputo
El CHM describe CUDA, la plataforma de NVIDIA para programar GPU, como otro desarrollo de nicho. Krizhevsky ya había escrito código CUDA para una red convolucional («cuda-convnet»). Los autores de AlexNet citan una implementación de redes convolucionales en GPU «muy eficiente» para acelerar el entrenamiento. Las fuentes consultadas no detallan las horas de entrenamiento ni el hardware concreto, así que no los doy.
La GPU sola tampoco bastaba. En 2011, DanNet, una red convolucional entrenada en GPU por Dan Cireşan y otros en el laboratorio de Jürgen Schmidhuber, ganó cuatro concursos de reconocimiento de imágenes, pero con conjuntos de datos más pequeños y sin mover el campo de la visión artificial (CHM).
¿Cuánto cómputo hablamos? Sevilla et al. calculan que antes de 2010 el cómputo de entrenamiento se duplicaba aproximadamente cada 20 meses, al ritmo de la ley de Moore, y que desde la llegada del aprendizaje profundo se duplica cada 6 meses más o menos (arXiv 2202.05924, 11 de febrero de 2022). Epoch AI sitúa el inicio de esa era entre 2010 y 2012 y estima que el cómputo de entrenamiento ha crecido un factor de 10 000 millones desde 2010 (Epoch AI, 16 de febrero de 2022).
Una actualización de Epoch AI (19 de junio de 2024) da un crecimiento de 4,4 veces por año desde 2010. La regresión log-lineal arroja 4,7× (intervalo de confianza del 90 %: de 4,3× a 5,2×, R² de 0,60). Es una tendencia estimada con bastante dispersión, no una ley. Epoch atribuye la mayor parte del crecimiento al aumento del gasto, aunque las mejoras de hardware también influyeron.
Las estimaciones discrepan según los datos. Amodei y Hernández (2018) habían calculado una duplicación cada 3,4 meses; Epoch, con unas 10 veces más datos, obtiene cerca de 6 meses.
La red que lo reunió: AlexNet
Según el CHM, la historia empieza en 2011, cuando Ilya Sutskever convenció a Krizhevsky de entrenar una red en ImageNet, con Hinton como investigador principal. El resultado fue AlexNet.
Vamos al paper. La red tiene 60 millones de parámetros (los números que el modelo ajusta al aprender) y 500 000 neuronas. Se compone de cinco capas convolucionales, algunas con max-pooling (que resume cada zona de la imagen quedándose con su valor máximo), y dos capas globalmente conectadas, seguidas de una softmax de 1000 vías, que convierte la salida en una probabilidad para cada una de las 1000 clases.
Los autores citan dos trucos. Uno son las neuronas no saturantes, que aceleran el entrenamiento; según NVIDIA, AlexNet usó unidades lineales rectificadas (ReLU) para ganar velocidad. El otro es el dropout, un método de regularización nuevo para reducir el sobreajuste (si quieres entender ese problema, lee Sobreajuste: cómo detectarlo y qué hacer cuando tu modelo memoriza). NVIDIA presenta además AlexNet como una mejora de la arquitectura convolucional de Ciresan y colegas, que ganó varios concursos en 2011 y 2012.
Para el CHM, en 2012 AlexNet reunió por primera vez redes neuronales profundas, grandes conjuntos de datos y cómputo en GPU. La palabra clave es «reunió»: ninguna pieza nació ese año, y lo que el CHM destaca es la combinación.
Qué midieron los resultados
En ILSVRC-2010, los autores lograron errores top-1 y top-5 del 39,7 % y el 18,9 %, «considerablemente mejores» que el estado del arte previo, según su propio resumen. El error top-1 cuenta cuándo la clase correcta no es la primera elección del modelo; el top-5, cuándo no está entre sus cinco primeras.
La evidencia independiente viene de la edición de 2012. En la tabla de Russakovsky et al., el error top-5 fue:
- SuperVision (el equipo de AlexNet): 16,42 % (15,32 % con datos externos adicionales).
- ISI, segundo puesto: 26,17 %, con vectores de Fisher y clasificadores lineales.
- VGG: 26,98 %; XRCE: 27,06 %; UvA: 29,58 %.
Son dos ediciones distintas del reto, y no conviene mezclar sus cifras. La tabla da la diferencia entre el primer y el segundo puesto, unos 10 puntos de error top-5. Según Russakovsky et al., con tantos datos de entrenamiento, una implementación algorítmica eficiente y recursos de GPU fue posible aprender redes neuronales directamente de las imágenes, sin las canalizaciones de varias etapas de rasgos diseñados a mano. Para ellos, «la gran ruptura llegó en 2012».
La reacción fue rápida. Krizhevsky presentó el trabajo en octubre de 2012 en una conferencia de visión por computador en Florencia, y LeCun, presente, lo calificó de punto de inflexión (CHM). Según el CHM, antes de AlexNet casi ningún artículo puntero de visión usaba redes neuronales y después casi todos. En 2014, todos los mejores participantes del reto dependían mucho de redes convolucionales (Russakovsky et al.). Desde 2012 el reto usa solo la métrica top-5, porque top-5, top-1 y la jerárquica ordenaban igual los resultados.
Lo que todavía no sabemos
Sevilla et al. reconocen que cómputo, datos y avances algorítmicos son los tres factores fundamentales del progreso, y que su trabajo cuantifica solo el cómputo, el más fácil de medir. Las fuentes consultadas no ofrecen un reparto de cuánto aporta cada factor.
Tampoco permiten aislar el efecto del dropout, la ReLU, la GPU o los datos por separado. El paper de AlexNet presenta un sistema completo, no un estudio de ablación (quitar piezas una a una para ver qué cambia). Y, como ya dije, las fuentes no detallan el hardware ni las horas de entrenamiento.
La narrativa de los tres ingredientes viene en buena parte del CHM y de los propios organizadores del reto: es una explicación a posteriori, y conviene leerla así. Lo mismo vale para la cronología de NVIDIA, una fuente de empresa.
Por último, Sevilla et al. y Epoch describen una tercera era desde finales de 2015, con modelos a gran escala que requieren entre 10 y 100 veces más cómputo. Sugiere que la receta siguió escalando, pero qué vino después queda fuera de lo que cubren estas fuentes.
Mi lectura
Esto es opinión mía: el despegue fue una convergencia, no un hallazgo único. Un titular de «salto» esconde décadas de trabajo: 1965, 1987, 1989, 2011. Lo que me parece útil para quien ya conoce el aprendizaje profundo es una pregunta de método: ante cualquier cifra nueva, ¿cuál es la receta de datos, cómputo y arquitectura que hay detrás? Un resultado vale lo que vale su evaluación, y la de AlexNet tuvo la virtud de ser pública, anual y comparable.
Para ver cómo funciona por dentro una red, tienes la guía de Mar: Cómo funcionan las redes neuronales.
Fuentes
- ImageNet Classification with Deep Convolutional Neural Networks (Krizhevsky, Sutskever y Hinton, NIPS 2012)
- ImageNet Large Scale Visual Recognition Challenge (Russakovsky et al., arXiv 1409.0575, v3 de 30 de enero de 2015)
- CHM Releases AlexNet Source Code (Computer History Museum, 20 de marzo de 2025)
- Compute Trends Across Three Eras of Machine Learning (Sevilla et al., arXiv 2202.05924, 11 de febrero de 2022)
- Compute trends across three eras of machine learning (Epoch AI, 16 de febrero de 2022)
- The training compute of notable AI models has been doubling roughly every six months (Epoch AI, 19 de junio de 2024)
- Deep Learning in a Nutshell: History and Training (NVIDIA Technical Blog, 16 de diciembre de 2015)