Aprendizaje profundo

En los últimos cinco años el aprendizaje profundo ha tomado al mundo por sorpresa, impulsando un rápido progreso en campos tan diversos como la visión por computadora, el procesamiento del lenguaje natural, el reconocimiento automático del habla, el aprendizaje por refuerzos y el modelado estadístico.

Hemos elegido basar el curso en el libro Dive into Deep Learning, consideramos que ofrece un enfoque práctico, amplio y moderno, incluye matemáticas y código, y sus contenidos son actuales.

Este curso representa nuestro intento de hacer que el aprendizaje profundo sea accesible, enseñándote los conceptos, el contexto y el código. Nos propusimos crear un recurso que simultáneamente pudiera:

• estar disponible gratuitamente para todes;
• ofrecer suficiente profundidad técnica para proporcionar un punto de partida en el camino de convertirte en unx científicx de datos;
• incluir código ejecutable, que muestre cómo resolver problemas en la práctica.

El curso está dirigido a estudiantes de grado o posgrado, ingenierxs e investigadores que busquen un conocimiento sólido del aprendizaje profundo.

Prerequisitos

Debido a que explicamos cada concepto desde cero, no requerimos conocimientos previos en aprendizaje profundo ni aprendizaje automático. Explicar completamente los métodos de aprendizaje profundo requiere de matemáticas y programación, pero intentaremos que el curso sea lo más autocontenido posible.

Programación en Python

Vamos a programar mucho. Si tenés experiencia programando pero en un lenguaje diferente probablemente estés bien. ¿Dónde aprender Python? Internet está llena de recursos; algunas recomendaciones:

• Materia de la UNSaM
• Tutorial interactivo de LearnPython
• Curso de Udacity
• Libro A Whirlwind Tour of Python

También requerimos algo de familiaridad con NumPy y Pandas, dos librerías de Python muy usadas en ciencia de datos.

• Tutorial NumPy
• Tutorial Pandas

Cálculo de una variable, cálculo vectorial, álgebra lineal

Tendrías que sentirte bien derivando, operando con vectores y matrices, y entendiendo la notación.

Conocimiento básico de probabilidad y estadística

Deberías saber lo básico de probabilidades, distribución gaussiana, promedio, desviación estándar, etcétera.

Contenidos

El curso provee una introducción práctica al aprendizaje profundo, incluyendo motivaciones teóricas y cómo llevarlas a la práctica. A lo largo del mismo haremos énfasis en implementaciones eficientes, optimización y escalabilidad; en la utilización de múltiples GPUs y múltiples computadoras. El objetivo es que obtengas tanto buen entendimiento como buena habilidad para construir modelos modernos.

Unidad 1: Aprendizaje automático

En la primera parte veremos conceptos y técnicas básicas del aprendizaje automático y del aprendizaje profundo.

Temas de esta unidad son regresión lineal, funciones de pérdida, técnicas de regularización, perceptrón multicapa, algoritmo de backpropagation, diferenciación automática, descenso por el gradiente estocástico, algoritmos de optimización.

Unidad 2: Visión por computadora

A partir de la segunda unidad nos enfocaremos en técnicas modernas de aprendizaje profundo. Vamos a introducir las redes neuronales convolucionales (CNNs) para el procesamiento de imágenes, empezando por la simple LeNet hacia arquitecturas más recientes como ResNet.

Durante esta parte veremos varios componentes clave que establecen las bases para implementar modelos más complejos. Tópicos de esta unidad también son las técnicas de transfer learning y fine-tuning.

Llegaremos a ver algo de redes generativas antagónicas (GANs).

Unidad 3: Procesamiento de lenguaje natural

En esta unidad introduciremos las redes neuronales recurrentes (RNNs), modelos que explotan la estructura temporal o secuencial de los datos, usados comúnmente para el procesamiento de lenguaje natural y la predicción de series temporales.

Una nueva clase de modelos que emplean una técnica llamada mecanismos de atención han desplazado a las RNNs en el procesamiento de lenguaje natural — les dedicaremos una buena parte de esta unidad.

Unidad 4: Sistemas de recomendación

Finalmente en una unidad breve, veremos sistemas de recomendación —necesidad frecuente de la industria— y de cómo el aprendizaje profundo habilita la factorización de matrices de grandes proporciones.

Material de referencia

• STAT 157: Introduction to Deep Learning, UC Berkeley
• CS224n: Natural Language Processing with Deep Learning, Stanford
• CS231n: Convolutional Neural Networks for Visual Recognition, Stanford

Organización y condiciones de cursado

Libro

El material de referencia principal es el libro Dive into Deep Learning, también conocido como D2L. Es fundamental para hacer el curso que leas el libro casi en su totalidad. En el calendario te proponemos un orden y un ritmo de lectura.

Clases

A medida que vayan siendo publicadas, las clases quedarán disponibles en el canal de YouTube para que estudies de manera asincrónica. Es muy recomendable que te suscribas al canal y que por medio de Discord interactúes con otres estudiantes.

Consultas

Las horas de consulta servirán para que el equipo docente resuelva dudas tanto conceptuales como de aplicación de manera sincrónica. Servirán también para hacer puestas en común, resolver ejercicios, discutir otras alternativas de solución, proponer sugerencias, promover la discusión de los temas del curso.

La asistencia a consulta no es de carácter obligatorio, sin embargo, recomendamos que asistas para un mejor desempeño durante el cursado.

Trabajos prácticos

Habrá diez guías de trabajos prácticos. Estas en general tendrán dos partes.

• La primera consistirá en la implementación y la aplicación de los contenidos desarrollados hasta ese momento. Su entrega y resolución será de carácter obligatorio.
• La segunda constará de preguntas que permiten apropiarse de los conceptos subyacentes en los contenidos. Es recomendable la resolución de estas preguntas, pues serán similares a las preguntas de los exámenes.

Las fechas de entrega para los trabajos prácticos están estipuladas en el calendario.

Exámenes

Al final de cada sección del libro del curso hay algunos ejercicios, mayormente preguntas conceptuales acerca del tema de la sección. Las preguntas de los dos exámenes parciales consistirán en tales ejercicios y en otros muy similares. Es buen material para llevar a las consultas.

Proyecto final

Para aprobar el curso deberás presentar un proyecto final sobre alguno de los temas discutidos durante el cursado. Estos proyectos finales serán trabajos grupales que los mismos grupos propondrán.

Código de conducta

Datitos se dedica a proporcionar una experiencia libre de acoso. No toleramos el acoso en ninguna de las formas posibles.

Los trabajos a entregar deben ser una producción original.

Cualquier persona que viole este código de conducta será sancionada o expulsada de este espacio a discreción del equipo organizador.

Calendario

FAQ

¿Entregarán certificados a quienes aprueben el curso?

Es un curso independiente, los certificados no tendrían ninguna validez académica. Estamos pensando en dejar una nómina de personas que lograron concluirlo en esta misma página, por si sirve de algo.

Tengo dudas acerca de si cumplo con los prerrequisitos, ¿cómo saber si podré hacer el curso?

La mejor manera es ojear el libro del curso, especialmente el capítulo 2, y llegar a una conclusión personalmente.

¿Cuál es la diferencia entre este curso y otros disponibles en internet, como los citados en "material de referencia"?

No mucha, la verdad — prácticamente todo el contenido viene del material de referencia. Hacemos este curso por si todavía no has hecho los otros, a ver si por medio de la iniciativa y el acompañamiento local te motivamos a hacer este. Sabemos lo difícil que es no colgar un curso en línea que nadie te pidió hacer.

¿Qué es Datitos?

Es un grupo de científicxs de datos que viven y trabajan en Mendoza, Argentina. Nos ayudamos mutuamente y le damos una mano a quienes desean meterse en este mundo. Co-organizamos los eventos locales de ciencia de datos.

¿Quién es Luciano Robino?

Es licenciado en física egresado de Instituto Balseiro. Mágister en física emitido por la misma institución. Actualmente cursa la carrera de licenciatura en computación en Facultad de Ingeniería, UNCuyo. Ha trabajado en el módulo de Matemática del ingreso a la Facultad de Ciencias Económicas, UNCuyo. En sus ratos libres estudia japonés.

Si la propuesta del curso es estudiar del libro, ¿para qué están las clases?

Es posible hacer el curso sin ver las clases, solo leyendo el libro. Lo inverso, ver las clases y no leer el libro o hacerlo parcialmente no te será de gran ayuda.

La intención de las clases es facilitarte la lectura del libro. El equipo docente prepara las clases en base al mismo intentando ponerse en tu lugar, determinando qué partes requieren explicaciones más amplias o desde otro punto de vista. Si al equipo docente le parece que el tema está muy claro en el libro, lo más probable es que ni sea tocado en clase.

¿Es necesario saber inglés?

Como el libro está en inglés, cierto nivel de comprensión lectora es necesaria. Quizás con la ayuda de traducciones automáticas sea posible superar la barrera del idioma.

El libro tiene implementaciones en código en varios frameworks de redes neuronales: TensorFlow, PyTorch, MXNet. ¿Hay alguna preferencia?

Son todos excelentes frameworks. Por una cuestión de practicidad en el dictado de las clases y en la corrección de trabajos prácticos, nos enfocamos solo en PyTorch.

¿En necesario instalar programas en mi computadora?

Para los prácticos usamos Google Colab, un servicio gratuito de la nube de Google basado en Jupyter Notebooks. En principio, no necesitás correr código en tu propia máquina para hacer el curso, simplemente trabajar en Colab.

¿Dónde enviar los trabajos prácticos?

Al correo datitos-aprendizaje-profundo@googlegroups.com. Es importante que lo hagas desde la misma dirección que utilizaste para la inscripción. En el caso de trabajos hechos en Google Colab, descargar una copia del notebook en formato .ipynb y enviarlo adjunto.

¿Hasta qué hora del día de entrega es posible presentar el trabajo práctico?

Hasta las 23:59:59. Si el envío llega al día siguiente, consideraremos que has entregado tarde.

¿Qué pasa si entrego tarde un trabajo práctico?

Dependiendo del número de personas inscriptas al curso puede que dejemos de hacerte seguimiento, en otras palabras, podrías perder la regularidad; todavía lo estamos estudiando. En promedio habrán 14 días entre la habilitación para resolución y la entrega de un trabajo práctico, que no serán demasiado extensos, por lo que consideramos tiempo más que suficiente para hacer presentaciones a tiempo.

¿Puedo hacer los trabajos prácticos en grupo?

Incentivamos la conformación de grupos de estudio. En este sentido podés discutir la resolución de los prácticos con otras personas, sin embargo las respuestas deben ser personales. Siempre que presentes un trabajo en el que te has apoyado en un conjunto, deberás incluir el nombre de todas las personas del grupo.

¿Es necesario inscribirme para poder hacer el curso?

En lo absoluto. La inscripción —que es gratuita— es para obtener seguimiento por parte del equipo docente: corrección de trabajos prácticos, exámenes, proyecto final. Aunque no te inscribas todos estos recursos estarán a tu disposición: las clases en YouTube, el servidor de Discord para interactuar con el equipo docente (consultas) y otres participantes (grupos de estudio), aquí mismo colgaremos trabajos prácticos y exámenes, incluyendo las respuestas a los exámenes.

Inscripción (cerrada)

Dado el tamaño del equipo docente, la capacidad de corrección y seguimiento es limitada, por lo que existe un cupo de inscripción. Para la selección priorizaremos:

• Cumplimiento de los prerrequisitos.
• Radicación en la provincia de Mendoza.
• Pertenencia a grupos minoritarios.

El material del curso es de acceso libre y gratuito, independientemente del resultado de la selección. Te contactaremos por correo para avisarte del resultado de la pre-inscripción.

Actualización 29 de marzo: La inscripción para el año 2021 cerró, podés anotarte igual para mostrarnos tu interés en el curso. Te contactaremos en el 2022.

Actualización 5 de mayo: Anunciamos la versión distendida del curso. Consiste en la primera mitad del curso (unidades 1 y 2) con fechas de entrega extendidas. Más información en este anuncio en el servidor de Discord.