LLMOps: Optimización de Memoria y Computación en LLMs

Explora técnicas avanzadas de optimización para Modelos de Lenguaje Grande (LLMs) en este tutorial de 27 minutos. Aprende sobre FlashAttention y GQA como métodos para optimizar las capas de atención, y profundiza en las técnicas de entrenamiento DDP (Distributed Data Parallel) y FSDP (Fully Sharded Data Parallel). Accede a una presentación detallada y un notebook práctico para implementar estos conceptos, mejorando la eficiencia en memoria y computación de tus modelos de lenguaje.

LLMOps: Optimizacion Memoria y Computación en LLM,s #machinelearning #datascience