Cómo usar modelos enormes con GPUs modestas
Exploro la técnica de la inferencia capa por capa, con precarga en memoria mediante ventanas deslizantes para correr modelos enormes en hardware de andar por casa.
Archivo
Artículos
Casos de uso, ensayos y notas largas sobre proyectos en los que estoy o he estado trabajando.
- 01