Cómo usar modelos enormes con GPUs modestas
Exploro la técnica de la inferencia capa por capa, con precarga en memoria mediante ventanas deslizantes para correr modelos enormes en hardware de andar por casa.
AirLLM
- 01
Exploro la técnica de la inferencia capa por capa, con precarga en memoria mediante ventanas deslizantes para correr modelos enormes en hardware de andar por casa.