Blog portant sur l’actualité informatique, geek et high-tech
Justine Tunney booste encore une fois les performances de llama.cpp
Justine Tunney a développé de nouveaux kernels d’algèbre linéaire pour llama.cpp, boostant les performances jusqu’à 5 fois sur CPU. Ses optimisations tirent parti des dernières instructions vectorielles des processeurs Intel, AMD et ARM.
→ Lire la suite sur le site d’origine…