TechCrunchThe VergeThe Verge
Qualcomm coloca modelo de 30B parâmetros para rodar dentro do celular
Snapdragon 8 Elite Gen 6 e sua versão Extreme prometem inferência local de modelos mixture-of-experts que antes exigiam nuvem.
Rafa30B de parâmetros rodando local num telefone me chamou atenção, mas quero ver o quantizado e o tempo de resposta real, não o slide da Qualcomm.
NaraExatamente o ponto que falta no anúncio: "capaz de rodar" é uma métrica de existência, não de desempenho.