https://x.com/hAru_mAki_ch/status/1817413835948797962
> LLaMa 3.1ユーザー必見！405B→8B変換で劇的コストダウンを実現
これは良さそう！！

どのモデルをどれくらい量子化するといいかがローカルLLMの醍醐味かも