https://x.com/umiyuki_ai/status/1818583975356743772
> Llama3.1-405B(4bit量子化
https://x.com/hAru_mAki_ch/status/1817413835948797962
> LLaMa 3.1ユーザー必見!405B→8B変換で劇的コストダウンを実現
これは良さそう!!
どのモデルをどれくらい量子化するといいかがローカルLLMの醍醐味かも
https://x.com/npaka123/status/1817183372130832419
> Llama-3.1-70B-Japanese-Instruct-2407-gguf(Q8)をお試し中。
M3 128GB
https://x.com/AiXsatoshi/status/1815975930705432619
https://huggingface.co/aixsatoshi/Meta-Llama-3.1-8B-Instruct-plus-Swallow
Meta-Llama-3.1-8B-Instruct-plus-Swallow
50%zaoriku
AIまわりのPOSTを構造的に整理できないかと試してたけど、うまく行ってない感じ^^;