https://x.com/webbigdata/status/1856969480649543868
>gguf変換時に固定されてしまうようなので、世の中に出回っているほとんどのgguf版は実は32K固定版です
あれ、convert_hf_to_gguf.pyを使えばconfig.jsonを読んで、contextサイズも反映してくれるのでは？と思ったが、そっか普通の人はgguf自炊しないわな。
フォロー
ggufはモデルの最大コンテキストサイズで作っておき、使用時に各自がctx-sizeパラメータを指定するのが作法になってるかと思っていたが、そうでもないのか。この作法で特に問題なさそうだけどなあ。
