これを使ってみたくて手元のSE2をiOS18に上げてみたけど、しょせんはSE2なのでスペック不足のため撃沈
いや、smallモデルなら一応動きはするんだけど、そのモデルだと「かなーりゆっくり、聞き取りが苦手な人でも聞き取りやすいように気をつけた平易なしゃべり方」でないと全然さっぱりになってしまうのよね……
@lithium03 その……閣下……そのような巨大なモデルはそもそもRAMに載りませぬ……smallよりも大きなモデルは初期化で落ちまする……
@the_kwa あーそんなに小さかったか…
確か2Gは余裕で超えたから、そもそも物理メモリより大きいかもしれないですね
@lithium03 まあそもそも小型廉価機、それもかなり古い機種ですからね……mediumモデルなら一応動くことのほうがすごい、という次元なのかと……
@the_kwa 3GBだと、キャップが1.5GBだから、全然載らないですね…
重み自体が載る気配すらない。量子化したら半分くらいまで減らせるけど、エンコーダー側でもう辛いかもしれないです。これがANEにまるっと載るなら、デコーダを悠々GPUでメモリ展開できるんですけど。
@lithium03 実際mediumだと端末再起動直後に起動して運が良ければ初期化はできる(動かすと落ちる)という次元ですしね。
世の中のアプリがクラウドクラウド言うのもさもありなん……という感じですわ……
@the_kwa なるほどiPhoneのメモリがもりもり大きくなったのも納得ですね。これくらいのサイズは端末内で動いてほしいとAppleも思ったのでしょう…もっと早く気付こうぜ…
@lithium03 いうてSE2はもう4年前の機種ですし……当時だとせいぜいカメラ周り、あとはSiriの通信データ削減用の前処理ぐらいしかユースケースなかったですから、メインメモリはそこそこに高速なストレージと高速なCPUがあればどうにかなるはずだったんでしょうね
ここ数年でRAM富豪なアルゴリズムのエッジコンピューティングが一気に花開いたとも言う……
@the_kwa 今さらですが、large-v3-turboなら動くかも