ubuntu22.04@raspi4b+にruby 3.3.2をrbenvで入れようとしたら、どうやらこれと同様なのに引っかかったっぽい。
https://bugs.ruby-lang.org/issues/20506

書いてあるとおり、rustcのバージョンを適当に下げたらいけた(･ω･)