レスポンシブ対応で画面狭くなると畳み込むやつやっていて, 開いたまま画面広くすると anchorEl の先が display: none になってエラーを吐いていた.
小さい component に切り出して, popover の開閉状態が上位 component の切り替えでリセットされるようにしたら解決した.