裁判官を含む公務員の罷免の請願権（憲法第16条）は憲法で保障されていますが、同時に司法権の独立も明記されています（憲法第76条）。
法律に基づいて罷免を求めること自体には問題ありませんが、判決の内容を理由として行う場合、重大な違法行為がなされているという確たる証拠がない状態で罷免を求めるのは法治国家としての基盤を揺るがすと思います。