「呪う」と「祈る」は不可分であるので、その行為が関係する者にとってどんな影響があるかは内容を知らねば判断できない、というのは大前提として、

その上で「呪う=加害行為」という誤った認識が一般に蔓延している現状では、内容を限定せず「呪うぞ」と口にすることは「殴るぞ」「殺すぞ」と同等の加害予告であるので、口にすべきでない。

「呪いなんてあるわけない、ギャグで言っているだけ」というならなお悪い。
「それについてどう思うかは各々の勝手」という内心の自由は、それを公の場で都合の良い玩具として弄んでよいという意味ではない。