嫌味というものについては「嫌味のつもりで言わない」と「一般的に嫌味と解釈され得ることを言わない」の二段構えでジャッジされているものだろうと思う。
後者の判定があるので、それをパスしないイコール「敢えてそういう言い回しで言っている」と解釈される。つまり「嫌味のつもりで言っている」という可能性を生じてしまう。
後者のジャッジをパスすることは、社会で生きている大人なら普通に可能なことだと想定されていると感じる（「自分は嫌味なんて言わないからわからない」では済まされない）。

このジャッジがパートナーという親密な間柄でも免除されないという場合にはそこにひとつの問題はあるだろうけど（「私の料理に文句があるわけ？」「俺の稼ぎが少ないって言いたいのか！」etc）、そのジャッジが親密な間柄でさえ働いてしまうのは、社会的に課された役割を十分に満たしているかどうかを常に評価されているという「より強力なジャッジ」が先にあるからというのも大きいと思う。そのパートナーが評価を下そうとしてくるわけではないとしても。