彼は自身が中年であることで、アナタに対して後ろめたさや恥ずかしさを感じてしまっています。
「うるせえなそんなコトお前しか気にしてねんだよ。ウザいオジサンだなと思ったらコッチから言うから二度と口にするな」をアナタの普段の言い方で伝えてあげてください。