小児性加害者という意味でペドフィリアという言葉を使うのは差別だと思っています。

「誰に対して恋愛感情を抱くか」と、「それを公的な場で表明する・それを行動に移すか」は、全然別の話で、前者によって断罪されてしまったり、加害者として扱われてしまったりすることがあってはいけないので……。

ペドフィリア＝加害者、というイメージが流布していることを利用して、一部の人が「LBGTを認めるとペドフィリア（による加害）を認めることになる」などと主張し、セクシュアルマイノリティへの差別を扇動していますが、それに対して、ペドフィリアは加害者であるという前提乗っかって反論するのは良くないと思います。
（そもそも「認める」とかいう上から目線何？という別の話もありますが）

日本語でも加害行為をしてないペドフィリアの証言とか体験を読むことができるし、ペドフィリアと聞いて子どもへの加害を行う卑劣な犯罪者だけをイメージする人は、それらを読むと自分のイメージとかなり異なることがわかると思います。