プレビューカードって、リンク先のコンテンツを要約表示して自分で『見て』判断するためのものなので、

うっかり何かを『見て』しまうとツライ場合は非表示にしておいて、中身がわからないリンクを辿らないように運用する方がいいと思います。

Fedibirdではオフにする機能が付いてますのでご活用ください。

通常のMastodonの場合は、クライアントアプリを使ってオフに設定できるものがあればそれを使ったり、そもそもカード未対応のアプリを使うなど（ちょっと苦しいですが）対応方法はあります。