たぶんどちらも「いいえ」で、ドラマのセリフみたいなありそうなことをペラペラ述べているに過ぎないのでは？
https://fedibird.com/@mutow610/110814527681125054 [参照]
@xipj
そうなのですかね… わざわざ「人の話を聞いて助けるのが好き」なAIキャラが相談者が挙げる「あの男性」についてあることないこと喋るの、（このケースの元々鬱っぽそうな人でなくとも）心配性で妄想寄りな相談者の恋愛相談とか浮気相談の場合でもなんだか危なそうですね…
@mutow610
あ〜 危ないですね。たぶん、ドラマのシナリオや質問サイトや掲示板の修羅場報告とか、ネットにある色々なテキストから学習してて、あることないこと話すようになってると思うので、心配や妄想を増幅する効果はめちゃくちゃあると思います……
@mutow610
そうですね。でも雑多なテキストで学習した後、架空のキャラクターを作っているわけなので、その辺りでカウンセラーの心得なりコンプライアンスなりを徹底的に叩き込めば（コストはかかっても）技術的に不可能ではない気がします。なので、「AIがどう受け止めているか」よりむしろ、制作者やサービス提供側の責任を問いたいところですね……