養老渓谷は雨の時行ったら命の危険がある所なので雨天はお勧めできません。川の飛び石が最悪沈没するし、滑るのでトレッキングシューズとポールは必要。川辺りに降りる階段も急勾配です。
秘境なので人がいないのはお勧めです。