面接の雰囲気で採用を辞退

面接時に、なんだか嫌な気持ちになったとか合わないなとか感じたから採用を辞退するって人はいるのでしょうか？

先日某省地方事務所の面接を受けに行きました。
まず、控室で待機していたら、採用されてもいないのに採用後の待遇等を説明されました。そしたらもう一人職員が来て、説明をしてくれた職員と雑談。「あの面接の空気緊張しますよねー笑」とか、面接官のことをペラペラ。これから面接受けようって人の前で言わないでよって思いました。そして私の顔をチラッと見て「今回の系統が何となくわかりましたよ」「ですよね」となんだか嫌な気分にさせられました。
面接会場に入ったら、先ほど控室で後から入ってきたおしゃべり職員が進行役に。緊張しながら志望動機と自己PRを言った後に「リラックスしてください」と言われましたが、さっきあなたが面接の空気が〜とか言ったせいだよ！とイラっときました。
面接自体も、長所短所とか通勤方法とかオーソドックスな質問はなく、どういう仕事をするのかわかりますか？とか前職の退職理由とかを中心にやりとりしました。
私は終始緊張してしまい、自分でも訳のわからないことを言っていたなと面接後に反省。

私が人の言葉に影響されて緊張してしまったのも情けないですが、嫌な印象を抱いた面接だったので、仮に採用されても辞退しようかなと思います。こんなご時世に非常識だとは思いますが…。
同じような境遇で辞退した方はいますか？