悪口に付き合う必要はあるのでしょうか

臨時職員を始めて２か月経ちました。
同じ課で臨時職員をやっている同僚２人のことで悩んでいます。

２人は、よく職員や、ほかの臨時職員の悪口を言っています。
私自身は、その人達のことを特段悪く思っていないので、聞いているのが辛いです。

最初は、我慢して聞いていたのですが、だんだん我慢が出来なくなってきて、「私は、別に嫌いじゃないし、悪く思っていない。」と言ってしまいました。すると、「優しいんだね。」と言われて・・・。そこまでは良かったのですが、どうやらその後、私も悪口の対象になってしまったようです。（言っているのを、聞いてしまいました。）

この同僚と、どう接すればよいのか、わかりません。
本当は思っていなくても、一緒に、悪口を言えばよかったのでしょうか？私の対応が、まずかったのでしょうか？
考えれば考えるほど、心が痛くなってしまいます。