臨時職員採用試験の２次面接、断り方について

はじめまして。

私は、いくつか臨時職員の募集に応募し、そのうちの２つが一次選考（書類選考）を通過しました。

二次試験は面接となっているのですが、一つの面接は都合で行けません。そういった場合は、その自治体の連絡をして、面接を辞退することを電話で伝えたほうがよろしいのでしょうか？
それとも、何も連絡しなくてもいいのでしょうか？

また、そういった場合、断る際にはなんと言えばいいのでしょうか？教えてください、よろしくお願いします。