上司が不倫してます

課長と会計年度職員が不倫しています。それは勝手にしてと思うのですが、仕事に支障がでてきました。朝は課長が1時間遅刻、相手が３０分遅刻してきたり、突然、休みますと連絡入ります。もちろん別々に連絡きますが。
あまりにも、遅刻や早退、途中抜けが多く、本人たちは時間差でやっていて分からないように工夫してるようですが、さすがに職場全員知っています。
会計年度職員の方は、仕事そっちのけで困っています。でも、課長と付き合っているから当然文句は言えません。
この場合、どこに密告したら良いのでしょうか？課長には異動してほしいし、相手は辞めて欲しいです。