やめたいけど、無責任なことしたくない

医療施設で臨時職員をしています。
社会人になって初めての仕事なので、慣れるまで大変苦労しました。
七割が女性なので、男の自分にとってメンタル的にきついです。
ただ、基礎的なことを教えてもらってるので大変感謝しています。
就職できるか不安な日々を過ごしているなか、ある施設から非正規社員の話がきました。そこで見学とお話を伺って自分の望んでいる職場と一致しました。
他に希望者はいるとのこと。今の仕事をやめて3か月以内に勤務できるのであれば採用のこと。
今の臨時は一年契約です。途中でやめたくないんですけど、スキルアップのことを考えたらその職場に行きたいです。
すごく悩んでいます。
このチャンスを逃したら後悔することになると思っています。