「regret +ing」の意味
「regret +ing」の意味は「（過去に）～したことを後悔している」です。
I regret eating too much yesterday.
→昨日食べ過ぎたことを後悔しています。
I regret declining your offer.
→あなたのオファーを断ったことを後悔しています。
I regret changing jobs.
→転職したことを後悔しています。
I regret complaining.
→文句を言ったことを後悔しています。
Do you regret breaking up with her?
→彼女と別れたことを後悔していますか？
「現在～であることを後悔する」の意味もある
過去ではなく「現在残念に思っている」のニュアンスでも使われることがあります。
I sometimes regret not being able to drive.
→車の運転ができないことを残念に思うことがあります。
（引用:ENGLISH EX p94）
「regret having +過去分詞」の意味
「regret having +過去分詞」の意味は「～したことを後悔している」で、意味的には「regret +ing」と同じです。
ただし、完了形「regret having +過去分詞」は「過去に～したことを後悔している」ことを明確にしたい場合に使われます。
I regret having seen this.
→これを見たことを後悔しています。
I regret having missed the opportunity to do so.
→そうする機会を逃した後悔しています。
ただ、文脈的に分かることが多いので、「regret having +過去分詞」は「regret +ing」の形で言うことが多いです。
「～しなかったことを後悔している」の言い方
「～しなかったこと」は「regret not doing」の形になります。
完了形の場合は「regret not having +過去分詞」の語順です。
意味的には同じですが、いずれも not の位置に注意します。
Now and then, Bob regrets not finishing high school.
→時々、Bob は高校を卒業しなかったことを後悔する。
（引用：ALL IN ONE Basic p251）
I regret not saving more money when I was single.
→独身時代にもっとお金を貯めておかなかったことを後悔している。
（引用：ENGLISH EX p94）
I regret not studying harder at school.
I regret not having studied harder at school.
→学校でもっとしっかり勉強しておけばよかったと後悔しています。
（引用：ENGLISH EX p98）
「regret to」の意味
「regret to」の意味は「残念ながら～する」です。
これはよく「regret to + 伝える系の動詞 +that節」の形で使われます。
We regret to say that the item you ordered is currently out of stock.
→残念ながらあなたの注文した商品は現在在庫切れです。
I regret to say that I must decline your offer.
→残念ながら、あなたの申し出をお断りしなければなりません。
（引用：ジーニアス総合英語第二版 p234）
We regret to inform you that your application for the job was unsuccessful.
→まことに遺憾ながら今回の採用は見送らせていただくことをご通知申し上げます。
（引用：ENGLISH EX p94）
用法のまとめ
・「regret +ing」は「（過去に）～したことを後悔している」
・過去ではなく「現在残念に思っている」のニュアンスでも使われる
・「regret having +過去分詞」は「～したことを後悔している」
・意味的には「regret +ing」と同じで「過去にしたこと」を明確にしたい場合に使われるが、だいたい文脈的に分かるので「regret +ing」が使われることが多い
・「～しなかったことを後悔している」は「regret not doing」
・完了形の場合は「regret not having +過去分詞」
・「regret to」は「残念ながら～する」
・「regret to + 伝える系の動詞 +that節」の形で使われることが多い
