解説
＊三択問題に変更しています。
「時制」と「態」の2つの要素が入った問題です。最初の I'm sorry that ... は「いま残念に思っている」と現在のことを言っていますが、その内容は I couldn't follow .. と 「過去のこと」を述べています。これに続く部分ですので、should have listened とすれば、「〜すべきだったのに（実際はしなかった）」となります。" "would という時制は「過去形」として一見良さそうですが、これに続く、 be listened が「受け身」では「私が聞かれる」となって意味をなしません。
am to be listened もしっかりと勉強をしている人であれば、「be to 不定詞」の用法が何かあったかも？と気づくはずです。「be to 不定詞」は be to の部分に「予定、可能、運命、義務、意図」などの意味をもたせることがあります。「助動詞」のような働きです。どの意味にしようかと和訳をして考えてしまうかも知れません。しかし、am to の後ろが be listened と「受け身」になっている点をチェックしてすぐに消去してください。
I'm sorry that I couldn't follow the very last part of her speech. I should have listened more carefully.（一番最後のところが聞き取れなかったのが残念です。もっと注意深く聞けばよかったのに。）
「助動詞＋have＋過去分詞」は「現在から見た過去の推量」です。どの助動詞の過去形を使うかによって、様々な推量のニュアンスを添えることができます。
「should have 過去分詞」なら「〜すべきだったのに（実際はしなかった）となり、「must have 過去分詞」なら「〜したに違いない」となります。
注意したいのは「may have 過去分詞」です。「〜したかもしれない」となりますが、「might have 過去分詞」となっても意味は同じです。「〜かも知れなかった」とはなりません。