Žumberški kapetan Ivan Lenkovič, lastnik Otočca, Mirne in Mokronoga, je leta 1547 kupil grad in gospostvo Mehovo, pod katero je sodilo Pobrežje. Še isto leto je Lenkovič dobil cesarjevo dovoljenje, da sme sezidati stolp in trdnjavo Freyenthurn in je takoj začel zidati grad Pobrežje. Leta 1564 je grad in gospoščino kupil Krištof pl. Burgstall s Krupe, leta 1599 baron Jurij Lenkovič, leta 1614 po zopet Burgstalli. Leta 1743 je Pobrežje kupil sorodnik grof Andrej Danijel Barbo, nato je bil lastnik Jožef Leopold pl. Bonazzi od leta 1752, leta 1773 pa ga je dedovala grofica Frančiška Auersperg. Po njeni smrti leta 1797 je podedoval njen nečak baron Alojz Apfaltrer. Apfaltrerji so Pobrežje imeli do leta 1904. ko sta ga kupila posestnik v Metliki Danijel Makar in Julij Macele. Tik pred prvo svetovno vojno je Pobrežje kupila Zemljiško banka v Pragi, takoj po njej Anton Zurc, pred drugo svetovno vojno pa rodbina Rauch. Med 2. svetovno vojno so grad leta 1942 in 1945 požgali Nemci.