Gornji grad (Oberburg) je bil pozidan na mestu nekdanje poznoantične utrdbe. Tu je bil sedež velike posesti svobodnega gospoda Diebalda de Chagere iz rodu mejnih grofov Cham-Vohburg, ki jo je leta 1140 izročil oglejskemu patriarhu. Grad so sprva upravljali ministeriali, nato kastelani, omenjeni leta 1257 Wluingus Dunno, Hermannus, Volkerus castellani de Oberburch in leta 1267 Janez Cocus in Herman de Owe iz Loga pri Skornem. V začetku 14. stoletja so dobili grad in gospoščino v fevd vitezi Altenburški z Vrbovca, med letoma 1349 in 1350 pa so Eberhard, Viljem in Friderik Vrbovški prodali grad grofu Frideriku Celjskemu. Celjani so s tem postali patriarhovi vazali in imeli grad, dokler niso izumrli. Stari gornjegrajski grad je propadel po letu 1425.