Iz prvotnega upravnega dvora v Dravogradu, ki je to stal že v 13. stoletju, je tekom stoletij nastal tkoimenovan spodnji grad, v katerem je bil od konca 18. stoletja sedež grajske uprave, sodišča in drugih uradov. Od leta 1838 so živeli tudi lastniki dravograjske gospoščine pl. Dumreicher, pl. Schamberger točneje od leta 1846 in od leta 1859 baron Evgen Dickman-Secherau, ki ga je leta 1871 prodal občini. Leta 1883 so v njem uredili šolo, temeljito pa so stavbo predelali leta 1967, ko so v njej odprli blagovnico