Prva omemba dvora Ostrog (curia Ostro) sega v leto 1249. Imel ga je Henrik de Ostro, pred letom 1301, ko ga je prodal kostanjeviškemu cistercijanskemu samostanu, pa Dankvard iz Rake. Leta 1406 sta omenjena Osell in žena Emka iz Oztroga, pozneje pa ga je kostanjeviški samostan spremenil v pristavo. Ostrog je kot dvor omenjen še leta 1547 (Clebizhoff bei Ostrog) in leta 1660 (Klebetzhof).