Oglejski patriarhi so sredi 12. stoletja pozidali utrdbo, v kateri je bil stoletja sedež tolminskih glavarjev. Verjetno ga je dal pozidati že patriarh Pelegrin I. Spanheimski že leta 1146. Stari tolminski grad (Bockstein, Tulmein) so v imenu oglejskega patriarha upravljali tolminski glavarji. Patriarh je leta 1379 dal gospoščino v zakup Čedadu, nato so bili gospodarji goriški grofje, ki so podelili Tolmin leta 1430 grofom Dornbergom, Habsburžani pa so ga pred letom 1515 prodali baronom Neuhausom. Med poznejšimi tolminskimi glavarji oz. zakupniki in lastniki srečamo še barone Egkh-Hungerspache z Vogrskega, grofe Thurn-Valsassina, grofe de Orzon, barone Dornberge in grofe Breunerje ter končno leta 1651 grofa Petra Antona Coronlnija iz Kromberka, ki je opustil stari grad. Goriške čete so ga konec 13. stoletja in v začetku 14. kar štirikrat zavzele, temeljito pa sta grad razmajala potresa leta 1348 in 1511. Opustili so ga konec 17. stoletja.