V verigi gradov in utrdb, ki jih je v 11. stoletju zgradil istrski mejni grof Ulrik Weimarski, je takrat morda stal tudi obrambni stolp v Podpeči (Popecchio). Od konca 15. stoletja, ko je bila Podpeč v posesti beneških plemicev Brutti, je bil stolp protiturški kaštel. Leta 1511 sta Podpeč zavzela Nikolaj Rauber in grof Krištof Frankopan, vendar ne za dolgo, saj je bila Podpeč beneška posest do 1797 leta.