Na zemljišču šentpavelskega samostana v bližini Kamnice pri Mariboru je Leopold Limbuški pred letom 1193 protipravno pozidal grad Kamnico (Gams). Takrat je grad omenjen kot castrum Gemz. Med letoma 1202 in 1220 srečamo v listinah šentpavelskega oskrbnika oz. kastelana Seibota, do leta 1374 pa je grad omenjen v popisu samostanske posesti kot castrum ad Lapidem.