Dvorec Jelše (Erlachstein) je leta 1666 iz prvotnega dvora, prvič omenjenega leta 1424 kot hoff Erlach, pozidal njegov zakupnik baron Žiga Gaisruck. Prvotni dvor so leta 1635 zasedli in požgali uporni kmetje. Nato so bili lastniki od leta 1799 Anton Nagy, od 1837 Rajmund Novak in od leta 1845 Rudolf Godel. Leta 1887 je Jelšingrad kupila Elisa pl. Artens iz Gradca, pred drugo svetovno vojno je bil dvorec last lesne družbe Jelšingrad, zadnji lastnik naj bi bila rodbina Cais, po njej pa so v njem uredili dom ostarelih občanov. Po potresu leta 1974 je imel se nekaj stanovalcev, danes pa opuščena in zanemarjena stavba čaka na obnovo.