Žički dvor je bil pozidan pred letom 1400. Do ukinitve žičkega samostana je bil samostanska last, v začetku 19. stoletja pa so ga skupaj z minoritskim samostanom preuredili v vojašnico in pozneje v garnizijsko sodišče z zapori.