Škofijski dvorec je dal leta 1512 pozidati ljubljanski škof Krištof Ravbar, verjetno iz prvotnega poslopja, ki je nastalo kmalu po ustanovitvi ljubljanske škofije leta 1461 in je bilo močno poškodovano med katastrofalnim potresom leta 1511. V dvorcu so gostili imenitne obiskovalce, tako avstrijska cesarja Leopolda I. leta 1660 in Karla VI. leta 1728, maršala Bernardotta in cesarja Napoleona leta 1797, v njem je med kongresom svete alianse bival ruski car Aleksander I., med francosko zasedbo pa je v njem bil sedež guvernerjev Ilirskih provinc. Že desetletja je v njem sedež škofijskega oz. nadškofijskega ordinariata.