A várhegy peremén álló, sajátosalaprajzú Cour d’honneur elrendezésű, emeletes, kontyolt nyeregtetős, alápincézett késő barokk palota.
Koller Ignác püspök atya megbízásából a terveit Fellner Jakab tatai építőmester készítette. Az építkezés 1765-ben kezdődött, majd a francia ízlésű épület 1776-ban készült el. A földszinti nagytermet illuzionisztikus architektúra-festés díszíti. A tükörboltozatos mennyezetet Johann Cimbal festette 1772-ben. A termek barokk stukkóinak készítője Giuseppe Orsatti.
1820-ban itt találkozott József főherceg I. Sándor orosz cárral. 1908-ban itt szállt meg Ferenc József császár.
A palota földszintjén kapott helyet az Érsekségi Könyvtár, az Érsekségi Bíróság és az Érsekségi Levéltár.
