A vár északi részén, U-alaprajzú, háromemeletes, kontyolt nyeregtetős késő barokk épület. Az építése 1773-ban kezdődött Fellner Jakab tervei alapján, Koller Ignác püspök megbízásából.
A szabadságharc alatt ide költöztették a piarista gimnáziumot. Az I. világháború idején tartalékkórház, majd járványkórház volt. A II. világháborúban újra hadikórházzá vált, 1952-ben pedig az állam birtokába került, és a Vegyipari Egyetem kollégiumaként szolgált.
1991-től a közelmúltig az Érseki Hittudományi Főiskola működött benne. A Kisszemináriummal és az Érseki Palotával együttesen különleges térszerkezeti kuriózum látható, hiszen ritkaság számba megy az egyetlen utcára komponált késő barokk, klasszicizmusba hajló belsőséges, lágy formálású térstruktúra.
