El edificio es una magnifica obra representativa del barroco herreriano. Fue construido por Francisco Bautista y Melchor de Bueras, junto con la catedral de San Isidro, que originariamente era la iglesia del colegio.
Es un patio cuadrado, con veinte arcos en la parte inferior y veinte grandes balcones en la parte superior. Los arcos están formados por pilastras y en la piedra clave de los arcos están labradas unas águilas bicéfalas con un medallón en el que originariamente estaba el anagrama de \"JHS\" y que, aún hoy, se puede ver en alguno de ellos.