La Plaza de la Paja, antes era del Marqués de Comillas y se encuentra en pleno Madrid de los Austrias. Se llamó así porque en ella se subastaba la paja que se otorgaba a los canónigos de la vecina Capilla del Obispo para el mantenimiento de las mulas que poseían. Por la situación en que se encontraba, espaciosidad y por las construcciones que la rodeaban, fue el verdadero centro de la vida interior del barrio y la plaza principal y más importante de la villa durante casi toda la Edad Media, hasta que en tiempos de Juan II se forma sobre la laguna de Luján, la plaza del Arrabal, que luego había de ser la Plaza Mayor de la corte de las Españas. Desde el siglo XIII fue el foco comercial como lugar de mercado de la ciudad.
Aquí residieron las principales familias nobiliarias de Madrid. Palacios como los de los Lasso de Castilla, los Vargas, el Marqués de la Romana o el Palacio de Isabel la Católica, llamado así porque en esta plaza vivieron los Reyes Católicos, pero siendo una afirmación inexacta, ya que los Reyes vivieron en el Palacio de los Lasso de Castilla, que se ubicaba muy cerca y en la misma plaza.
La plaza es un recinto irregular que salva una considerable pendiente, provocada por el barranco del desaparecido arroyo de San Pedro, en cuyo cauce se encuentra actualmente la calle Segovia. Ahora la plaza es un conjunto de edificios de interés histórico-artístico, tanto religioso como civil.
En la zona norte de la plaza, podemos encontrar la maravillosa Capilla del Obispo, que está pegada al Palacio de los Vargas. Capilla que pertenece al complejo religioso de San Andrés, donde se encontraba el pasadizo elevado que unía la parroquia con el Palacio de los Lasso, por donde entraban los reyes a la dependencia privada de la iglesia desde donde podían oir misa.

Su solar estuvo ocupado por el palacio de don Beltrán de la Cueva, perteneciendo desde 1510 a los Lujanes de la Morería. En el s. XIX fue el palacio-residencia provisional de las Salesas Reales cuando fueron forzadas a desalojar el monasterio de Dña. Bárbara de Braganza en 1870, residiendo allí hasta 11 años después, en que se trasladaron a su nuevo convento en la calle de Joaquín García Morato.

Una vez abandonado el edificio, se realizaron las correspondientes obras de adaptación para traslado del Colegio de San Ildefonso, que ya funcionaba plenamente en 1884. Según consta en documentos, entre los años 1533 y 1543 gozó en todo momento de protección real, así como en 1478 ya se impartía enseñanza profesional y religiosa a favor de los niños pobres que se acogían al colegio. Desde el 9 de marzo de 1771 los niños de este colegio cantan los premios de la Lotería Nacional.