Fue construido a mediados del siglo XV con tres recintos cuadrangulares, fabricados con mampostería y sillería. En su construcción original se accedía a él mediante un puente levadizo, ya que estaba construido con muralla y foso. El patio es bellísimo y en su fondo meridional se abre una espaciosa galería gótica de dos pisos. En éste patio se pueden apreciar escudos pertenecientes a los Álvarez de Toledo, de los Obispos y de otros nobles ilustres.