Alla fine del XVIII sec., Manuel de Amat, nobile locale che era stato viceré del Perù, tornò nella sua città dopo aver accumulato un'ingente fortuna. Per ostentare la propria ricchezza fece costruire questo sontuoso palazzo, un misto di barocco e rococò. Le dépendance e il patio, riallestiti a formare il Centre de la Imatge, ospitano oggi importanti mostre temporanee.