I lavori del Palazzo iniziano nel 1659 a partire dal versante di terra, con il cortile caratterizzato dalle originali logge, che risulta completato entro il 1676; la prestigiosa facciata sul Canal Grande raggiunge il secondo piano già nel 1679, ma, alla morte di Longhena nel 1682, il palazzo è ancora incompiuto.

I Pesaro ne affidano il completamento a Gian Antonio Gaspari che lo porta a termine certo entro il 1710, rispettando sostanzialmente il progetto originario. Sontuoso e imponente, ma armonico e organico nella struttura, il palazzo è arricchito costantemente, già durante i lunghi anni della costruzione da un altrettanto importante apparato ornamentale degli interni.

Di esso, il palazzo conserva ancora oggi alcuni decori a fresco e a olio dei soffitti, dovuti ad artisti come Bambini, Pittoni, Crosato, Trevisani, Brusaferro; tra essi anche il soffitto di G.B. Tiepolo con Zefiro e Flora trasportato da qui al Museo di Ca’ Rezzonico nel 1935.

Ma ben più cospicue risultano dai documenti d’archivio esser state le collezioni della famiglia Pesaro, che annoveravano numerosissime opere di artisti tra cui Vivarini, Carpaccio, Bellini, Giorgione, Tiziano, Tintoretto, oltre ai più noti artisti del Seicento e del Settecento veneziano. Questo ingente patrimonio risulta disperso definitivamente entro il 1830, anno di morte dell’ultimo dei Pesaro, che ne ha venduto all’asta a Londra la maggior parte.

Dopo i Pesaro, il palazzo passa ai Gradenigo, poi ai Padri armeni Mechitaristi, che lo utilizzano come collegio. Acquistato infine dalla famiglia Bevilacqua, diviene proprietà della duchessa Felicita Bevilacqua La Masa. È lei a destinare il palazzo all’arte moderna, lasciandolo a questo scopo alla città.

Memorie di un'epoca - Conversazione con il Signor Rathgeb