Il grandioso palazzo, ora sede del Museo d’Arte Orientale e della Galleria Internazionale d’Arte Moderna, fu edificato nella seconda metà del XVII secolo, per volontà della nobile e ricchissima famiglia Pesaro, su progetto del massimo architetto del barocco veneziano, Baldassarre Longhena, cui si devono anche la Chiesa della Salute e Ca’ Rezzonico.
I lavori iniziarono nel 1659 a partire dal versante di terra, con il cortile caratterizzato dalle originali logge, che risultava completato entro il 1676; la prestigiosa facciata sul Canal Grande raggiunse il secondo piano già nel 1679 ma, alla morte di Longhena nel 1682, il palazzo era ancora incompiuto. I Pesaro ne affidarono il completamento a Gian Antonio Gaspari che lo portò a termine entro il 1710, rispettando sostanzialmente il progetto originario.