Il nome deriva da una miracolosa immagine della Madonna che uno scultore aveva deposto nell'orto di casa sua e che presto iniziò ad essere venerata dagli abitanti del sestiere. La chiesa è tappa fondamentale per conoscere la pittura di Jacopo Robusti detto il Tintoretto che qui fu infine sepolto nella cappella di destra vicino all'altare insieme ai figli.
La fabbrica impegnò tutto il xv secolo - inserendosi su una presistenza - e risultando una delle strutture più tipiche della Venezia gotica, come dimostra la tripartizione della facciata. Di derivazione romanica sono invece le nicchie in cui sono poste le statue dei Dodici Apostoli opera dei Delle Masegne. Salendo sul ponte di fronte alla chiesa e voltando lo sguardo è invece possibile riconoscere il campanile e la grande influenza della cultura araba sull'architettura veneziana.
La devozione alla Vergine è manifestata all'interno con La presentazione al Tempio (1552) che Jacopo Tintoretto dipinse sulle ante dell'organo. E proprio al Tintoretto si deve la decorazione del presbiterio con due immense tele che appartengono alla fase giovanile: Il popolo ebraico che adora il vitello d'oro e Il Giudizio Universale. Mentre sull'altare maggiore domina L'Annunciazione e Il Padre Eterno in gloria di Jacopo Palma il Giovane.
La chiesa fu derubata la notte del 1 Marzo 1993 della Madonna col bambino di Bellini, ancora introvata.