Giambattista Garzadori aveva commissionato ad Andrea Palladio un progetto per la sua nuova dimora in contrà Piancoli. dove possedeva alcuni edifici. La morte del committente, avvenuta nel 1567, annullò il rapporto anche se, come ricordano alcune testimonianze documentarie, era già stata costruita almeno una prima parte entro il 1564.
Fu il figlio Girolamo che completò la fabbrica, sicuramente prima della morte di Palladio.
La facciata propone soluzioni compositive collegabili a quelle del palazzo di Vincenzo Pojana in corso Palladio: si noti il bugnato del piano inferiore e le lesene giganti di ordine corinzio comprendenti anche l'ultimo piano.
Tra le due finestre centrali, al piano nobile, vi è la statua raffigurante Girolamo Garzadori, L'iscrizione "HERONIMUS INSTAURAVIT AETATI SUAE LXXI" ricorda, probabilmente, il 1580 anno in cui lo stesso ottenne il titolo di conte palatino. Un tempo, sopra la statua che lo raffigura come un eroe antico, doveva esserci lo stemma della famiglia quale esaltazione della stessa.