L'edificio fu eretto nel luogo dove erano alcune case dei Carnesecchi, probabilmente nel corso del Cinquecento. Pur presentando un disegno che nel complesso rimanda a fattezze di quel periodo, il palazzo si presenta attualmente con rifacimenti riconducibili alla seconda metà dell'Ottocento e tuttavia conserva nell'insieme misura ed equilibrio di forme.
La proprietà del palazzo è ribadita dallo scudo che segna al centro la facciata, con l'arme della famiglia Ginori (d'azzurro, alla banda d'oro caricata di tre stelle a sei punte del campo). Nel palazzo abitò Carlo Lorenzini, noto come Collodi (e ricordato da una memoria posta nel 1981 sul fronte dell'edificio) nel periodo in cui fu ospite del fratello Paolo, qui residente come amministratore della manifattura di porcellana Ginori. Negli ambienti al piano terreno è ancora presente un negozio Ginori.
