Il museo occupa una parte dell'antico monastero delle Benedettine di Sant'Apollonia, fondato nel 1339 e ingrandito nel Quattrocento.
Nel 1447 circa Andrea del Castagno affrescò la parete di fondo del refettorio con l'Ultima Cena, la Crocifissione, la Deposizione e la Resurrezione.
Nel museo sono esposti anche altri affreschi staccati di Andrea del Castagno con le relative sinopie e dipinti di Paolo Schiavo e di Neri di Bicci, provenienti dal monastero.