Il Museo retico si trova in una casa patrizia barocca, la quale presenta un imponente tetto spiovente a croce. La casa è stata costruita nel 1675 quale domicilio privato dal barone Paul von Buol di Strassberg e Rietberg (1634–1697), che apparteneva alla classe dirigente delle Tre Leghe. L‘edificio con le sue ampie scale, lo scantinato, un passaggio per le carrozze, due piani signorili, nonché un piano per la servitù e per la soffitta racconta già una parte della storia grigionese.
Alla fine del XIX secolo il giurista, storico e politico Peter Conradin von Planta-Zuoz (1815–1902) ha ordinato la creazione di una «Fondazione grigionese per la scienza e l‘arte» allo scopo di fondare un museo. In questo modo egli intendeva frenare l‘incessante esodo di preziosi beni culturali provenienti dai Grigioni. L‘8 giugno 1872 il Museo retico inaugurò la sua prima mostra al pianterreno della casa Buol.
