Das Rätische Museum befindet sich in einem barocken Patrizierhaus mit imposantem Kreuzgiebel. Es wurde 1675 von einem Angehörigen der Führungsschicht innerhalb der Drei Bünde, Freiherr Paul von Buol zu Strassberg und Rietberg (1634–1697) als privater Wohnsitz erbaut. Damit erzählt schon das Gebäude mit seinen breiten Treppenläufen, Kellergewölben, einer Wagendurchfahrt, zwei herrschaftlichen Stockwerken sowie einem Dienstboten- und einem Dachgeschoss ein Stück Bündner Geschichte.
Im ausgehenden 19. Jahrhundert initiierte der Jurist, Historiker und Politiker Peter Conradin von Planta-Zuoz (1815–1902) eine «Bündnerische Stiftung für Wissenschaft und Kunst» mit dem Ziel, ein Museum zu gründen. Damit wollte er der anhaltenden Abwanderung wertvollen Kulturgutes aus Graubünden entgegenwirken. Am 8. Juni 1872 eröffnete das Rätische Museum im Erdgeschoss des Hauses Buol seine erste Ausstellung.