La première mention d’un bâtiment associé au nom « Rubins » remonte à 1399. Il ne s’agit pas encore d’un château, ni même d’une maison-forte. Les comptes de la châtellenie de Sallanches décrivent en effet une simple « maison située à Sallanches du côté des Rubins » (Domus site Sallanchie versus los Rubins). Peut-être s’agit-il de cette maison achetée par un certain Durand Rubin au chevalier Jean de Lucinge en 1363 ? Issue du notariat, admise à la bourgeoisie de Genève au XVe siècle, la famille Rubin est tardivement qualifiée de noble, avant 1520. Cette promotion correspond peut-être à la fortification de leur bâtisse, et à d’importants travaux entrepris notamment sur les plafonds et les baies et fenêtres. 

En 1563, la maison-forte des Rubins est acquise par la famille noble de Loche, bien implantée à Sallanches. Plusieurs de ses membres sont des dignitaires de la collégiale Saint-Jacques ou des châtelains de la ville. La demeure reste propriété des de Loche jusqu’en 1754 puis est acquise par le chapitre de la collégiale de Sallanches. La maison-forte est alors sans doute rapidement transformée en habitations et au moment du grand incendie de Sallanches de 1840 trois personnes âgées y vivent. Les Sallanchards les surnomment les « chattes grises » des Rubins. 

En 1978, la demeure est rachetée par la commune de Sallanches qui y installe une association : le Centre de la Nature Montagnarde. En 1997 est adjoint un nouveau corps de bâtiment afin d’étendre la surface du musée. Enfin, en 2021, après deux ans de travaux sur le bâti et l’installation d’une nouvelle scénographie, le château des Rubins ouvre ses portes au public dans une nouvelle configuration : l’Observatoire des Alpes.