Ayant acquis une position enviable et une fortune confortable, Antoine Dumay décide de se construire un hôtel particulier à la place de la maison que sa femme lui a apporté en dot. Peut-être agrandit-il ce bien à partir de 1577 par l’acquisition de maisons ou de terrains dans l’angle que font les rues Serminières ou Cervinières (aujourd’hui rue Saint-Rome) et Pélégantières (aujourd’hui rue du May) où sa femme possédait déjà quelques biens immobiliers. La partie la plus ancienne de l’hôtel est construite entre 1585 et 1600 mais les remaniements ultérieurs sont nombreux. Il semble qu’à l’origine l’accès de l’hôtel pouvait se faire aussi depuis la rue Saint-Rome. Un problème de voisinage nous fait connaître le nom du maître-maçon Aysselier qui est requis pour une expertise, c'est peut-être lui qui a bâti l’hôtel Dumay.
La façade sur cour, en entrant sur le côté droit, est la plus ancienne ; on remarque le linteau à accolade gothique d’un soupirail et les fenêtres à encadrement de pierre à agrafes godronnées. A l’extrémité de cette façade, une tour carrée avec sa tourelle découronnée contient un escalier au noyau monoxyle comprenant 67 marches desservant les différents niveaux. Elle est couverte d’un toit en terrasse. La porte d’entrée est surmontée d’une plaque où est gravée la devise du maître des lieux : Tempore et Diligentia. Autrefois, au-dessus de l’entrée, il y avait une tête de femme en marbre antique qui a été déposée lors de la restauration et conservée depuis dans les collections du musée
Les façades sur cour, du côté de la rue et du côté gauche sont plus récentes que le corps du côté droit. Elles ont été construites par Antoine Dumay, le fils aîné du médecin régent et sont donc postérieures à 1611. Elles sont portées par des arcades de briques moulurées reposant sur des chapiteaux doriques portés par des colonnes en marbre. Les clefs sont ornées d’un blason surmonté d’un cabochon hémisphérique sur cuir découpé et entre les arcs des tables de marbre sont disposées dans un encadrement. Le blason conservé sur les arcades du côté gauche porte les armoiries d’Antoine Dumay fils : d’azur, à un tronc d’arbre écoté d’or posé en fasce, chargé d’une hure de sanglier de sable, accompagnée de trois étoiles d’or, posées deux en chef et une en pointe. Au second étage de l’entrée, une croisée à meneau et croisillon et deux fenêtres à croisillons de pierre. La surélévation d’un étage sur la façade côté rue masque en partie une tourelle d’angle.
A gauche, la galerie du premier étage était vitrée, lors d'une restauration récente elle a été remise en son état primitif. Sa couverture est supportée par des piliers alternant briques et blocs de marbre taillés en pointe de diamant. Elle était surmontée au second étage par une autre galerie moderne qui a été elle aussi supprimée.
La façade en fond de cour est postérieure au corps de gauche et ne présente aucun ornement de pierre mais au premier étage des ouvertures cintrées et moulurées. Sous la galerie, on peut voir un puits dont la ferronnerie provient d’un immeuble voisin.
L’hôtel demeure dans la famille Dumay jusqu’en 1728, il est ensuite morcelé entre différents propriétaires et, depuis cette époque, l’accès ne peut plus se faire par la rue Saint-Rome.
Au début du XXe siècle, l’hôtel est en mauvais état, ses murs sont recouverts d’un crépi lépreux, la cour est enlaidie, encombrée d’appentis en planches servant de remises pour les marchands du marché de la place du Capitole et l’escalier desservant les étages menace ruine.
L'hôtel est acquis en 1914 par le docteur Siméon Durand qui entreprend de le faire restaurer. La restauration réalisée à l’époque peut être critiquée sur certains points mais elle a au moins le mérite d’avoir été faite.
Le Dr Siméon Victor Durand et son épouse Marthe Durand née Talmier font donation de l’hôtel à l’association des Toulousains de Toulouse par acte notarié du 25 février 1946 et acte public du 22 octobre 1947 ; donation acceptée par le conseil d’administration dans sa délibération du 17 octobre 1947 et finalement c’est par un décret ministériel du 9 mars 1948 que l’association (reconnue d’utilité publique depuis le 10 juin 1927) est autorisée à accepter cette donation. Conformément aux volontés du donateur l’immeuble est affecté à l’installation de son siège social, de la bibliothèque et des collections de l’association présentées dans le musée du Vieux-Toulouse. En réalité, la donation se fait en deux étapes. Dans un premier temps, la donation comporte une réserve de jouissance pour le donateur, ce qui est légitime mais est en contradiction avec la législation des associations. Par la suite, elle est remplacée par un nouvel acte de donation ne comportant que la réserve de la jouissance de l’appartement du donateur. A l’époque, plusieurs locataires habitaient les lieux et l’association ne pouvait jouir que de la salle Pierre-de-Gorsse au rez-de-chaussée qui était utilisée pour les conférences. Au fil des départs ou des décès des locataires, le musée s’installa dans les pièces libérées et s’agrandit peu à peu.
Dans la cour, près de l’entrée, une plaque est apposée le jeudi 1er juillet 1948 en reconnaissance de la donation effectuée par le Dr Durand, membre d’honneur du conseil d’administration. Cette cérémonie a lieu avec le concours de l’amicale des Commerçants et Artisans de la rue Saint-Rome et de la rue des Changes.