Terre de la Couronne depuis 1802, ce lot est concédé à Philemon Wright en 1824 et intégré à la vaste ferme Britannia qui s'étendait alors de l'actuelle rue des Orchidées, à Gatineau (secteur Hull), jusqu'à l'ancien club de golf Chaudière, du côté du secteur Aylmer.
En 1872, le lot est vendu à David Moore fils, voisin des Wright à l'est, et fera partie de la ferme Moore pendant plus de 20 ans.
En 1906, Annie Louisa Augusta Moore vend le terrain pour rembourser une dette et trois jours plus tard, Nicholas Slater s'en porte acquéreur pour y exploiter une ferme laitière. Il semblerait que durant les années vingt, à l'automne, des gitans venaient y installer leurs roulottes pendant la semaine des courses au Parc Connaught.
En 1929, l'un des fils de Nicholas Slater vend une partie du lot à Gordon Stewart, un riche entrepreneur d'Ottawa qui y fait construire une imposante demeure de pierre, Stoneleigh, qu'il habite avec son épouse et ses deux filles jusqu'à son décès en 1941.
En 1954, les deux filles Stewart vendent la propriété à E.S. Sherwood, un agent immobilier de Rockcliffe, qui la revend deux ans plus tard pour 82 000 $ à Nicholas Monsarrat. L'auteur du célèbre roman The Cruel Sea y vit deux ans avec son épouse et ses deux fils pendant qu'il dirige le bureau canadien du Service de l'information du Royaume-Uni. Dans son livre Life is a Four Letter Word, Monsarrat dit adorer sa maison et la vie qu'on y mène, malgré le montant « grotesque » des dépenses qu'entraînent le chauffage, les travaux de réparation et les soins à donner aux nombreux ormes et érables qui se trouvent sur la propriété. En 1958, il vend celle-ci pour 105 000 $ à Fay Loeb, épouse de Julius Loeb, président des magasins Loeb et IGA.
En 1970, madame Fay Loeb vend une partie de la propriété à la firme Place Lauzanne Ltée de Hull et deux ans plus tard, deux notaires de Hull, Guy Lesage et Charles-Henri Rioux ainsi que Place Récamier Ltée en font l'acquisition.
En 1974, la propriété est vendue à Goldlist Construction Ltd. En 1976, lorsqu'elle décide de construire des copropriétés sur le terrain, Goldlist crée l'Association récréative « Les Jardins du Château », un organisme à but non lucratif à laquelle elle cède le Château à titre de centre récréatif et communautaire destiné aux copropriétaires des immeubles faisant partie de ce complexe immobilier.