Proche de l’ancien prieuré de Vaux-sur-Poligny, le château privé fut construit au XVIIIe siècle avec un parc aménagé au XIXe siècle. Château régulièrement ouvert à la visite pendant les Journées Européennes du Patrimoine .
Le château de Vaux-sur-Poligny a été construit au XIXe siècle sur l’emplacement d’une huilerie et d’une scierie dépendantes du Prieuré des Bénédictins situé dans la Reculée de Vaux. Cette propriété a été voulue par l’Abbé Joseph Petit qui était Supérieur du Petit Séminaire entre 1860 et 1876, dans les bâtiments de l’ancien prieuré.
L’édifice revient dans les mains de Louis Milcent, chrétien engagé, défenseur du catholicisme social, il est le créateur du Syndicat des Fruitières du Jura, du Syndicat Agricole de Poligny mais également de la première Caisse de Crédit Mutuel Agricole. Caisse dont le réseau se développera et évoluera jusqu’à aboutir à l’actuel Crédit Agricole. C’est surtout à lui que l’on doit la construction actuelle du château et l’aménagement du parc.
Pour la construction du château, on fit appel à un architecte bisontin Monsieur Ducat. L’aménagement du parc fut confié à Briche Michel, paysagiste, qui a créé un certain nombre de parcs à Vesoul et Besançon, il a travaillé à Vaux de 1873 à 1885. Ce dernier, était passionné par l’eau et les pierres. À Vaux, il bénéficie de conditions naturelles exceptionnelles. La propriété est traversée par une petite rivière, la Glantine, qui prend sa source non loin de là et qui tout à coup, à quelques mètres du château, se transforme en une impressionnante cascade (13 mètres). Brice Michel en fait l’élément principal du jardin. Il aménage un pont en tuf au-dessus de la cascade pour de là en admirer l’impressionnante et abrupte cascade d’où l’on suit de l’œil le cours d’eau dans un cadre de verdure. C’est à l’ouvrier de Brice Michel, Jérôme Bory ( il travailla aussi à l’aménagement du Parc Monceau à Paris) que l’on doit ces constructions de tuf. Il a passé un certain nombre de mois à Vaux à partir de 1875, cherchant au fond de la vallée les tuf dont il avait besoin. Il a construit aussi un deuxième pont après les cascades, ménageant des escaliers qui permettent d’atteindre le bord de l’eau, disposant des ouvrages de rocailles à plusieurs emplacements. Il conçoit même des grottes, dont une, est visible du balcon du château. Depuis quelques années, les crues de la Glantine ont terriblement endommagé les berges, les murs de soutènement se sont effondrés. De très gros travaux ont du être faits en 2005 pour consolider les rives et il a fallu trouver un moyen pour canaliser les eaux et les empêcher de faire l’éventail au cours de leur chute.
L’abbé Petit avait sa chapelle privée dans le château. Lors de la séparation de l’Église et de l’État en 1906, cette chapelle accueillit la statue « Notre-Dame-de-Vaux » et le 3 juillet 1910, une grande et émouvante procession traversa le village pour son retour dans le prieuré bâti pour elle et érigé en son honneur. Ce 5 septembre 2010, une procession a commémoré les 100 ans de ce retour de la Vierge si chère aux habitants de Vaux.