Le château d'Aymavilles se dresse au centre du village, sur un relief morainique. Les quatre tours cylindriques, caractéristiques du bâtiment, furent ajoutées au corps central préexistant par Aimone di Challant, au milieu du XIVe siècle. Vers 1730, le baron Giuseppe Felice di Challant aménagea les loggias entre les tours et supprima de nombreux appareils défensifs, donnant aux intérieurs un aspect baroque. Après l'extinction de la famille Challant, le château passa entre les mains de divers propriétaires. Acquis en 1970 par la Région autonome Vallée d'Aoste, le château fait actuellement l'objet de travaux de restauration et de valorisation visant à le rendre accessible au public.