Il castello di Aymavilles sorge al centro del paese, su un rilievo morenico. Le quattro torri cilindriche, caratteristiche dell'edificio, furono aggiunte al preesistente corpo centrale da Aimone di Challant, a metà del Trecento. Verso il 1730, il barone Giuseppe Felice di Challant ricavò i loggiati tra le torri ed eliminò molti apparati difensivi, dando agli interni un aspetto barocco. Dopo l'estinzione della famiglia Challant, il castello passò nelle mani di diversi proprietari. Acquisito nel 1970 dalla Regione Autonoma Valle d'Aosta, il castello è attualmente oggetto di un intervento di restauro e valorizzazione volto a renderlo fruibile al pubblico.
