Edifié dès le XIe siècle, Crosville constitue un exemple typique des gentilhommières de cette région où se combinent la maison-forte, la demeure noble et la grande ferme.

Cette forteresse était tenue par le chevalier et seigneur de Crosville, Raoul Boudet, qui partit en 1066 à la conquête de l'Angleterre avec Guillaume le Bâtard. Mort en 1097, son fils Raoul II s'illustrera aussi au combat, lors de la première croisade, en participant à la prise de Jérusalem en 1092. A la onzième génération, Jean III est le premier à prendre le nom de Crosville, à cette époque la famille Boudet est anoblie pour faits d'armes.

Gilles de Crosville, qui a servi Henri III pendant trois mois, commanda alors la noblesse du Cotentin. La famille de Crosville se hausse ainsi dans la hiérarchie de la noblesse Normande. Cette ascension se poursuivra avec Jean V de Crosville, Chambellan du grand Condé, qui entreprit des travaux dans le château. Jean-Baptiste de Crosville, conseiller au Parlement de Rouen, fut vraisemblablement le dernier propriétaire à avoir habité le château. Depuis 1742, les lieux ne sont plus habités. Transformé en greniers et bâtiment agricole vers 1800, le château sombre doucement dans l'oubli. Plusieurs générations de fermiers se succèdent, habitant seulement l'aile droite et engrangent foin, céréales dans les somptueuses salles.

C'est Emile, un de leurs enfants, qui reprend la suite en 1965 avec sa femme Paulette. Néanmoins, le château se dégrade et le propriétaire refuse d'engager des travaux, il est alors classé Monument Historique. En 1980, c'est la mise en vente. Michèle Lefol, la fille des fermiers convainc alors ses parents de racheter le château. Depuis, Michèle Lefol multiplie les initiatives pour faire vivre le château de Crosville-sur-Douve.
"Les grands succès se trouvent placés au bout des longs désirs et l'on n'obtient rien de durable que ce qui s'acquiert avec peine". Cette Phrase d'alexis de Tocqueville, Michèle se la répète souvent.