Nous sommes à la fin du XIXe siècle. Jude Fawley est un petit paysan à qui son maître d'école fait prendre conscience que l'élévation sociale passe par les études à Christminster, la ville proche. La séduction charnelle d'Arabella, la fille d'un éleveur de cochon, a raison de lui : ils se marient car elle attend un enfant. Puis Arabella quitte Jude pour l'Australie, et Jude va à Christminster, où étudiant pour entrer à l'université, il assure son gagne-pain comme tailleur de pierre. Il va rencontrer Sue, sa cousine, qui sera hébergée par le maître d'école. Une amitié profonde lie Jude à Sue, une amitié qui est de l'amour, mais que Sue refuse quand elle apprend que Jude est marié. Elle s'empresse de répondre aux avances du maître d'école avec lequel elle se marie avant de le quitter pour rejoindre Jude et vivre avec lui une cohabitation amoureuse et illicite. Arabella réapparaît pour confier à Jude leur fils, petit Jude, d'une douzaine d'années, qu'elle ramène d'Australie. Jude et Sue vivent une vie pauvre et précaire, en butte à l'hostilité de la bourgeoisie bien-pensante. Jude décide de retourner à Christminster, se représenter à l'Université. Ils trouvent difficilement à se loger, ils sont trop nombreux leur dit-on et Sue donne cette réponse à petit Jude. En rentrant un soir, Jude et Sue trouvent petit Jude qui a tué ses deux petites soeurs et s'est pendu. Sue en devient quasiment folle et se reproche ainsi qu'à Jude d'avoir vécu dans le péché. Malgré la puissance de l'amour qui la lie à Jude, elle retournera chez son mari, retrouvant la normalité de l'époque et laissant Jude désespéré.