Pour avoir trompé son mari, dont le bateau n'est jamais arrivé au petit port de Salem, Hester Prynne a été condamnée a porter, cousu sur sa robe, le A infamant (la lettre écarlate) de l'adultère, dont Pearl, une petite fille qui a maintenant sept ans, a été le fruit. Tous les ans, Hester est tenue d'exhiber son ignominie sur la place publique, ce qu'elle fait fièrement, et de révéler le nom de son amant, ce qu'elle refuse absolument. Cette année, l'assistance compte un membre nouveau en la personne de Chillingworth le mari, porté disparu, mais sauvé par des Indiens. Demandant à sa femme, qui seule le connaît, de ne pas dévoiler son identité, il se sert de sa position de médecin pour découvrir à tout prix son rival en la personne d'Arthur Dimmesdale, le jeune et apprécié pasteur du lieu, qu'il ne cesse alors de tourmenter subrepticement. Grâce à la complicité d'un marin, Hester réussit à trouver un passage sur un navire. Avant de fuir avec son amant, elle lui révèle la présence de son mari. A la limite de ses forces physiques et morales, Dimmesdale profite de la fête en l'honneur du nouveau gouverneur de Salem pour confesser publiquement son amour et sa faute. Etranglé par le gouverneur, il ne pourra rejoindre Hester et Pearl, que Chillingworth regarde partir avant de revenir s'installer dans la satisfaction du devoir accompli.