Au lendemain d'Austerlitz, le colonel Durand est en permission à Paris. Il y fait la connaissance d'une femme mariée, Mme de Ponthierx, dont il devient l'amant, ce qui lui vaut un duel. La rencontre d'Isabelle Patrizzi lui fait oublier Mme de Ponthierx. Au départ pour une nouvelle campagne, le colonel Durand reçoit une lettre d'Isabelle l'invitant à déserter pour la rejoindre. Le colonel résiste à la tentation. Après Iéna, Isabelle lui demande d'oublier leur amour. Pour lui éviter de déserter pour la rejoindre, un compagnon d'armes blesse le colonel Durand. Plus tard, il retrouve Isabelle en Pologne, apprend que, soeur de Mme de Ponthierx, elle lui a demandé de déserter par vengeance, puis de l'oublier, par amour. Elle attendra son retour.