Si l'annonce de la mort de son père, avec lequel il était fâché, n'émeut guère Charlie Babbitt, jeune affairiste pressé, la lecture du testament le plonge en revanche dans une colère stupéfaite : la quasi-totalité des biens de son père échoue en effet à un institut psychiatrique où est soigné son frère. Un frère dont il ignorait alors jusqu'à l'existence. Le sang du jeune homme ne fait alors qu'un tour : il « enlève » Raymond afin de récupérer la part d'héritage qu'il estime lui revenir. Peu averti des problèmes autistiques, Charlie est vite déconcerté par son frère, de vingt ans son aîné. Celui-ci, doué d'une intelligence et d'une mémoire visuelle peu communes, se révèle totalement désorienté hors de son cocon fait de livres et d'objets familiers, de repas et de programmes TV à heures fixes ; si bien que de nombreux incidents émaillent le long trajet en voiture jusqu'en Californie. Néanmoins, Charlie apprend peu à peu à connaître et apprécier Raymond (qu'il identifie enfin comme le « Rain Man » de sa petite enfance), tandis que ce dernier l'admet dans son univers. Après une étape à Las Vegas où ses talents au black-jack aident Charlie à éponger ses dettes, Raymond arrive à Los Angeles où, revenu à la raison, son frère consent à le voir regagner ses bases non sans avoir promis de le visiter souvent.