Paris, 1964. James Lord, jeune auteur et critique américain, a sympathisé avec le grand Alberto Giacometti. Le maître lui propose de peindre son portrait, lui assurant que c'est l'affaire de deux ou trois heures. Flatté, James accepte de poser avant son retour à New York, le surlendemain. Le travail commence, mais Alberto n'étant pas satisfait, James offre de revenir le jour suivant, puis de repousser son vol. Il se retrouve ainsi plongé dans l'univers de l'artiste, où gravitent sa femme Annette, son frère Diego, mais aussi Caroline, son modèle principal, une prostituée avec qui il entretient ouvertement une liaison, au grand dam d'Annette. James se soumet à la tyrannie d'Alberto, constatant avec effarement l'étendue de son perfectionnisme. Il se confie à Diego, qui lui fait part en retour de ses inquiétudes concernant l'obsession de son frère pour Caroline. Alberto va jusqu'à payer une coquette somme aux souteneurs de la jeune femme pour continuer de la voir. De son côté, James perd patience. Il a déjà repoussé son vol à plusieurs reprises. Alors qu'Alberto s'apprête pour la énième fois à effacer son travail et à reprendre du début, James interrompt son geste et appelle Diego à la rescousse. Celui-ci déclare que le portrait commence tout juste à avoir du potentiel : ces paroles font l'effet d'une libération, et Alberto consent à laisser partir James. Ils continueront de s'écrire, mais ne se reverront jamais, la mort d'Alberto survenant peu de temps après.