Lionel Fribourg, vieux compositeur maniaque, néglige quelque peu l'éducation de sa fille Marie-José, le premier de ses soucis étant le silence pour parachever sa symphonie. Les voisins le gênent, les bruits d'un atelier proche le persécutent. Une rencontre fortuite avec Agnès, naïve petite employée, lui fait entrevoir une issue calme et paisible dans le pavillon qu'elle possède à Marly. Mais Agnès possède aussi un père bricoleur, donc bruyant, qu'il songe bientôt à éliminer. Il se heurte aussi à un autre obstacle majeur. Agnès a des principes et, étant divorcée, considère le mariage avec Lionel impossible. Celui-ci va alors s'occuper sérieusement de l'ancien mari, pâle figurant, qui disparaît accidentellement en cascadant dans un grand film d'aventure. Marie-José, qui a voulu s'occuper des affaires de coeur de son père, va trouver Agnès, et rencontre chez elle Francis, un de ses petits cousins d'Agnès qui semble la consoler très nettement de cette série d'épreuves. Entre Marie-José et Francis, c'est le coup de foudre ; le pavillon de Marly, attribué par testament au cousin Francis, échappe à Lionel et celui-ci, par voie de conséquence, à Agnès. Qu'à cela ne tienne, une charmante veuve lui vante les charmes isolés de sa villa de banlieue. Lionel s'épanouit devant cet espoir nouveau, mais, là encore, un vieux père musicien et encombrant se doit d'être éliminé rapidement. Un tel acharnement à trouver le calme conduit Lionel derrière de solides barreaux. Dans cette paisible solitude, il découvre les derniers accords de sa symphonie qui sera un triomphe.