Kobiety były natchnieniem jego życia i twórczości. Spotykał się z Brigitte Bardot, był czterokrotnie żonaty, między innymi z angielską aktorką Jane Birkin. Jego piosenka "Je t′aime... moi non plus" zawierająca symulację odgłosów kobiecego orgazmu uznana została powszechnie za nieobyczajną i zabroniono jej emisji w Hiszpanii, Islandii, Jugosławii, Szwecji, Włoszech oraz Wielkiej Brytanii.