By the Sea segue la storia di uno scrittore americano di nome Roland (Pitt), che insieme a sua moglie, Vanessa (Jolie Pitt), arriva in una tranquilla e pittoresca località balneare francese nel 1970. Quando la coppia in crisi comincia a passare del tempo insieme agli altri viaggiatori, compresi i giovani sposi Lea e François, e la gente del posto, Michel e Patrice, si rende conto di dover fare i conti con questioni irrisolte della loro vita.