Film drama menyentuh Manchester by the Sea mengikuti kisah pria penyendiri bernama Lee Chandler. Lee adalah seorang petugas kebersihan yang depresi dan tertutup, tinggal sendirian di apartemen ruang bawah tanah di Quincy.

Suatu malam ia pergi ke bar, menolak pendekatan seorang wanita yang tertarik padanya, lalu terlibat perkelahian dengan dua pria. Suatu hari, Lee menerima telepon yang mengabarkan bahwa kakaknya, Joe, seorang nelayan yang tinggal di Manchester-by-the-Sea, mengalami serangan jantung.

Sayangnya Joe meninggal sebelum Lee sempat tiba di rumah sakit. Lee bersikeras ingin menjadi orang yang memberi tahu putra remaja Joe, Patrick, tentang kabar duka tersebut. Saat mengurus pemakaman, mereka mendapat kabar bahwa jenazah Joe belum bisa dimakamkan hingga musim semi karena tanah masih membeku.

Lee pun memutuskan tinggal sementara di Manchester dan menempati rumah Joe sampai pemakaman dapat dilakukan. Ketika bertemu dengan pengacara Joe, Lee terkejut mengetahui bahwa kakaknya telah menunjuk dirinya sebagai wali sah bagi Patrick.

Melalui kilas balik terungkap bahwa dulu Lee pernah tinggal di Manchester bersama istrinya saat itu, Randi, dan ketiga anak mereka. Suatu malam setelah pesta yang cukup kacau di rumah, Lee yang sedang mabuk lupa memasang pelindung di depan perapian.

Kelalaian itu memicu kebakaran rumah yang menewaskan ketiga anaknya. Polisi memutuskan peristiwa itu sebagai kecelakaan tragis sehingga Lee tidak dikenai tuntutan pidana.

Namun rasa bersalah yang begitu besar membuat Lee mencoba bunuh diri dengan mencuri pistol polisi di kantor polisi sebelum akhirnya berhasil dihentikan. Setelah tragedi tersebut, Lee dan Randi bercerai, dan Lee meninggalkan kota itu.

Karena itu, ia ragu menerima tanggung jawab sebagai wali Patrick, sebab berarti ia harus kembali menetap di Manchester. Awalnya ada rencana agar Patrick pindah ke Boston bersama Lee.

Namun Patrick sangat terikat dengan kehidupan dan teman-temannya di Manchester, sehingga ia menolak keras. Lee akhirnya memutuskan tinggal sementara sampai tahun ajaran sekolah Patrick selesai.

Patrick juga ingin mencoba tinggal bersama ibunya yang telah lama terpisah, Elise, yang masih tinggal di daerah tersebut. Lee menentang ide itu karena masa lalu Elise yang kecanduan alkohol membuatnya meninggalkan keluarganya.

Meski begitu, Patrick tetap mencoba menjalin kembali hubungan dengan ibunya melalui makan siang bersama. Kini Elise mengaku telah berubah, ia memeluk agama Kristen dan berhenti minum bersama tunangannya, Jeffrey.

Namun suasana makan siang terasa canggung, dan Patrick merasa sulit kembali dekat dengannya. Keadaan makin tidak nyaman ketika Jeffrey mengirim email dan bersikeras menjadi perantara untuk semua komunikasi mereka di masa depan.

Ketika Lee memuji perubahan Elise yang kini lebih baik, Patrick malah mengira pamannya sedang berusaha menyingkirkannya. Lee pun membantah anggapan tersebut.