Film thriller kriminal A Walk Among the Tombstones mengikuti kisah mantan detektif NYPD bernama Matt Scudder. Pada suatu pagi di tahun 1991, Matt Scudder, detektif New York City Police Department yang kecanduan alkohol, sedang minum di bar langganannya ketika tiga penjahat mencoba memeras pemilik bar.

Aksi itu berakhir tragis ketika para penjahat menembak mati bartender. Scudder langsung mengejar mereka, dan baku tembak kacau pun terjadi. Ia berhasil menewaskan dua pelaku dan melumpuhkan satu orang lainnya.

Delapan tahun kemudian, Scudder telah pensiun dari kepolisian dan berhasil berhenti minum alkohol. Ia kini bekerja sebagai penyelidik swasta tanpa lisensi. Seorang rekan di komunitas Alcoholics Anonymous bernama Peter Kristo, yang sedang berjuang melawan kecanduan heroin, memperkenalkan Scudder kepada saudaranya, Kenny, seorang pengedar narkoba kaya.

Kenny menceritakan tragedi yang menimpanya: istrinya, Carrie, diculik. Meskipun ia sudah membayar uang tebusan, para penculik tetap membunuh Carrie secara keji dengan memutilasi tubuhnya. Bahkan mereka meninggalkan rekaman yang memperlihatkan pemerkosaan dan pembunuhan terhadap istrinya. Tergerak oleh kasus tersebut, Scudder setuju membantu mencari para pelaku.

Saat menyelidiki kasus itu, Scudder melakukan riset di New York Public Library dan bertemu dengan TJ, seorang remaja tunawisma yang ternyata memiliki insting kuat dalam pekerjaan investigasi. Dari penelusurannya, Scudder menemukan dua kasus pembunuhan lain yang mirip.

Korban pertama adalah Leila Andresen, yang tubuhnya ditemukan terpotong-potong di sebuah kolam di Green-Wood Cemetery. Korban kedua adalah Marie Gotteskind, seorang pengedar narkoba kelas kecil. Scudder kemudian mengetahui bahwa tunangan Leila, Reuben Quintana, juga terlibat dalam dunia perdagangan narkoba.

Scudder lalu menginterogasi Reuben serta Jonas Loogan, penjaga pemakaman. Reuben mengaku sempat melihat tiga pria memaksa Leila masuk ke dalam sebuah van. Di sisi lain, Scudder menyadari TJ diam-diam mengikuti penyelidikannya. Meski awalnya enggan, Scudder akhirnya menerima bantuan remaja itu.

Scudder kemudian mengikuti Jonas hingga ke sebuah gubuk di atap gedung apartemen yang berada tepat di seberang rumah Reuben. Di sana, ia menemukan bukti bahwa Jonas selama ini menguntit Leila.

Jonas akhirnya mengaku bahwa ia sebenarnya ingin menyelamatkan Leila dari hubungan buruknya dengan Reuben. Ia juga mengatakan bahwa dua pria yang mengaku sebagai agen DEA pernah memintanya membantu menculik Leila. Namun Jonas kabur ketika kedua pria itu mulai menyiksa wanita tersebut.

Dilanda rasa bersalah yang sangat besar, Jonas mengungkapkan bahwa salah satu penculik menyebut dirinya 'Ray'. Tak lama setelah pengakuan itu, Jonas nekat melompat dari atap gedung.