In the Heat of the Night menghadirkan kisah investigasi kriminal yang penuh ketegangan dengan Sidney Poitier sebagai Virgil Tibbs, Rod Steiger sebagai Chief Bill Gillespie, dan Warren Oates sebagai Officer Sam Wood. Cerita dimulai saat industrialis kaya Phillip Colbert ditemukan tewas di jalanan Sparta, Mississippi, ketika ia sedang mengawasi pembangunan pabrik baru bersama istrinya. Officer Sam Wood menemukan jasad tersebut dan kemudian menangkap seorang pria kulit hitam bernama Virgil Tibbs di stasiun kereta, karena mencurigai uang yang dibawanya. Namun, tuduhan itu langsung runtuh saat diketahui bahwa Tibbs adalah detektif pembunuhan dari Philadelphia.

Meski awalnya ingin segera pergi, Tibbs diminta atasannya untuk membantu penyelidikan kasus tersebut. Gillespie, yang memiliki sikap rasis seperti banyak warga Sparta lainnya, terpaksa bekerja sama dengan Tibbs. Saat memeriksa jasad Colbert, Tibbs menemukan bahwa waktu kematian sebenarnya lebih awal dari perkiraan dokter, korban dibunuh di tempat lain, dan pelaku kemungkinan bertangan kanan. Temuan ini menunjukkan bahwa penyelidikan polisi sebelumnya keliru.

Ketegangan meningkat saat Gillespie menangkap Harvey Oberst sebagai tersangka. Namun, Tibbs membuktikan bahwa Oberst tidak bersalah karena ia kidal dan memiliki alibi kuat. Sempat ditahan karena dianggap menyembunyikan informasi, Tibbs justru semakin menunjukkan kemampuannya sebagai detektif andal. Istri Colbert yang kecewa dengan kinerja polisi bahkan mengancam menghentikan proyek pabrik jika Tibbs tidak memimpin penyelidikan.

Penyelidikan membawa Tibbs pada Eric Endicott, pemilik perkebunan kaya yang menentang pembangunan pabrik. Saat diinterogasi, Endicott menampar Tibbs, yang kemudian membalas tamparan tersebut, menciptakan momen konfrontasi yang kuat. Setelah itu, Endicott mengirim orang-orang untuk mengancam Tibbs, namun Gillespie datang menyelamatkannya dan menyarankan agar ia meninggalkan kota demi keselamatannya. Tibbs menolak dan memilih tetap bertahan untuk mengungkap kebenaran.

Dengan menelusuri ulang rute patroli malam kejadian, Tibbs menemukan kejanggalan pada perilaku Officer Wood. Ia mengetahui Wood sengaja mengubah rute untuk menghindari area tertentu. Selain itu, ditemukan juga bahwa Wood menyetor uang sebesar 632 dolar atau sekitar Rp10,5 juta sehari setelah pembunuhan. Gillespie akhirnya menangkap Wood, meski Tibbs yakin ia bukan pelaku utama. Tibbs kemudian menyimpulkan bahwa pembunuhan sebenarnya terjadi di lokasi pembangunan pabrik, membuka jalan menuju kebenaran yang lebih kompleks.