Film J. Edgar disajikan dengan alur nonlinier, bolak-balik antara peran J. Edgar Hoover dalam membangun FBI dan masa tuanya saat ia berusaha melindungi lembaga tersebut dari berbagai ancaman yang ia anggap berbahaya.

Sebagai bingkai cerita, Hoover yang telah menua menceritakan kembali tahun-tahun awal FBI kepada sejumlah agen yang ia tugaskan untuk menuliskan buku tentang sejarah biro tersebut.

Tahun 1919, Jaksa Agung A. Mitchell Palmer selamat dari upaya pembunuhan oleh kelompok anarkis. Ia lalu menugaskan Hoover, pegawai Departemen Kehakiman, ke divisi khusus yang bertugas membersihkan kaum radikal.

Meski Helen Gandy menolak pendekatan canggung Hoover, ia justru menjadi sekretaris pribadi sekaligus orang kepercayaannya. Dengan mengatur agar anarkis Emma Goldman memenuhi syarat untuk dideportasi, Hoover menciptakan preseden hukum yang memungkinkan pengusiran banyak tokoh radikal lain.

Usai peristiwa Palmer Raids, Palmer kehilangan jabatannya. Penggantinya, Harlan F. Stone, mengangkat Hoover sebagai direktur Bureau of Investigation. Hoover pun meminta Gandy menyusun arsip rahasia berisi informasi kompromatif tentang para tokoh berkuasa.

Ketika First Red Scare mereda, fokus biro dialihkan untuk memburu para gangster. Kasus penculikan Lindbergh tahun 1932 menyita perhatian nasional, mendorong Hoover mengusulkan Federal Kidnapping Act yang memperluas kewenangan biro.

Hoover juga mendirikan FBI Laboratory dan mulai menerapkan teknik ilmu forensik, termasuk melacak nomor seri uang tebusan. Meski Charles Lindbergh Jr. ditemukan tewas, metode ini berhasil mengarah pada penangkapan dan vonis bersalah terhadap Bruno Richard Hauptmann.

Dalam kehidupan pribadi, Hoover tetap tinggal bersama ibunya yang menjadi kompas moralnya. Pada 1930, ia merekrut Clyde Tolson ke biro dan hubungan profesional mereka berkembang menjadi ikatan pribadi yang sangat dekat. Hoover bahkan mempromosikan Tolson sebagai wakil direktur.

Saat Hoover mengaku pada ibunya bahwa ia tak nyaman menjalin hubungan romantis dengan perempuan, sang ibu berkata lebih baik Hoover mati daripada menjadi gay. Ketika Tolson menyatakan cintanya, Hoover panik dan mengklaim ingin menikahi aktris Dorothy Lamour.

Pertengkaran pun terjadi, berujung ciuman dan ancaman Tolson untuk mengakhiri hubungan mereka jika Hoover kembali menyebut perempuan lain. Tak lama kemudian, ibu Hoover meninggal dunia, meninggalkan luka duka mendalam baginya.