Masjid Negara mula dibina pada 1963 dan siap dibina pada 27 Ogos 1965. Mulai detik itu, ianya telah dijadikan Masjid Rasmi Kerajaan Malaysia. Masjid Negara merupakan mercu tanda kepada Malaysia yang telah menjadikan Islam sebagai agama Persekutuan.
Berdasarkan catatan sejarah, cadangan asal membina masjid ini telah disuarakan kira-kira sebulan sebelum merdeka. Berikutan itu satu jawatankuasa telah dibentuk yang dikenali sebagai Majlis Kerja Persekutuan bagi mendirikan masjid ini. Setelah negara mencapai kemerdekaan, Mesyuarat Majlis Raja-raja telah memperkenan dan meluluskan projek pembinaannya. Pada mulanya masjid ini dicadangkan dengan nama sempena nama Bapa Kemerdekaan, Tunku Abdul Rahman Putra al-Haj sebagai tanda penghargaan atas jasa-jasanya.
Beliau tidak bersetuju sebaliknya mencadangkan masjid ini diberi nama Masjid Negara. Pada ketika itu, Masjid Negara merupakan masjid yang paling moden di Asia Tenggara. Pembinaan Masjid Negara memberi makna yang amat besar kepada Malaysia dan menjadi antara bangunan yang bersejarah di Malaysia. Selain lambang kedaulatan Islam di negara ini, masjid ini menjadi lambang perpaduan dan sikap toleransi antara kaum iaitu Melayu, India dan Cina. Hal ini jelas terlihat dengan terdapat usahasama kaum-kaum tersebut pada peringkat awal pembinaannya iaitu reka bentuknya telah diilhamkan dan diurusselia oleh arkitek Melayu.
Pada peringkat awal pelaksanaan projek mendirikan masjid ini, arkitek utamanya Dato' Baharuddin Abu Kassim telah membuat kajian terlebih dahulu sebelum mereka bentuk keseluruhan masjid ini. Beliau telah meninjau beberapa contoh bangunan dan rekabentuk masjid negara luar sebagai panduan. Antara negara yang dilawati ialah Arab Saudi, Republik Arab Bersatu, Iran, Turki, Sepanyol, India dan Pakistan. Idea reka bentuk Masjid Negara adalah gabungan senibina rekabentuk bangunan zaman moden yang bersulamkan senibina tempatan. Pembinaan masjid ini mengambil masa tiga tahun untuk siap sepenuhnya dengan anggaran kos RM10juta.
Bangunan masjid ini dan kawasan sekelilingnya mengambil ruang seluas lima ekar daripada keseluruhan keluasan tanah 13 ekar. Pada peringkat permulaan, masjid ini mempunyai sebuah dewan sembahyang yang berkeluasan 22,500 kaki persegi yang hanya boleh memuatkan 3000 jemaah. Seramai 5000 lagi jemaah mampu memenuhi kawasan beranda yang terdapat di ketiga-tiga rusuk bahagian dewan itu. Namun begitu setelah masjid ini diubahsuai, ia mampu memuatkan 15,000 orang jemaah dalam satu-satu masa. Selain dewan sembahyang, masjid ini dilengkapi dengan dewan syarahan, perpustakaan, ruang pejabat, bilik diraja, bilik imam dan menara.
Dewan syarahan yang terletak di sebelah barat dibina dengan berbumbungkan konkrit yang berbentuk ombak dengan bahagian luarnya bertiraikan kekisi terazo. Dewan yang mampu memuatkan seramai 500 orang ini boleh digunakan sebagai tempat syarahan, persidangan, seminar atau seumpamanya. Sebagai penghormatan negara kepada pemimpin yang telah meninggal dunia, tujuh tapak makam telah disediakan dan pemakaman ini terletak di bahagian barat masjid.
Rekabentuk luaran Masjid Negara ini agak berlainan jika dibandingkan dengan masjid-masjid lain di Malaysia. Ini jelas dapat dilihat dari bumbung utamanya yang direkabentuk seperti payung yang sedang dikembangkan. Bentuk payung lazimnya melambangkan kesetiaan. Di tengah-tengah bumbung bahagian dalamnya terdapat aluminium yang diukir dengan ayat al-Quran dan kelihatan seperti replika kubah Masjid Biru di Istanbul. Bahagian luar bumbung berlatarkan warna biru langit dan bercorak geometrik menonjolkan lagi identiti tersendiri masjid ini. Bumbung ini berukuran 84 kaki tinggi dan mempunyai garis pusat sepanjang 200 kaki dan disokong oleh 16 batang tiang dengan ukuran garis pusatnya sepanjang tiga kaki.
Sebuah menara yang berukuran 245 kaki tinggi dilihat seperti sebuah roket atau seperti sebuah payung yang sedang dikuncupkan dan hujungnya diletakkan lambang bulan sabit dan bintang. Dalam bangunan menara ini disediakan sebuah lif yang terdapat gerabak bertingkap naik ke pentas menara yang berketinggina 140 kaki dari aras tanah. Dewan sembahyang masjid ini bertembokkan konkrit tetulang dan dikemaskan dengan batu marmar buatan Itali. Ia dilengkapi dengan sembilan buah pintu lunsur aluminium di sepanjang tiga bahagian tembok berkenaan. Ayat-ayat suci al-Quran yang ditulis diadun dengan mozek warna keemasan dan biru berkilat menghiasi secara melintang tembok atas pintu bahagian dalam dewan sembahyang itu.
Terdapat tiga buah pintu besar dan sebuah pintu khas bagi kegunaan diraja. Ruang depan tingkat bawah dibina tempat untuk kemudahan berwuduk, bilik mandi dan tempat menyimpan kasut. Sebuah bilik rehat untuk pengunjung turut disediakan. Di luar perkarangan masjid ini terdapat kolam yang dihiasi dengan air pancut. Satu lagi yang menarik tentang masjid ini ialah mihrabnya bertuliskan ayat-ayat al-Quran seni khat Morocco. Pada mulanya mihrab ini direkabentuk persegi seperti pintu tetapi kemudiannya telah diubahsuai dengan bentuk melengkung seperti sebuah gerbang. Permukaan tembok yang mengelilingi gerbang mihrab ini meniru senibina Morocco. Di sisi sebelah kanan mihrab ini didirikan sebuah mimbar yang berbentuk beranda yang dibuat daripada kayu. Mimbar ini menjadi tempat imam membaca khutbah.
Sebuah galeri juga disediakan yang bahagian dalamnya dihiasi dengan kekisi bercorakkan awan larat yang menyerupia awan larat Taj Mahal dan Patehpur Sikri di India. Seni hiasan ini menunjukkan kebudayaan Islam masih diagungkan. Mankala bahagian luar galeri ini dikemaskan dengan turapan kekisi terrazo. Ia menjadi bahagian masjid yang sering menjadi perhatian para pelawat. Masjid ini diterangi oleh lampu-lampu hiasan, lampu-lampu di roset aluminium di bumbung serta 16 tepak lampu yang dikurniakan raja-raja dan gabenor-gabenor. Pintu-pintu lunsur dan kekisi galeri turut membawa cahaya matahari yang mencerahkan lagi ruang dalam masjid ini. Masjid Negara yang terletak di tempat strategik di Bandaraya Kuala Lumpur ini memudahkan pengunjung memanfaatkannya sepanjang waktu terutama ketika waktu solat.
Pada setiap waktu solat termasuk solat Jumaat dan solat sunat Aidilitri dan Aidiladha, masjid ini menjadi tumpuan utama pengunjung kota samada yang tinggal berdekatan mahupun yang bekerja di sekitar ibu negara. Kemudahan pengangkutan awam seperti bas, teksi dan keretapi menjadikan ia pilihan utama umat Islam mengerjakan ibadat di masjid ini. Masjid Negara turut menjadi tumpuan para pelancong dari dalam dan luar negara. Berdekatan bangunan masjid ini ialah bangunan Pusat Islam dan pejabat JAWI. Pelbagai aktiviti dijalankan disini termasuk urusan nikah kahwin, pengurusan jenazah, tadika, tempat mendalami ilmu agama dan pengajian al-Quran baik pada peringkat kanak-kanak mahupun dewasa.
Sejak tahun 1965, antara yang pernah berkhidmat sebagai Imam Besar Masjid Negara ialah Haji Ghazali Abdullah, Haji mohd Salleh Hassan Farid, Tan Sri Sheikh Mohsein Haji Salleh, Dato' Haji Ahmad Shahrir Haji Daud, Dato' Haji Abu Hassan Din al-Hafiz, Haji Ariffin Harun, Datuk Haji Taib Azamudden Md Taib, Dato' Haji Mohd Shahrir Abdullah, Haji A. Jalil Sindring @ Perangreng, Haji Wan Halim Haji Harun, Dato' Haji Firdaus Ismail al-Hafiz dan Dato' Kamarudin Zakaria.
Salah seorang tokoh dari Masjid Negara yang turut memberi sumbangan besar khasnya kepada perkembangan ilmu qiraat al-Quran di negara ini ialah Datuk Muhammad Nor Che Ibrahim iaitu bekas mufti Kelantan (1968-1987). Beliau merupakan pengasas Maahad Tahfiz al-Quran di Masjid Negara antara tahun 1965 hingga 1968. Menurut Prof Dr Abdullah Alwi, Datuk Muhammad Nor Che Ibrahim mendapat ijazah al-Quran dan juga tujuh Qiraat daripada 20 tersohor di Mekah. Seorang lagi tokoh qiraat ialah Syeikh al-Muqari' Haji Hassan Ismail al-Hafiz dari Johor.
Pada hari ini Masjid Negara terus berperanan memacu aktiviti pengimarahannya, mempelbagaikan kegiatan rutinnya disamping melahirkan tokoh-tokoh ilmuwan Islam selari dengan perkembangan zaman. Masjid Negara tidak dilupakan sejarah sebaliknya terus menjadi model kepada aspek pengurusan dan pentadbiran lain-lain masjid di seluruh negara.