Bung Karno mengusulkan lokasi di atas bekas benteng Belanda Frederick Hendrik dengan Taman Wilhelmina yang dibangun oleh Gubernur Jendral Van Den Bosch pada tahun 1834 yang terletak di antara Jalan Perwira, Jalan Lapangan Banteng, Jalan Katedral dan Jalan Veteran.

Sementara Bung Hatta mengusulkan lokasi pembangunan masjid terletak di tengah-tengah umatnya yaitu di Jalan Thamrin yang pada saat itu di sekitarnya banyak dikelilingi kampung-kampung.

Baca Juga: Mengundurkan Diri sebagai Wakil Bupati Indramayu, Ini Fasilitas dan Gaji yang Ditinggalkan Lucky Hakim

Selain itu ia juga menganggap pembongkaran benteng Belanda tersebut akan memakan dana yang tidak sedikit.

Namun akhirnya Presiden Soekarno memutuskan untuk membangun di lahan bekas benteng Belanda.

Karena di seberangnya telah berdiri gereja Kathedral dengan tujuan untuk memperlihatkan kerukunan dan keharmonisan kehidupan beragama di Indonesia.

Baca Juga: Jurgen Klopp Sebut Liverpool Perlu Mode Super Hadapi Real Madrid di Leg II Liga Champions

Pemancangan tiang pertama dilakukan oleh Presiden Ir. Soekarno pada tanggal 24 Agustus 1961 bertepatan dengan peringatan Maulid Nabi Muhammad SAW, disaksikan oleh ribuan umat Islam.

Selanjutnya pelaksanaan pembangunan masjid ini tidak berjalan lancar.

Sejak direncanakan pada tahun 1950 sampai dengan 1965 tidak mengalami banyak kemajuan.