Masjid Baiturrahim terletak di Kawasan Objek Wisata Pantai Cermein, Kecamatan Meuraksa, Banda Aceh, Provinsi Nangroe Aceh Darussalam. masjid ini didirikan di kawasan wilayah wisata pantai cermin Ulle Leheu, yaitu sebuah wilayah yang sangat indah dengan penuh kenangan sejarah. Kawasan Pantai Ulee Lheue digunakan penjajah belanda sebagai pintu gerbang untuk menjajah seluruh provinsi banda aceh. Sebuah Dermaga Belanda juga turut dibangun pada sekitar tahun 1874 – 1875 untuk akses masuk pasukan dari Belanda. Lalu jalan kereta api pun turut dibangun, dengan stasiunnya yang didirikan didepan Masjid Raya Batiturrahman.
Masjid Baiturrahmi pun juga menjadi salah satu bangunan masjid yang masih berdiri kokoh meskipun sudah dilanda bencana gempa dan tsunami yang meluluhlantakkan Aceh pada tahun 2004 lalu. Masjid Baiturrahim Ulee Lheue ini bisa dikatakan sebagai “Masjid Ajaib”, karena memang pada saat bencana tersebut menghancurkan seluruh wilayah pemukiman warga sekitar, hanya bangunan Masjid Baiturrahim ini saja yang masih berdiri kokoh, sedangkan bangunan-bangunan lain disekitarnya hancur lebur.
Masjid Baiturrahim ini sudah berdiri sejak masa kesultanan Aceh sekitar abad ke-17 Masehi. Pada saat itu, masjid ini bernama “Masjid Jami’ Ulee Lheu” atau dibaca Masjid Jami’ Ole Le. Pembangunannya dilakukan di atas tanah wakaf keluarga Teungku Hamzah. Pada saat masa penjajahan belanda, tepatnya pada tahun 1873, masyarakat sekitar Banda Aceh terpaksa melakukan sholat jum’at di Masjid Baiturrahim pada saat masjid Baiturrahman dibakar habis oleh penjajah Belanda.
Sejak didirikan pertama kali pada abad ke-17, hingga kini masjid ini sudah mengalami beberapa kali pemugaran. Pada awalnya, keseluruhan bangunannya terbuat dari kayu, dengan bentuk sederhana. Karena hanya terbuat dari bahan baku kayu, akhirnya masjid ini pun dimakan waktu dan harus di bangun ulang.
Pada tahun 1922, pada saat masa penjajahan Kolonial Hindia Belanda, Masjid Baiturrahim dibangun ulang dengan bahan baku permanen, dengan gaya arsitektur khas Eropa, serta dihiasi beberapa kaligrafi khas ejaan Arab Jawa. Masjid ini dibangun ulang tanpa material besi ataupun beton bertulang, namun hanya menggunakan batu bata dan semen saja sebagai materialnya. Dana pembangunan ulang masjid ini di biayai oleh swadaya masyarakat Meuraxa saja.
Pembangunan masjid ini dilakukan dengan azas swadaya gotong-royong antar masyarakat, apalagi bisa dilihat bahwa pada saat itu perjuangan pengumpulan dana bisa dibilang sangat berat dan memerlukan waktu yang relatif lama. Para nelayan setiap harinya akan menyisihkan sebagaian penjualannya, kemudian ibu-ibu akan mengumpulkan beras sedikit demi sedikit dalam karung beras sebanyak satu kaleng susu setiap hari, kemudian pada akhir bulan akan diserahkan kepada panitia masjid.
Pada awalnya, masjid ini selesai di bangun ulang pada tahun 1923 dengan bangunan tanpa kubah seperti masjid-masjid pada umumnya, hanya memiliki atap yang berbentuk persegi empat saja. pada saat itu, hanya sekitar 400 hingga 500 jamaah saja yang dapat ditampung oleh masjid ini. Akhirnya, pada tahun 1981, masjid Baiturrahim mendapatkan bantuan dari Kerajaan Arab Saudi untuk perluasan ke samping area masjid sehingga daya tampungnya bisa bertambah hingga 1.500 orang.
Beberapa bencana juga sudah dialami oleh bangunan masjid ini, yaitu pada tahun 1983 ketika Banda Aceh diguncang gempa dahsyat dan menghancurkan kubah masjid Baiturrahim. Lalu pada tahun 1993, renovasi besar-besaran yang dilakukan membuat sekitar 60% bangunan baru, karena sebagian besar masjid sudah hancur. Sekitar 40% bangunan yang bisa kita lihat saat ini merupakan bangunan asli dari tahun 1970-an.