Keberadaan dari bangunan MAsjid Raya Al-Osmani memang tidak bisa dipisahkan dengan eksistensi Kesultanan Deli sampai sekarang. Nama Masjid Al Osmani juga disebut dengan Masjid Raya Labuhan yang dibangun ketika tahun 1854. Sementara pembangunan masjid tersebut juga digagas seorang Sultan Deli VII bernama Osman Perkasa Alam. Beliau adalah seorang Sultan sekaligus yang sangat dihormati rakyatnya pada masa pemerintahannya.
Bangunan Masjid Al-Osmani Medan begitu terlihat megah dan indah. Denah bangunan utamanya memang berbentuk segi empat, dan atap kubah utama berbentuk persegi delapan dibuat dari tembaga. Bangunan kubah tersebut juga bertumpu dengan dinding tumpu yang berbentuk persegi delapan di bagian atasnya, hal ini sesuai dengan bentuk bangunan kubah, serta persegi empat di bagian bawahnya. Adanya ukiran-ukiran dn ornamen pada Pintu masuk masjid maupun disudut bangunan sangat terlihat bagus sehingga semakin memperkuat banguan yang bergaya Melayu.
Dinding Masjid Al Osmani juga telah didominasi dengan cat warna kuning, yang merupakan warna kebesaran dari kesultanan melayu. Selain itu, Masjid Osmani juga lebih dulu dibangun dari pada masjid Raya Al Mahsun yang terletak di pusat kota medan. Masjid Al Osmani dibangun oleh Sultan Osman Perkasa Alam, yang merupakan Sultan Deli ke-7 pertama kali mendirikan masjid ini ketika tahun 1854. Kemudian Putra beliaulah yang melanjutkan tahtanya dan membangun masjid tersebut menjadi sebuah bangunan masjid permanen yang sampai sekarang berdiri kokoh.
Keadaannya sekarang ini, masih menunjukkan bahwa megahnya masjid pada zamannya. Didalamnya ada mimbar yang dibuat dari kayu berukir, dengan jam dinding antik serta lampu hias gantung berbahan kristal yang menjadi ornamen untuk memperindah interior masjid Al Osman. Dominasi warna kuning maupun hijau pada dinding masjid juga menjelaskan identitas bangsa Melayu yang sangat melekat dengan masjid tersebut. Sampai sekarang ini, selain digunakan untuk tempat beribadah, bangunan masjid ini juga digunakan untuk tempat peringatan hari besar keagamaan. Sekaligus untuk tempat pemberangkatan para jemaah haji dari wilayah Medan bagian utara untuk menuju pemondokan para jamaah haji.
Dinding masjid yang di beri warna kuning terang serta warna kubahnya yang hitam hingga corak hijau pada pinggiran dinding untuk ornamen, seolah memberikan kesan jika masjid ini dibangun oleh Sultan Deli ketika kerajaan masih dipusatkan di Belawan. Semua warna tersebut sama persis terhadap bangunan Istana Maimun yang ada di Kota Medan.
Bangunan Masjid yang dikenal juga sebagai Masjid Labuhan ini karena lokasinya berada pada kecamatan Medan Labuhan sebagai masjid tertua yang ada di Kota Medan. Di luar masjid juga Ada bedug tua berusia sekitar puluhan tahun namun masih digunakan sebagai penanda waktu adzan. Khusus ketika bulan Ramadan, bedug ini dipukul sangat keras sebagai pengumuman waktu berbuka bagi kalangan Belawan maupun sekitarnya.
Bentuk kubah masjid raya Al Osmani memang sangat berbeda dengan bentuk kubah masjid lainnya yang kebanyakan berbentuk separuh bulat. Karena bentuk kubah masjid utamanya ialah persegi 8. Sedangkan untuk kubah pendampingnya juga tidak berbentuk bulat melainkan berbentuk segi empat. Berat kubah ini sangat fantastis karena mencapai 2,5 ton. Biasanya kubah yang sangat berat berbahan gavalum. Cirri selanjutnya dengan warna yang hanya satu macam ini juga biasa ada pada kubah gavalum.
Kubah jenis ini memang sangat kuat dan kokoh, sehingga cocok sekali digunakan untuk masjid manapun. Kubah yang berbahan dasar galvalum juga bisa menetralkan cuaca panas karena bahan galvalum mampu menahan panas hingga temperatur 3000C. bahkan kubah ini juga tidak mudah mengelupas catnya karena daya serap yang dimilikinya sangat luar biasa. Sehingga banyak yang menggunakan kubah ini dengan perhitungan tersebut.
