Awalnya masjid Agung Sumenep bernama Masjid Jami’ Sumenep. Masjid tersebut berada di tengah-tengah kota dan menghadap ke taman kota. Meskipun usia masjid Agung Sumenep telah mencapai ratusan tahun, namun bangunan masjid ini masih berdiri kokoh dan masih difungsikan dengan sangat baik hingga sekarang.
Sumenep sendiri merupakan sebuah kabupaten yang berada di Madura Jawa Timur. Tepatnya Sumenep berada di ujung timur Madura dengan luas wilayah mencapai 2.093,4 km2 . Jumlah penduduk disana kurang lebih mencapai 1 juta jiwa.
Sejarah masuknya Islam ke Sumenep dibawa oleh seseorang yang bernama Syayyid Ahmadul Baidhawi atau dikenal juga dengan Pangeran Katandur. Seblumnya juga pada tahun 1499-an seorang ulama menyebarkan agama islam yang bernama Raden Bindara Dwiryopodho yang dikenal juga dengan nama Sunan Paddusan. Tetapi menurut sejarah ternyata ada juga beberapa orang penyebar agamaIslam di Sumenep sekitar pemerintahan Panembahan Joharsari yaitu Adipati Sumenep kelima yang telah memerintah pada than 1319 hingga tahun 1331. Konon Panembahan Joharsari merupakan Raja Sumenep yang pertama kali memeluk agama islam.
Bangunan masjid Agung Sumenep menjadikan salah satu masjid yang menjadi kebanggan warga kota Sumenep. Masjid ini juga menjadi sebagai penanda kota Sumenep. Karena telah berusia ratusan tahun masjid Agung Sumenep menjadi salah satu waarisan sejarah masa lalu. Masjid Agung Sumenep memiliki ukuran luas 100 m x 100 m serta dilengkapi dengan bangunan sekertariat, bangunan kamar mandi, parkir dan juga tempat untuk berwudhu.
Masjid Agung Sumenep didirikan setelah Keraton Sumenep selesai dibangun. Pembangunan masjid ini berdasarkan ide dari Pangeran Natakusuma yang merupakan Adipati Sumenep ke 31. Beliau juga dikenal dengan nama Panembahan Somala yang telah berkuasa dari tahun 1762 hingga tahun 1811. Beliau sengaja membangun masjid yang ukurannya besar karena bertujuan agar dapat menampung para jamaah yang kian hari semakin bertambah banyak. Tetapi pada saat itu bangunan masjid tersebut dikenal dengan nama Masjid Laju yang telah dibangun oleh Adipati Sumenep ke 21 yaitu Pangeran Anggadipa berkuasa dari tahun 1626 hingga tahun 1644 Masehi.
Dipilih seorang arsitek yang juga merupakan arsitek pembangunan Keraton Sumenep, dia adalah Lauw Piango. Dia adalah cucu dari Lauw Khun Thing merupakan orang Cina yang datang ke Sumenep dan juga menetap disana. Proses pembangunan masjid Agung Sumenep ini dimulai pada tahun 1779 Masehi dan selesai secara kesuluruhan pada tahun 1787 Masehi. Bahkan Pangeran Natakusuma berwasiat yang telah ditulis pada tahun 1896 berisi agar selalu menjaga masjid tersebut dan tidak boleh di rusak hingga dijual.
Dilihat dari arsitekturnya, masjid Agung Sumenep memiliki berbagai paduan dari gaya Cina, Arab, Persia, Jawa dan India. Karena dari sentuhan seni berbagai negara tersebut menghasilkan bangunan masjid yang sangat menarik dan juga unik. Pada atap masjid Agung Sumenep berbentuk dengan limas bersusun yang biasanya dimiliki oleh beberapa bangunan dari tanah Jawa. Atap ini terlihat seperti Joglo yang juga di gunakan sebagai bangunan klenteng. Pada bagian ujung tertinggi atap masjid telah dipasang sebuah mustaka yang berbentuk tiga bulatan.
Sedangkan sentuhan dari negara Cina dan India terdapat pada gerbang utama. Ketika memasuki bangunan masjid ini, ruangan didalamnya terlihat begitu megah dan besarberabgai ukiran jawa dalam pengaruh berbagai budaya menghiasi 10 jendela dan 9 pintu besar masjid Agung Sumenep. Hal yang unik dari masjid ini terdapat dua mimbar di sisi kiri dan kanan mihrab. Dengan kemegahan dan keunikan yang dimiliki masjid Agung Sumenep, menjadikan para jamaah dan pengunjung betah dan khusyuk berada di dalam masjid ini.
