Masjid ini dari pertama kali dibangun memang diidentikkan dengan mendiang ibu Negara RI, Ibu Tien Soeharto. Namun hal tersebut merupakan suatu kesalahpahaman karena masjid ini tidak ada sangkutpautnya dengan Ibu Negara. Meskipun berdirinya Taman Mini Indonesia Indah (TMII) tidak bisa dilepaskan dari peran pemerintah RI, dan juga pengelolaannya dibawah Yayasan Ibu Tien Soeharto, namun penamaan At-Tin diambil dari bahasa Arab, bukan dari nama beliau.
Masjid At-Tin pertama kali dibangun pada bulan April 1997, selesai dan diresmikan pada tanggal 26 November 1999. Bangunan masjid ini dibangun diatas lahan seluas 70.000 meter persegi dan dirancang sedemikian rupa agar dapat menampung hingga lebih dari 10.000 jamaah, yaitu 9.000 jamaah di dalam bangunan masjid utama, dan 1.850 jamaah berada di pelataran dan plaza masjid.
Penamaan At-Tin pada masjid tersebut diambil dari salah satu nama surah Juz Amma di dalam Al-Qur’an yang berarti “Sejenis buah yang sangat manis dan lezat serta penuh gizi”, didalam surat tersebut juga dijelaskan bahwa buah tersebut memiliki manfaat yang banyak, sebelum matang maupun sesudah matang.
Selain itu, sebenarnya tujuan lain yang tersirat meskipun tidak disapaikan secara resmi dari pemberian nama “At-Tin” adalah untuk mengenang jasa-jasa yang diberikan oleh Ibu Tien Soeharto, karena pembangunan masjid ini di gagas oleh beberapa anak dan cucu ibu Tien Soeharto. Pembangunan masjid ini pun dapat berlangsung dengna lancar atas bantuan dari Yayasan Ibu Tien Soeharto, secara tidak langsung pembangunan masjid ini merupakan penghargaan dari anak cucu kepada Ibu Tien Soeharto.
Perancang seni bangun masjid ini di tangani oleh pasangan arsitek anak dan ayah, yaitu Fauzan Noe’man dan Ahmad Noeman. Rancangan yang diberikan untuk masjid ini tergolong sangat unik, karena mengambil beberapa perpaduan seni arsitektur bangunan dari beberapa budaya Nusantara Indonesia.
Struktur bangunan utama masjid dibangun sedemikian rupa mirip masjid-masjid pada masa Emperium Usmaniah / Turki Usmani / Ottoman. Yaitu memiliki ciri khas Kubah utama yang berukuran besar, kemudian dilengkapi dengan 4 menara di empat penjurunya, lalu ditambah juga menara tunggal yang ukurannya lebih tinggi namun terpisah dari bangunan utamanya.
Untuk arsitektur khas indonesia yang biasanya ditunjukkan oleh atap yang berbentuk limas, di aplikasikan pada bentuk ornamen diseluruh dinding-dinding masjid. Ornamen atas tersebut bila dilihat dari kejauhan akan terlihat seperti panah yang menunjuk kelangit. Bentuk arsitektur seperti ini sempat menjadi trend bangunan masjid pada masa itu, seperti yang juga diadopsi oleh Masjid Al-Jihad Karawang.
Bentuk dinding masjid yang berbentuk panah tersebut tidak hanya memenuhi bagian eksterior masjid, namun juga diaplikasikan dibagian interior masjid. Hanya saja bagian luar di tampilkan dengan sisi terang, dan bagian dalam di balut dengan warna yang lebih gelap dengan lempengan keramik, mozaik dan dilengkapi dengan kaligrafi. Bentuk panah pada dinding eksterior bangunan juga di lengkapi dengan ventilasi udara dan cahaya, serta ditambah dengan kaca patri yang begitu indah.
Lekukan dan konstruksi serta ornamen yang berbentuk anak panah tersebut didesain secara minimalis, namun tetap tidak melupakan kemegahan geometris yang terus ditunjukkan oleh eksterior dan interior masjid tersebut. Bentuk anak panah ini diambil dari filosofi bahwa manusia tidak boleh berhenti untuk selalu mensyukuri nikmat Sang Maha Pencipta.
Masjid Agung At-Tin juga memiliki plaza yang lumayan luas disisi depan yang mengadopsi bentuk Inner Courtyard yang biasanya diadopsi di masjid-masjid arab hingga masjid afrika. Sederetan pohhon palem juga ikut di tanam di sekeliling plasa untuk membuat efek teduh di pelataran yang memang dikhususkan untuk menampung jamaah yang tidak terbendung didalam bangunan utama.
