เมืองพิมายเป็นเมืองที่สร้างตามแบบแผนของศิลปะขอม มีลักษณะเป็นเวียงสี่เหลี่ยม ชื่อ พิมาย น่าจะมาจากคำว่า วิมาย หรือ วิมายปุระ ที่ปรากฏในจารึกภาษาขอมบนแผ่นหินตรงกรอบประตูระเบียงคดด้านหน้าของปราสาท จากหลักฐานศิลาจารึกและศิลปะสร้างบ่งบอกว่า ปราสาทหินพิมายคงเริ่มสร้างขึ้นสมัยพระเจ้าสุริยวรมันที่ 1 ราวพุทธศตวรรษที่ 16 ในฐานะเทวสถานของศาสนาพราหมณ์ รูปแบบของศิลปะเป็นแบบบาปวนผสมผสานกับศิลปะแบบนครวัด ซึ่งหมายถึงปราสาทนี้ได้ถูกดัดแปลงมาเป็นสถานที่ทางศาสนาพุทธในสมัยพระเจ้าชัยวรมันที่ 7
เมื่ออิทธิพลของวัฒนธรรมขอมเริ่มเสื่อมลงหลังรัชสมัยของพระเจ้าชัยวรมันที่ 7 และมีการสถาปนาอาณาจักรสุโขทัยในเวลาต่อมา เมืองพิมายคงจะหมดความสำคัญลง และหายไปในที่สุด เนื่องไม่ปรากฏหลักฐานเกี่ยวกับเมืองพิมายเลยในสมัยสุโขทัย
ในปี พ.ศ. 2479 กรมศิลปากรได้ประกาศขึ้นทะเบียนปราสาทหินพิมายเป็นโบราณสถาน และได้จัดตั้งเป็น อุทยานประวัติศาสตร์พิมาย ในวันที่ 12 เมษายน พ.ศ. 2532 โดยได้ดำเนินการปรับปรุงจัดตั้งถึง 13 ปี ร่วมมือกันระหว่างกรมศิลปากร และประเทศฝรั่งเศส ตั้งแต่ปี พ.ศ. 2519-2532 ซึ่งสมเด็จพระเทพรัตนราชสุดาฯ สยามบรมราชกุมารี ได้เสด็จฯ พระราชดำเนิน เป็นองค์ประธานในพิธีเปิดอุทยาน
ตัวอุทยานตั้งอยู่ฟากทิศตะวันออกของแม่น้ำมูล บนพื้นที่ 115 ไร่ วางแผนเป็นรูปสี่เหลี่ยมผืนผ้า กว้าง 565 เมตร ยาว 1,030 เมตร ลักษณะพิเศษของปราสาทหินพิมาย คือ ปราสาทหินแห่งนี้สร้างหันหน้าไปทางทิศใต้ ต่างจากปราสาทหินอื่นๆที่มักหันไปทางทิศตะวันออก สันนิษฐานว่าเพื่อให้หันรับกับเส้นทางตัดมาจากเมืองยโศธรปุระ เมืองหลวงในสมัยนั้นของขอม ซึ่งเข้ามาสู้เมืองพิมายทางทิศใต้