ตั้งอยู่ทางใต้ของวัดมหาธาตุ ห่างออกไปประมาณ ๓๕๐ เมตร โบราณสถานสำคัญตั้งอยู่ในกำแพงแก้วนั้น ประกอบไปด้วยปรางค์ ๓ องค์ ที่มีรูปแบบศิลปะลพบุรี แต่ลักษณะของปรางค์ค่อนข้างเพรียว ตั้งอยู่บนฐานเตี้ย ๆ มีลวดลายปูนปั้นบางส่วนเหมือนลายบนเครื่องถ้วยจีนสมัยราชวงศ์หยวน ได้พบทับหลังสลักเป็นรูปนารายณ์บรรทมสินธุ์ ชิ้นส่วนของเทวรูป และศิวลึงค์ อันเป็นเครื่องแสดงให้เห็นว่าวัดศรีสวายเคยเป็นเทวสถานในศาสนาฮินดูมาก่อน แล้วแปลงเป็นพุทธสถานโดยต่อเติมวิหารขึ้นที่ด้านหน้า เป็นวัดในพุทธศาสนาภายหลัง