สมเด็จพระมหาสมณเจ้ากรมพระยาวชิรญาณวโรรส เมื่อคราวเสด็จตรวจการคณะสงฆ์ในมณฑลอยุธยาว่า วัดรวกมีโบสถ์ วัดเสาธง มีวิหารสมควรจะรวมเป็นวัดเดียวกัน ทรงดำริเห็นชอบให้รวมกันและให้เรียกชื่อว่า วัดเสาธงทอง
วัดนี้มีโบราณสถานที่ควรชม คือ พระวิหารซึ่งเดิมคงสร้างขึ้นเพื่อเป็นศาสนสถานของศาสนาอื่นเพราะจากแผนที่ของช่างชาวฝรั่งเศสทำไว้ ระบุว่าพื้นที่บริเวณนั้นเป็นที่พำนักของชาวเปอร์เซีย พระวิหารหลังนี้อาจเป็นที่ประกอบพิธีทางศาสนาอิสลามของชาวเปอร์เซียก็เป็น
ได้ นอกจากนั้นก็มีตึกปิจู ตึกคชสารหรือตึกโคระส่าน เป็นตึกเก่าสันนิษฐานว่าใช้เป็นที่พำนักของแขกเมือง และราชทูตต่างประเทศชาวเปอร์เซีย