โบราณสถานวัดดอยข่อยเขาแก้ว มีโบราณสถาานเป็นโบราณวัตถุที่เป็นหลักฐานแสดงความเก่าแก่ของ จ. ตาก โบราณที่ขุดพบมีทั้งพระพิมพ์ดินเผา หม้อไหดินเผา ใบหอก ดาบ เหล็ก เสียมและกรรไกรหนีบหมาก อีกทั้งมีศาลเสด็จแม่นกเอี้ยงและศาลเสด็จพ่อไหฮอง ตั้งขึ้นเพื่อบูชาพระราชมารดาและพระราชบิดาของสมเด็จพระเจ้าตากสินมหาราช
โบราณสถานวัดดอยข่อยเขาแก้วเคยเป็นชุมชนโบราณมาสองสมัย คือ สมัยที่1 กลุ่มชุมชนก่อนประวัติศาสตร์ ตอนปลาย(ยุคโลหะ) สมัยที่2 คือสมัยสมเด็จพระมหาธรรมราชาธิราช ซึ่งเป็นช่วงที่อยุธยาตกเป็นประเทศราชของพม่า