ซากโบราณสถานเมืองเพนียด หรือที่เรียกกันว่าปราสาทหินจันทบูร ปัจจุบันเหลือเพียงแนวกำแพงศิลาแลงและคันดิน กว้าง 16 ม. ยาว 26 ม. สูง 3 ม. มีอายุกว่าพันปี เนื่องจากชิ้นส่วนที่เคยเป็นปราสาทหินถูกขนย้ายออกจากพื้นที่ไปเป็นจำนวนมาก จึงเหลือไว้ ณ ที่นี้เพียงส่วนน้อย
นักโบราณคดีสันนิษฐานว่า บริเวณเมืองเพนียดน่าจะมีปราสาทหินสองสามหลัง รวมทั้งส่วนที่เป็นบารายหรืออ่างเก็บน้ำรูปสี่เหลี่ยมผืนผ้าขนาดใหญ่กรุด้วยศิลาแลง และเชื่อว่าเมืองเพนียดน่าจะเก่ากว่านครวัด นครธมของเขมร เนื่องจากมีการพบทับหลังศิลปะแบบถาลาบริวัตซึ่งเป็นรูปแบบศิลปะที่เก่าแก่กว่า นครวัด นครธมนับร้อยปี