ตึกถาวรวัตถุ หรือ หอพระสมุดวชิราวุธ เดิมเป็นอาคารที่รัชกาลที่ ๕ ทรงพระกรุณาโปรดเกล้าฯ ให้สร้างด้วยพระราชประสงค์ ๒ ประการ คือ
ประการแรก เพื่อให้สถานที่เล่าเรียนของพระสงฆ์ฝ่ายมหานิกาย หลังจากได้โปรดให้ตั้ง มหาธาตุวิทยาลัย ขึ้น ณ วัดมหาธาตุยุวราชรังสฤษฏิ์แล้ว
แต่ยังขาดสถานที่เรียนอันเหมาะสม ประการที่สอง ประจวบกับที่ สมเด็จพระบรมโอรสาธิราช เจ้าฟ้ามหาวชิรุณหิศ สยามมกุฏราชกุมาร เสด็จ
สวรรคตเมื่อปี พ.ศ. ๒๔๓๗ ซึ่งโดยพระราชประเพณีจะต้องสร้างพระเมรุมาศขนาดใหญ่ตามพระเกียรติยศขึ้นที่ท้องสนามหลวง พระองค์ทรง
พระดำริว่าเป็นการสิ้นเปลืองพระราชทรัพย์ไปในการสร้างสิ่งที่ไม่ได้ใช้ให้เป็นประโยชน์ถาวร เพราะเป็นการสร้างสำหรับใช้งานชั่วคราวเท่านั้น
เสร็จงานแล้วก็รื้อทิ้งไป
พระองค์จึงทรงพระกรุณาโปรดเกล้าฯ ให้ สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ เป็นผู้อำนวยการ
ก่อสร้างอาคาร ตึกถาวรวัตถุ ขึ้น ณ บริเวณกุฏิสงฆ์วัดมหาธาตุยุวราชรังสฤษฏิ์ เพื่อเป็นที่เชิญ พระบรมศพมาประดิษฐานบำเพ็ญพระราชกุศลทักษิณานุประทานและหลังจากพระราชทานเพลิงพระบรมศพแล้วจะได้ทรงพระราชอุทิศถวาย ตึกถาวรวัตถุ เป็นสังฆิกเสนาสน์สำหรับ มหาธาตุวิทยาลัย ต่อไป แต่การก่อสร้างยังไม่แล้วเสร็จในรัชกาลของพระองค์ รัชกาลที่ ๖ ทรงพระกรุณาโปรดเกล้าฯ ให้สร้างต่อจนเสร็จ แล้วพระราชทานให้เป็นที่ตั้ง หอพระสมุดสำหรับพระนคร พระองค์เสด็จพระราชดำเนินทรงเปิด ตึกถาวรวัตถุ เมื่อวันที่ ๖ มกราคม พ.ศ.๒๔๕๙ กรมศิลปากรได้ขึ้นทะเบียนไว้เป็นโบราณสถานสำคัญของชาติ เมื่อปี พ.ศ. ๒๕๒o