พระราชวังสราญรมย์ ตั้งอยู่ระหว่างพระบรมมหาราชวังกับวัดราชประดิษฐสถิตมหาสีมารามราชวรวิหาร ทางทิศตะวันออกของพระบรมมหาราชวัง สร้างขึ้นในรัชสมัยของ พระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 4 เป็นอาคารทรงยุโรป ก่ออิฐปูนสองชั้น ผู้ออกแบบได้แก่ เฮนรี อาลาบาศเตอร์ ต้นตระกูลเศวตศิลา เคยใช้เป็นที่ทำการของกระทรวงการต่างประเทศ และเป็นบ้านพักรับรองพระราชอาคันตุกะ
เมื่อรัชกาลที่ 4 เสด็จสวรรคต พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ 5 ทรงมีพระกรุณาโปรดเกล้าฯ ให้สร้างต่อจนแล้วเสร็จ และพระราชทานให้พระเจ้าน้องยาเธอเจ้าฟ้าภาณุรังษีสว่างวงศ์ ประทับเมื่อปี พ.ศ. 2419–2424 ก่อนที่วังบูรพาจะสร้างเสร็จ