วัดบ้านแหลม หรือ วัดเพชรสมุทรวรวิหาร ตั้งอยู่ในตัวเมือง เดิมชื่อวัดศรีจำปา เป็นวัดสำคัญที่สุดของจังหวัด ตามพงศาวดารฉบับราชหัตถเลขา เมื่อ พ.ศ. 2307 พม่ายกทัพเข้ามาตีเมืองเพชรบุรี แต่กองทัพของกรุงศรีอยุธยา ได้ยกทัพมาช่วยรักษาเมืองไว้ได้

 

ชาวบ้านแหลมในเขตเมืองเพชรบุรีได้อพยพหนีพม่ามาตั้งบ้านเรือนอยู่ในตำบลแม่กลอง เหนือวัดศรีจำปาขึ้นไป และเรียกหมู่บ้านนี้ว่า "บ้านแหลม"  ตามชื่อบ้านเดิมของตนในเมืองเพชร ได้ช่วยกันบูรณะวัดศรีจำปาแล้วเรียกว่า "วัดบ้านแหลม" 

 

ชาวบ้านแหลมนี้ส่วนใหญ่เป็นชาวประมง คราวหนึ่งได้ออกไปลากอวน  ในอ่าวแม่กลอง ได้พระพุทธรูปติดอวนขึ้นมา 2 องค์ องค์หนึ่งเป็นพระพุทธรูปนั่ง อีกองค์หนึ่งเป็นพระพุทธรูปยืน สำหรับพระพุทธรูป นั่งได้นำไปประดิษฐานไว้ที่วัดเขาตะเครา จังหวัดเพชรบุรี