นบ้านมอแกนจะเป็นฝาไม้ไผ่ ยกพื้นด้วยเสาไม้ ปลูกติดทะเล แต่ปัจจุบันบ้านมอแกนจะไปปลูกติดภูเขา 

หมู่บ้านมอแกน เกาะพยาม เป็นที่อาศัยของชนเผ่ามอแกน เกาะพยาม อยู่ทางตอนกลางทางทิศตะวันตกของเกาะพยาม ติดกับปลายอ่าวเขาควาย ชาวมอแกนส่วนใหญ่ประกอบอาชีพประมง การปลูกผลผลิตจากต้นกาหยู แต่ปัจจุบันไปรับจ้างตามรีสอร์ท ร้านอาหารเป็นส่วนใหญ่ การเดินทางเข้าไปเที่ยวชมหมู่บ้านมอแกนนั้นสามารถเดินทางด้วยเท้าเปล่าจากอ่าวเขาควายเวลาน้ำลด หรือจะทอแพแวะข้ามไปหมู่บ้านมอแกนเวลาน้ำขึ้นก็ได้ หมู่บ้านมอแกนที่เกาะพยามปัจจุบันเปลี่ยนไปจากเดิม เมื่อก่อนบ้านมอแกนจะเป็นฝาไม้ไผ่ ยกพื้นด้วยเสาไม้ ปลูกติดทะเล แต่ปัจจุบันบ้านมอแกนจะไปปลูกติดภูเขา ตัวบ้านยกพื้นด้วยเสาปูน ผนังบ้านทำจากไม้ฝาสำเร็จรูป มีหน้าต่างกระจก หลังคากระเบื้อง เวลาจะมาเที่ยวบ้านมอแกนอย่าคิดว่าเป็นโฮมสเตย์ เพราะนี่คือบ้านของชาวมอแกนยุคใหม่