เกาะพะงัน อยู่ห่างจากเกาะสมุยไปทางทิศเหนือ ประมาณ 20 กม. และอยู่ห่างตัวจังหวัดประมาณ 100 กม. เกาะพะงันมีเนื้อที่ประมาณ 170 ตรกม. เป็นหนึ่งในจำนวน 48 เกาะที่ตั้งอยู่ในช่องอ่างทอง
ลักษณะภูมิประเทศของเกาะพะงัน มีภูเขาอยู่ตรงกลางเกาะ ทอดตัวจากทิศเหนือจดทิศใต้ มีที่ราบบริเวณทางทิศตะวันตกของเกาะ ส่วนทางทิศตะวันออกเป็นเทือกเขาจดทะเล บางแห่งก็มีอ่าวเล็ก อ่าวน้อย เรือเข้าจอดได้เป็นบางฤดู ช่วงมรสุมตั้งแต่เดือนตุลาคม ถึงเดือนมกราคม จะมีลมตะวันออกพัดผ่าน ซึ่งไม่เหมาะแก่การเดินทางท่องเที่ยวในช่วงดังกล่าว
เกาะพะงัน เป็นเกาะที่มีผู้คนอาศัยอยู่เป็นเวลาช้านาน สันนิษฐานว่าพวกแรกที่มาอยู่บนเกาะพะงันน่าจะเป็นแขกจากมลายู ที่อยู่แถบจังหวัดนครศรีธรรมราช หรือไม่ก็เป็นพวกแขก ที่มาจากปัตตานีมาอาศัยทำการประมงเป็นหลัก โดยสังเกตจากชื่อของเกาะ และสถานที่บางแห่งบนเกาะเช่นคำว่า เกาะพะงัน อดีตนายอำเภอเกาะสมุยผู้หนึ่งว่าเดิมชื่อ เกาะราฮัม ซึ่งแปลว่า ดำตะคุ่ม หรือเกาะบางเกาะเช่นเกาะวัวตาหลับ เกาะเหล้าหยู ก็มาจากภาษามลายู
การเดินทางไปเกาะพะงัน
เกาะพะงัน นครศรีธรรมราช - เกาะพะงัน, สุราษฏร์ธานี - เกาะพะงัน
เรือเฟอร์รี่ ของบริษัทเฟอร์รี่ไลน์และส่งเสริมทราเวิลเซ็นเตอร์ ออกจากท่าเรือ อ.ขนอม จ.นครศรีธรรมราช เวลา 10.00น. และ18.00น. ใช้เวลาเดินทางประมาณ 4 ชั่วโมง อัตราค่าโดยสาร 160 บาท
เรือด่วน ของบริษัท เฟอร์รี่ไลน์และส่งเสริมทราเวิลเซ็นเตอร์ ออกจากท่าเรือท่าทอง (ห่างจาก อ.เมือง สุราษฎร์ ประมาณ 10 กม. ) วันละ 2 เที่ยว เวลา 08.00 น. และ 14.00 น.ใช้เวลาประมาณ 3 ชั่วโมง อัตราค่าโดยสาร 160 บาท
เรือนอน ติดต่อได้ที่ท่าเทียบเรือบ้านดอน เรือออกเวลา 23.00 น. ใช้เวลาประมาณ 6 ชั่วโมง อัตราค่าโดยสาร 60 และ 90 บาท
เกาะสมุย - เกาะพะงัน
เรือเฟอรี่ ของบริษัทเฟอรี่ไลน์และส่งเสริมทราเวิลเซ็นเตอร์ ออกจากท่าเรือหน้าทอนวันละ 2 เที่ยว เวลา 12.00น. และ 20.00น. ใช้เวลาประมาณ 1 ชั่วโมง อัตราค่าโดยสาร 80 บาท
เรือด่วน ของบริษัทเฟอร์รี่ไลน์และส่งเสริมทราเวิลเซ็นเตอร์ ออกจากท่าเรือหน้าทอน วันละ 2 เที่ยวเวลา 10.30 น. และ 17.00 น. ใช้เวลาประมาณ 45 นาที อัตราค่าโดยสาร 80 บาท