Единственная уцелевшая Элиза Фрейзр несколько месяцев удерживалась в племени, пока её не спас беглый каторжник (эта история потом была описана в романе нобелевского лауреата Патрика Уайта "Бахрома из листьев", дала художнику Сиднею Нолану сюжеты нескольких его полотен, и легла в основу знаменитого австралийского фильма "Элиза Фрейзер" (1976) с Сюзанной Йорк в главной роли). Английские колонисты использовали о. Фрейзер в качестве природной тюрьмы для аборигенов, перевезя сюда с материка сотни несчастных изгнанников. После того как тут обнаружили ценные породы древесины, англичане вновь потревожили аборигенов и многие из них погибли, буквально загнанные в море.
В последние 20 лет о. Фрейзер стал предметом яростных баталий австралийских защитников окружающей среды с властями. В 1970-е гг. возникло движение за запрет карьерных работ на острове (фрейзерский песок богат рутилом и цирконием). В начале 1980-х гг. шла долгая кампания за запрет вырубки леса. Застрельщиком обеих кампаний был Джон Синклер, бывший социальный работник из Мэриборо, кто бросил вызов правоконсервативному правительству Квинсленда, выступавшему за освоение острова, и выиграл схватку. Однако многочисленные судебные тяжбы разорили его, от него ушла жена и в конце концов он был вынужден покинуть родной город.
Сегодня, когда остров вошел в реестр "Мирового наследия", по-прежнему идут споры о правильной политике области туризма. С начала 1970-х гг. до настоящего времени поток туристов увеличился с 10 тыс. чел. до 350 тыс. И туристы имеют на острове практически полную свободу действий - пожалуй, на земле нет другого объекта "Мирового наследия", столь же открытого для широкой публики. Палатки разрешается разбивать где угодно. За небольшую пошлину любой гость может привезти сюда джип-внедорожник и гонять на нем по всем дорогам и по 75-мильному песчаному пляжу. Кстати, передвигаться по острову только и можно на полноприводном джипе, а пляж становится проходимым только во время отлива.