他们返回慈悲河，上船向“花岗石宫”驶去。当他们临近“花岗石宫”时，托普狂吠了起来。原来是一群猴子趁他们不在时，从梯子上爬进“石宫”里，占据了他们的屋子。于是，他们和猴子展开了一场房屋争夺战。在枪弹的扫射下，猴子死的死，伤的伤，逃的逃。几小时后，他们又夺回了“花岗石宫”。在“石宫”的走廊里，他们抓到了一只没逃掉的猴子。他们称它为杰普，让它留在“石宫”里，充当他们的仆人。
回“石宫”后，史密斯和大家一起，成功地利用岛上的“三宝”——动物、植物、矿藏，加强了荒岛生活的建设。他们先用了三个星期在慈悲河上架起一座桥，从而把气球运了回来；接着用植物焚烧后的灰烬里取得的小苏打和钾碱，把气球的布料洗干净，大家各做了一套衣服和睡觉用的被单。史密斯又就地取材，制造了一批棉花火药。他们还开拓了一片土地，把从野外采来的菠菜、水芹、萝卜和芜菁等，在土地上栽培起来。