白衣公本是天上仙翁，因为触犯天规，被解除仙术赶出天庭。他路过儋耳山时，发现这里地理位置虽佳，但却是一片荒凉的景象，决定通过自己的努力改变这里的环境。

但是凶神恶煞的山怪出现了，勒令白衣公立即滚开。白衣公镇定自如不予理会。山怪气急败坏，猛然伸手一拉，把白衣公的手臂拉断一只，并将其连同拐杖一起扔到山脚。白衣公怒不可遏地吹出一口气，把山怪吹到了老远老远的海上。白衣公的断臂和拐杖落到山脚之后，马上变成两条河流。儋耳山解除了苦旱的困扰，从此以后风调雨顺。白衣公白天栽花种树，晚上养真修炼。儋耳山云霞缭绕，百鸟飞鸣，百姓安居乐业，成为人间仙境。

正因为白衣公为造福当地，百姓非常感念，因此建有白衣公庙予以祭奉。