高台庵建于长潭库区林场雄伟的天马山悬崖峭壁上，其形势险峻，有“南方悬空寺”之称，是粤东著名的庵场寺庙。山高800多米，山顶上有一平地，宽约30多平方米，形如高台，此地建一庙宇顾名高台庵，高台庵又名金龟挂壁。庵正门横匾为“潭浮普岸”门联为“高台人仰止；舍利佛频灵”。正堂两柱长联：“此胜汉高台，上依绝壁，下瞰深潭，老婆婆背负幼孙，濯足欲捞浮水月；斯名灵山塔，右舞飞龙，左腾天马，二姑姑鞭驱巨石，经心思补漏壶天。”此联把长潭胜景浓缩在方寸间，庵居高临下，风光如画的长潭山水尽收眼底。

　　相传在300多年前，有一来自五华的单身汉伍荣昌，在长潭以摆渡为生。一天，伍荣昌清早起来，象往常一样打一声“噢嗬”，伸一下懒腰，环视一遍群山，俯身舀起一杓清水，准备生火做饭时，忽然看到绝壁的半山腰上，一只大金龟正在爬行，头上的两只眼睛似两盏明灯闪闪发亮，好象在招呼伍荣昌似的。这时候，伍荣昌心想，莫非是看花了眼呢？还是自己恋此山此河的感情作崇呢？然而，以后一连几天都出现如此的现象。这时，位荣昌心动了：这是神灵显圣，念我这孤老头子无依无靠，一辈子行善积德，指点一宝地给我安度晚年的吧！于是他卖掉了渡船，买下此座灵山，自己披荆斩棘，凿出羊肠石路，在金龟出现的地方修庵庙，几年以后，一个小小的庵堂做成，取名高台庵，自己开始食斋修行，招揽徒弟，为民消灾降福，无有不灵，逐渐声名远播，香火极盛。


    伍荣昌一心一意修行，取道号为五木先生。五为其姓的谐音，木取其在高台庵生根发展之意。五木先生得道后，自己选定在牛轭曲的石崖下，动手建造了一座小塔。称为灵山塔，塔下的岩石凿成一个靠椅状，后来，就是坐着石椅圆寂的。