传说很早以前，天上下来三位神仙邀游江南。来到台州，他们看到临海天台的山民砍柴、割草、爬山跋岭很不方便，生活很苦。三位神仙相约在天亮前各为人间做一件好事。比一比看谁做得又块又好。

大仙飞过山岭看到羊岩山下坑深岭高，准备在这里造一座桥，方便行人。二仙来到国清寺，见到一个好地方，准备选造一座塔，三仙到天台山见石梁险恶他想造一座桥，他们各自忙碌起来。

大仙挥动金鞭在洋岩山赶运石头准备去造桥，二仙趁人们熟睡之际到天台城内挖运灶砖，三仙到东海向龙王借来二条龙，要它们在天台山上二坑之间相对卧着，他把龙口舌一拉。接在一起就成了“舌桥”，就是现在的石梁桥。三仙造好舌桥后洋洋得意，飞上高山一看，只见大仙还在挥鞭赶运石头，已经运了不少。又见二仙正在国清寺前的小山上叠砖头。三仙看看天还未亮，只恐被大仙、二仙赶上，便降落云头，在村中装起公鸡叫“喔喔喔”引起各村公鸡的啼鸣，

按天规，神仙必须在天亮前回到天庭，听到鸡叫，大仙二仙只有放下手中活，此时，大仙刚把西边的石头垒好，才成二个桥墩，好多石头还散在枫林山上。二仙听到鸡啼加快造塔，已经来不及了。塔顶还放在天台山方广寺，所以现在的仙人桥只有两个桥墩，没有桥身。