在民间，西山茶留传着一则传说。古时，有个樵夫，在棋盘石上看见穿黑、白、蓝衣的三位老翁品茗拆棋。樵夫是个棋迷，看见棋局是名局《三仙会舍》，便多嘴说了几步着法，三老翁见是棋友，便请一边喝茶细品棋路。樵夫这才察觉自己口出狂言，几位老翁走的均是“仙着”。正懊悔间，几位老翁毫不介意，只问樵夫喜不喜欢此茶，樵夫醒悟，知此茶绝非人间所有，忙道：“真是仙茗”。老翁们看其意诚，给予一把茶种，叫在棋盘石上种植。

说罢升空而去。樵夫才知道遇到仙人，立刻把茶种种下，赶快回家。回到村中，发现使用的柴斧木柄已经腐朽，村人竟无相识。细问后，村人说，祖上的祖上上山砍柴未归，后来不知去向。樵夫恍然大悟，明白“山中方七日，世上已千年”，便带领村人寻路寻到棋盘石处，已是茶树粗簇簇，叶绿枝茂，故称之为“仙茶”。

——

传说，西山有一块巨大的棋盘石，周围树木遮天，是避暑胜地，神仙也常来此游玩。一天，东天大仙和西天大仙来此下棋，双方商定，输棋者受罚，对胜者的要求必须照办。两人下了很久，不分胜负。这时两人口都渴了，西天大仙便吹口气，变出了一杯香茶；东天大仙也吹了口气，变出了一杯泉水。两人你喝水，我饮茶，西天大仙正被香茶陶醉时，被东天大仙乘机将了他一军，西天大仙输了。

这里正巧走来几位和尚，问两位大仙是何物如此清香，得知原来是香茶。东天大仙便罚西天大仙把茶种撒在这里，让这山坡上长出香茶，供人们享 用。只见西天大仙吹了口气，无数茶种纷纷撒落在山上。东天大仙接着吹了口气，许多泉眼也相继落在这里，涌出了泉水，泉水色白似乳，众人齐声喊道:“乳泉!”乳泉育仙茶，茶树旺盛生长，茶芽齐发，香气浓郁。后来众人都说，西山茶是仙人所赐，所以格外香甜。