传说在很久很久以前，西山有一块巨的棋盘石，周围树木遮天，是避暑胜地，神仙也经常来此游玩。
有一日，东天大仙和西天磊仙来到此下棋，双方商定，输棋者要受罚，并且要答应对方一个要求。
两个人下了很久也不能分出胜负。这时都很口喝了，西天山仙便吹了一口气，变出了一杯香茶; 而东天大仙也吹了一口气，变出了一杯泉水。他们一个喝水，一个饮茶，非常开心。
西天大仙的香花十分清香，他被香茶陶醉了，东天大仙便乘机将了他一军，于是西天大仙输了。
因为西天大仙输了棋，东天大仙便罚西大大仙把茶种撒在这里，让这山坡上长出香茶，供人们享用。因事先讲好了规矩，就算西天大仙再舍不得，也只有依诺行事。
只见西天大仙吹了中气，无数茶种就纷纷撒落在山上。东天大仙见此，心想也应为天下百姓造福，便也吹了口气，许多泉眼也相继落在了这里。泉眼里涌出了泉水，泉水色白似乳，后来人们便称为“乳泉”。
乳泉育仙茶。从此，茶树旺盛生长，茶芽齐发，香气浓郁。人们都说因为西山茶是仙人所赐，因此格处香甜。
