介石，并认为他口出狂言，有乱军心的嫌疑，便从此不再重用，只留他在官邸修身养性。
1945年，国民党兵败台湾之际，恰逢南京政府建都至此刚好22年，蒋介石想起当年李云风的那一卦便差人请他同去台湾。无奈李云风已南下香港，只给蒋介石留下了一句话：余脉南龙，一息尚存。
初入香港，李云风就过起了隐姓埋名的生活，在街头巷尾摆摊以靠给人测字算命取名为生。香港重传统，这李云风算卦测字又是极准，一来二去就有了“赛神仙”的名号。名头一大，事儿就多，当年潜伏在此的国民党残部也找到了他，并要押送他回台湾。李云风为避政治，便把心一横，遁入空门，做了个再也不管世事的道士，从此世间只有玄谷道人，再无李云风。
自那以后，李云风便在一处小山坡搭建了个小道观，每日以青灯道文为伴，但来求事之人依旧踏破了门槛。这位玄谷道人立了个规矩：每个月只算一卦，但有要求：不问政治。
仅是如此，那道观之中依旧每日是人声鼎沸，来访民众上至达官显贵，下至平民百姓每天多达百人，只为沾点那“塞神仙”的“仙气”。后来这位玄谷道人索性再改规矩：半年算一卦，即便如此，人们的热情依旧不肯消退，甚至他的名声还传到了东南