乎也并没有得到家传的熏陶，倒是对文学艺术有着浓厚的兴趣，琴棋书画非常的精通。那时，南方道教盛行，修仙炼丹的方士无数。常嗣庭也受到影响，可痴迷并不是长生之类的方术，而是幻术。在他看来，幻术不仅仅是障眼法或者迷魂香那么简单，背后有个庞大的体系。他也一直期望自己能搞清其中的秘密。
那时候，常家在巫祝五姓中，正处在真正的低谷，南宋朝廷里，贾家当道，权倾朝野，而自古与贾家恩怨纠葛极深的常家，自然得不到重用，还经常被陷害污蔑，不得不隐姓埋名，举家迁到了湖北一带隐居。
对于常嗣庭吟风弄月，沉迷道术，老家主也就睁一只眼闭一只眼，随他去了。常嗣庭不到二十岁时，已经开始了自己的游历生活，最远一直过巴蜀，进了当时的大理国。而我在家谱中看到的关于被莫名其妙带走，一夜千里的案例，大多也是他记录下来的。
最早的记录还是他在临安时，听一个朋友讲起，城里发生了一桩奇事。有个卖炊饼的老汉，不慎摔断了腿，家里只靠婆娘和女儿做些缝缝补补的活计维持。但老汉信佛，每个月都要去城外的一座禅寺祭拜，但腿坏了，出不了门，就只有在家里供了个像，可还是每天唉声叹气，恨自己的腿不争气。
忽然