有两种说法，其一便是相传此处是明朝张江陵故宅，张江陵即明代著名改革家张居正，万历十一年三月，神宗下诏夺去张居正上柱国封号和文忠赐谥，并撤其子锦衣卫的指挥职务。五月，张宅被查抄，饿死十余口，长子敬修自杀，三子懋修投井未死，保存了一条性命。神宗在刑部尚书潘季驯的乞求下，特留空宅一所，田十顷，以赡养张居正的八旬老母。家中人大多冤死，就开始传说有冤魂出没。
另外一种是说此处建会馆之前为乱葬岗子，后民国初年有佛山大贾斥资建义庄，雇一面如狮的麻风老者看管义庄，待老人在此居住之后，乱葬岗子原来的夜夜鬼哭和磷磷鬼火渐渐少了，直至老人无疾而终，因为其曾患麻风，面目骇人，从无百姓赶上前搭讪，老人的身份也永远成了迷…自老人死后，厉鬼重生，有行止不端或者不孝人家常见墙外无端扔来些石头瓦砾，并传来訇骂声，开门却杳无一人……
而且建国前后，湖光会馆内部还连续出了好几次命案，虽然政府很快便破案，但是更增添了湖广会馆内部的恐怖气氛，平时，特别是到了晚上，但凡对这里有所了解的人，从湖广会馆门前经过都是行色匆匆的，从来不敢多看。
按照老辈的说法就是，这里阴气重，有不干净的东西。