酒宴结束之后，司马相如派人用重金买通卓文君的侍女，通信殷勤，既而成功引得文君与他私奔，当夜带她离开临邛，回到成都家中。
到了成都，卓文君才发现，司马相如家中一贫如洗，只有四面墙壁（“家徒四壁”这个成语的原始出处）——所以，他之前进临邛时所乘的车马，应该就是所有的家当了，就这个还是演戏的必备道具。
一步步细细推敲下来--这原本就是一出精心设计的骗局，意图骗到卓文君，进而谋取卓氏钱财。
但问题是--作为富甲天下的商人，卓王孙可不傻。
卓王孙听说自己的女儿私奔司马相如，而且，两个人已经离开临邛回了成都，气急败坏。不过，他是十分冷静的--或许早就看出了司马相如的算计，于是，态度强硬地--虽然女儿这么不争气，我不忍心杀她，但妄想从我这儿分到一个子儿！
司马相如大约也没想到卓王孙这么决绝，真忍心娇生惯养的女儿跟着他受穷--但是，他有足够的耐心，也足够厚颜。
文君自幼长于豪门，日子一久，终于，她忍无可忍，对司马相如说：若是我们一块儿回临邛，就是向我的兄弟们借点钱，也足以维持生计，何苦在这儿受穷呢？
司马相如等这一天估计已经等了太久