后来徐氏登门拜访倪云林，晚上留宿在倪住处，这让倪十分不放心，他担心朋友把他的屋子弄脏，以至于失眠。夜半时分，倪听到徐氏咳嗽了一声，这可把他急坏了，一宿都睡得不塌实。第二天一早，他赶紧让仆人寻找痰迹，仆人找遍了屋里屋外都没找见，又怕他打骂，于是找了片烂树叶来糊弄他，当作徐氏前晚的“罪证”。倪云林捂着鼻子，闭着眼睛，命仆人把树叶丢到三里地之外，还让仆人扛水洗树不止。真是把名人的矫情做到了极致。徐氏见此状，只能悻悻离去。这个精彩的故事经由画家傅抱石生花妙笔，变文字为图像，更加栩栩如生。
不过，就算是再爱干净的人，总是要进厕所的。倪云林家的厕所自然很不一般——厕所下面有木格，中间塞满鹅毛。方便时，污物落下，马上就被飘起来的鹅毛覆盖，一点异味都没有。
因为洁癖，倪云林对女色很克制，竟然单身了大半辈子。有一次他看中了一位歌妓，于是带回家来过夜，但又怕她不洁，于是让歌妓洗澡。洗完以后经过严格检验，还是觉得不干净，要她再洗，洗来洗去，天都快亮了，他也只得作罢。
女人不干净，权贵、金钱在他眼里更是不干净。太尉张士诚的弟弟张士信，派人送来绢和金币求画。倪云