各有一条路，若是不愿绕路欣赏这迟麓山的美景，可直通山下。男院自南开大门，向阳，自南边的山脚上山，一路多高大水杉松柏之书，取其端方正直之意，亦如男儿的阳刚之气。女院自北开大门，背光，一路拾级而上，多池塘花柳，小巧精致，取其温婉秀智之涵，亦如女儿的柔婉之美。
两院之间，有两道高墙隔开，平时书院也派门人看守，故而多年来两院相安无事，并未曾闹出过最为忌讳的风月之事。
书院之中，两院规模并不相当，男学子是书院的主要生源，男子进学，优秀者可参加朝中举办的应试，若是再优秀的，入朝封官的也大有人在，是以时下，读书之风盛行，但凡家里有子的，勒紧了裤腰带也要供儿子进学。
而女学子，一不必担生计，二不必忧前途，是以入学之人，家中多为富庶。且相较于男院，女院的学子人数，是大大少了许多，教舍占地也少了许多，故而房屋墙瓦，檐下陈设，院落景致，都颇为精致，很有些男儿穷养，女儿娇养的意思。
迟麓书院山长之下，男女两院各有院首一名，请的是当地颇有声望的先生。当年定下这一任的男女两院院首之时，院中颇有微词。原因无他，女院院首赵崇赵先生，执教多年，虽从不入朝堂，不负功名，但其所教之徒