他仍旧不好，曾几次要加害他，都被老牛设法相救。嫂子最后恼羞成怒把牛郎赶出家门，牛郎也只要那头老牛相随。
一天，天上的织女和诸仙女一起下凡游戏，在河里洗澡。牛郎在老牛的帮助下认识了织女，二人互生情意。后来织女便偷偷下凡，来到人间，做了牛郎的妻子。织女还把从天上带来的天蚕分给大家，并教大家养蚕，抽丝，织出又光又亮的绸缎。
牛郎和织女结婚后，男耕女织，情深意重，并生下了一男一女两个孩子，一家人生活得很幸福。但是好景不长，这事很快便让天帝知道，王母娘娘亲自下凡来，强行把织女带回天上，恩爱夫妻被拆散了。
牛郎上天无路，还是老牛告诉牛郎，在它死后，可以用它的皮做成鞋，穿着就可以上天。牛郎按照老牛的话做了，穿上牛皮做的鞋，拉着自己的儿女，一起腾云驾雾上天去追织女，眼见就要追到了，岂知王母娘娘拔下头上的金簪一挥，一道波涛汹涌的天河就出现了，牛郎和织女被隔在两岸，只能相对哭泣流泪。他们的忠贞爱情感动了喜鹊，千万只喜鹊飞来，搭成鹊桥，让牛郎织女走上鹊桥相会，王母娘娘对此也很无奈，只好允许两人在每年七月七日于鹊桥相会。
后来，每到农历七月初七，便是牛郎织女鹊桥