人赴京请罪。杨坚下书慰问他，让他乘驿车回朝，把他老是安排在身边。杨坚代周建隋后，封尉迟崇为秦兴县公爵。
当时尉迟义臣还年幼，养育在宫中。不满二十岁，就已奉诏像千牛那样当侍卫几年了，杨坚给他的赏赐很多。杨坚闲谈时曾说到过去的一些朋友，看着尉迟义臣，嗟叹很久。因此下诏书说：“我刚受命登基时，群凶尚未平定，有识之士，有足可怀。尉迟义臣与尉迟迥，本同骨肉。尉迟迥既已作乱于邺城，其父尉迟崇当时在常山，统帅部队，既与尉迟迥相邻，又与尉迟迥是至亲。他知道逆顺的大理，认识天人的意思，就陈述丹心，担心被反贼牵连，于是自己把自己抓起来，请求到丞相府来。到北狄入侵时，他又横戈杀敌，轻生重义，马革裹尸。他的节操表现在生死之上，他的事迹贯穿于人间地下。即使是给他高官大赏，并让官爵延及于他的子孙，也不足以表彰他松柏一样的壮志，也不足以表彰他的节义门庭。义臣，可赐姓杨氏，赐钱三万贯，酒三十斛，米麦各百斛，把他编入杨门家谱，作朕的堂孙。”不久，授杨义臣为陕州刺史。
虽然在辈分上杨义臣乃是杨坚的孙辈，但从年龄上，杨义臣比杨坚也就是小十几岁的模样。
严格来说，他比杨勇、杨广兄弟还要更大