位联邦参议员公开批评拉姆斯菲尔德，其中4位是属于共和党人，也就是现在布什这一派的。到了2006年的时候，他会遭到海陆空三军集体“bi宫”，4家军方报纸集体发表社论，要其下台。
而最终在2006年年底的时候，美国中期选举中，共和党不敌民主党的围攻，输掉了国会参众两院多数党的地位。民主党12年以来首次获得两院控制权。美国总统布什在对这一选举结果表示惊讶、失望和承担“大部分责任”之余，还向媒体公布了内阁重臣国防部长拉姆斯菲尔德“辞职”的消息。
拉氏已成为不受欢迎的伊拉克战争的“象征”，布什顺应民意撤换了拉氏。对于这样一个悲惨的结局，一向桀骜不驯的拉氏显得有些无奈和黯然神伤。但拉氏在白宫的告别讲话还是不忘展现其幽默的一面，他引用邱吉尔的话说：“批评让我受益匪浅，但我也决不会因为没有批评而痛苦。”拉氏同时意有所指地表示：“它（伊拉克战争）不被了解，它太复杂了，人们难以明白。”在拉氏离开白宫时，布什用手轻轻拍打拉氏的后背表示安慰。
拉氏两任国防部长，是切尼从政的启méng老师，布什撤换这样一个内阁重臣说明在未来两年里布什将不得不调整其伊拉克政策。
当