乾隆帝在旧行宫的基础上进行大规模扩建，仅用九个月的时间就在香山建成大大小小的园林八十余处，其中乾隆帝钦题并赋诗二十八处成为明噪京城的二十八景，乾隆帝赐名“静宜园”。香山、静宜园占京西“三山五园”中一山一园。1860年英法联军将包括静宜园在内的三山五园内的大量珍物劫掠一空建筑几乎全部焚毁。1900年八国联军再度劫掠一代名园瓦砾遍山几近荒废。
（5）在北洋军阀和国民党反动统治时期，香山的大部分风景区又被“达官贵人”、“军阀巨商”建为私人别墅，多处名胜封闭。1917年因顺直河北省水灾，在香山开办了慈幼局，收养男女灾童千余人。水灾过后，由清室内务府拨借香山静宜园，于1920年10月3日成立香山慈幼院，收养无家可归的灾童，熊希龄任院长。
1925年3月12日伟大的民主革命先行者孙中山在京逝世后，曾在香山碧云寺内停灵长达四年之久。移灵南京紫金山后，在这里设孙中山的纪念堂和衣冠冢供人瞻仰。
1949年3月25日，国家领导人在双清别墅工作和居住，在此指挥了著名的渡江战役，筹建了新中国。
1956年香山作为人民公园正式对公众开放。