呢座山之前嗌過固崗、席帽山、象山呢啲名。明朝洪武十三年（1380年），由於廣州城要將宋三城合埋一齊，結果開發咗廣州城北邊嘅山，於是象崗一帶做咗嗰陣時嘅廣州北門。結果象崗同越秀山一分為二。因爲鑿咗座山，結果開闊咗大北外直街（依家嘅解放北路北邊），於是呢度喺明清兩代都係廣州城北邊嘅主要通道。到咗清朝順治十年（1653年），清軍響家陣盤福路、解放北路交界南邊無幾遠度起拱極炮臺同保極炮臺，噉樣夾埋附近嘅永康炮臺、耆定三炮臺一齊防衞廣州北邊。到咗20世紀中，呢笪地就劃咗畀軍區用；到咗20世紀70年代，咗山附近起曬大廈、舖頭，就得返個山頂。1983年，呢座山頂就畀人刨低17米嚟起公寓，結果就發現咗南越國第二代王趙眜嘅王陵。於是公寓就起唔成，而係投資五千萬起做西漢南越王博物館。
