廣州的城牆是經過很多個朝代，逐步建成的。趙佗與任囂都是看中了同樣的東西，才在同一個地方建立自己的基業。越王城與任囂城一樣，至今沒有找到它們的城牆，顯然是打算以文溪與珠江作為城池的屏障。
趙佗城向西擴張，推進到西文溪畔，以西文溪為護城河。而城東則推進至芳草街附近，這裡也有一條水湧。以前文溪流經豪賢路時，確有一條支流分出，沿豪賢路東行，橫過德政路，匯入東涌。現在的東濠涌，就是利用一條原有的溪流，加以拓寬和挖深的，這是最節省成本的做法。
那麼，廣州是從什麼時候開始築城牆的呢？ 2000年夏季，西湖路興建光明廣場時，在地底五米處發現了一個排列有序、呈“八”字型的大型木結構建築，考古學家斷定是一座西漢水關遺址。所謂水關，是穿過城牆以通城內外水的閘門。也就是說，西漢廣州已經有城牆了，南越國也屬西漢，這個水關到底是南越國的，還是南越國之後的？由於年湮世遠，缺乏原始的文字記載，已無從知道了。
1996年至1998年，因建設地鐵一號線，在中山五路南側發掘出一段16米長，呈南北走向、分別修建於東漢、東晉和南朝三個不同時代的城牆。
東漢城牆為夯土牆垣，夯築19層，每層之間以草莖鋪墊。夯土中還發現了大量漢代的板瓦、筒瓦和陶器殘片。
東晉城牆是在東漢牆體基礎上擴寬，夯築加固而成，用紅黃色網格紋磚包邊。夯層中發現有青釉瓷器殘片。在外牆基部的磚塊上，發現有“泰元十一年……”的模印字樣。泰元（太元）是東晉武帝司馬曜的年號，十一年即公元386年。
南朝城牆在晉磚牆兩邊填土擴寬，砌磚包邊。在南朝城牆西側發現唐代路面殘痕，東側發現宋代水池遺跡。考古學家據此推測，唐、宋時這道城牆已廢棄不用了。
這是在廣州首次發現漢代城牆。而且三個時代的城牆套合修築，時間跨度超過500年，在全國也是非常罕見的。
1972年7月，在越華路與廣仁路交匯處發現宋代子城西城牆遺址，呈南北走向，牆基底舖一層長方形和梯形的紅砂岩石塊。上面砌磚牆相夾，中間填塞碎磚和泥土。在一些牆磚上，刻有“水軍修城磚”和“水軍廣州修城磚”等戳印，可知是當時廣州水軍所造。在一牆磚上又發現有“番禺縣”三字。
1998年2月，在越華路與倉邊路交匯處的銀山大廈建築工地上，發掘出兩段走向與年代均不相同的城牆遺址，在發掘區西側一段呈南北向的是唐代城牆，修城磚塊大而厚實。磚壁發現有“番禺修城大條磚”等磚銘。這是廣州市首次發現的唐代城牆，從方位推測，應為唐代東城牆遺跡。
南側一段呈東西向的是宋代城牆，牆磚上發現有“修城磚”“景定元年造禦備磚”等磚銘。景定是南宋理宗年號，元年即公元1260年。這段城牆應為宋代東城北牆的遺跡。
南北兩宋，前後凡319年，廣州城經歷大大小小十幾次擴建和修繕，是有史以來最頻密的。北宋1008~1016年，邵曄任廣南東路經略使時，“鑿濠為池，以通舟楫”，人皆稱便。廣州才開始有了真正意義上的“濠”。
北宋1044年，廣南東路經略使魏瓘在東面修築了子城，又疏浚東江門，鑿東西澳建水閘，每天定時啟閉。 1049年，儂智高率眾造反，圍攻廣州五十多天，子城固若金湯。朝廷論功行賞，認為魏瓘築城有功，遷升至工部侍郎、集賢院學士，复知廣州，兼廣東經略安撫使，給禁卒五千，聽以便宜從事。雖然受到朝廷嘉獎，但魏瓘卻把頭髮都熬白了，他在詩中嘆道：“誰言嶺外無霜雪，何事秋來亦滿頭。”
後來經略使呂居簡、轉運使王靖再重修東城，子城併入。 1068~1077年，由於廣州商貿興盛，珍貨山積，經常受到盜匪的光顧，動輒殺人放火，令商人損失慘重，經略使程師孟便大興土木，修築西城，以防盜賊。 1153年，經略使方滋重新修葺中城、東城和西城，從此，廣州有了“三城”之稱，“週三千七百九十六丈，計一十五萬一百九十二步，高二丈八尺，上廣二丈，下廣三丈五尺”。
1210年，經略使陳峴又在城東南與西南各修築雁翅城，以加固南面的城防，形成了中、西、東三城加兩翼城的格局。宋城南至今大德路、文明路，東至今芳草街附近，北至東風中路。
明代三城合一時，沿今盤福路至廣州市第一人民醫院修築城牆，1563年，明總督吳桂芳主持在南城外加築外城，因為外城臨江，就沒有再鑿濠了。 1647年，清總督佟養甲築東西二雞翼城。其後除維修倒塌的城牆外，再沒有築新城牆了。廣州的城牆修築史，至此告一段落。
從有文字記載的周秦算起，廣州的築城歷史，大約可以依次分成這麼幾段：南武城（傳說）、任囂城、趙佗城、越城、番禺城、南城、子城、東西南甕城、東城、西城、雁翅城、雞翼城。
廣州城牆的具體位置，從今天的馬路可以找出痕跡。越秀北路、文明路、大南路、大德路、人民路都是在原城牆基礎上建的，城牆到市一醫院，從今天市一醫院中心大道穿到盤福路，穿過解放路上越秀山，連結今越秀山上的一段城牆，從東邊下，連結越秀北路，這就是廣州城牆的範圍了。另外，也可以從濠的走向看。所謂濠，就是護城河（湧不是護城河），建在城牆外。廣州有東濠、西濠、玉帶濠、南濠（在海珠路，由此也可以看出城牆曾在此，其後才擴張至人民路）。
昔日有一條寬闊的河湧從蘭湖（今流花湖）向南，經今醫國街、盤福路到東风西路一帶。東邊是高聳的城牆，在盤福路與東风西路交界處是北水關，即城裡六脈渠的一個出城口。河湧到了東风西路，即以接近90度角轉向西面，出北水關，然後再以近乎90度角轉向南面，在第一津接通西濠，直下西堤。
明1556年來過廣州的葡萄牙多明我會士克路士，在他的著作中描述了他在西城外看到的廣州：
這座城（其他城也一樣）沿江築城，很像是在濠塹之內，因為城的另幾面是被一條灌滿水的寬大濠塹圍繞。這條濠和城牆之間有足夠的地盤，可集合一支大軍。挖掘濠的泥土堆在它和牆之間，因此牆根部比其他地方高出許多。不過在濠以外此城仍有一大缺點，那就是在河對面岸上，城牆和濠之外有一個可俯視牆內全城的山頭。 （《中國志》）
這位葡萄牙人所處的位置，顯然是在第一津附近，他在文中還提到，在河對岸可以看見城裡有一座漂亮的高塔，那就是六榕花塔。他說的山頭，應該就是第一津與蘭湖之間的西山了。
廣州的城牆有多高多厚呢？清順治年間，平南王尚可喜、靖南王耿繼茂，受命南征，史稱“兩王入粵”。 1649年，清軍圍攻廣州，南明軍民堅守孤城長達九個月。尚可喜在景泰坑鑄造六七門紅衣大砲，架在西山上，往城裡日夜猛轟，光孝寺後面的城牆被轟塌了一大截，但還是攻不進城裡。據克路士的記述，廣州的西城牆“城門宏偉高大，堅固而構築良好……城門牆厚有十二步，城門從上到下包有鐵皮。”（真的？假的？ ）根據歷史記載，清代廣州城牆全長約9700米，高約7.6米，寬約6米。
從歷史上看，工商業發達的城市，大抵屬拆牆派；而以政治歷史聞名的城市，則屬保牆派。北京的城牆是1949年以後才拆的，還引起了激烈爭論；天津、上海、廣州這些沿海城市，很早就開始拆城牆了。 1905年前後，上海和廣州有人提出拆城牆的動議，招來國粹派的反對。後來上海搞折中，在城牆上開鑿了許多小城門，方便出入，而廣州則把南面的城牆拆了。廣州生意以珠江水路為主，先拆了南城牆，方便交通。
1918年以後，廣州開展大規模市政建設，城牆被全部夷平了，利用城牆基開闢馬路。