在今文昌路廣州酒家附近，原有一座「南海神行祠」，俗稱西廟（南海神廟的東廟在扶胥鎮），建于唐、宋時代，南宋時就有竹枝詞寫它：「大海更在小海東，西廟不如東廟雄。 」廟雖然有大有小，但奉祀的都是「南海廣利洪聖大王」。 那時還沒興拜媽祖，據說洪聖爺可保祐海不揚波，一帆風順，以前的出海船隻，都要先拜過他。
每年農曆二月十三南海神誕，西廟前都會舉辦廟會，這是一個萬民同樂的日子，龍騰獅舞，鼓樂喧天，附近民眾都趕來湊熱鬧，德興橋頭滿坑滿谷，各路大小商販更是雲趨鶩赴，擺開攤檔，高聲叫賣，招攬生意，五花八門的小商品令人眼花繚亂。 河湧兩岸如蜩如螗，如沸如羹。 清代詩人蔡士堯有竹枝詞詠德興橋的南海神誕：「萬派魚龍舞絳霄，喧闃簫管雜雲韶，愛他洪聖千秋會，賽過波羅第八橋。」
嘉靖五年（ 1526 ），監察禦史塗相在西關開挖大觀河，從十四甫太平橋通向下西關湧，經昌華街，接入柳波湧出珠江。 大觀河的開通，改善了西關的水路交通網絡，來往商船更多了，昔日偏僻的沙洲水鄉，變成黃金旺地。 《南海縣誌》說：「居賈行商，往來絡繹，脫遇風濤大作，則千艘萬舫，皆可以銜艫而入避。 」從「千艘萬舫」這四個字，可以想像當年荔灣地區的繁榮程度。
明代的稅課司設在今十三行路附近，辦理榷稅手續和發賣商品，十分方便。 洋商（貢使）入住懷遠驛後，受到熱情款待，大碗喝酒，大塊吃肉，概由官府負責，當然，實際上都是由行商埋單，這是繼承了宋代市舶司招待番商的傳統。
明代有一位文人，在廣州遊玩後，留下這麼一段記述：「廣城人家大小俱有生意，人柔和，物價平…… 以故商賈聚集，兼有夷市，貨物堆積，行人肩相擊，雖小巷亦喧填，固不減吳閶門、杭清河一帶也。 」這些有聲有色的文字，讓人在幾百年後閱讀，仍能感受到那種生機勃勃的氣氛：比肩隨踵的人流，扛的扛，挑的挑，負載著各種貨物，在街市上吆喝叫賣，討價還價，談論行情，全情投入地做著每一宗生意。
當時朝廷有嚴格的規定，洋人不許入城，更不允許在城內交易。 所謂「夷市」，必定是開在城外的，主要集中在城牆的西南角以外，也就是今天的濠畔街至懷遠驛之間。 番舶上的貨物，裝上駁船後，從西水關魚貫而入，然後各散東西，有的去濠畔街，有的去楊巷、十八甫、懷遠驛一帶。
春來冬去，星霜屢變，這些駁船就這麼搖啊搖，風也搖，雨也搖，搖出了一個財通四海、富冠天下的繁華地。
每當有番舶入港，駁船抵埗，蜆子步便立即變成人擠人、貨壓貨的交易廣場，準備參加拍賣的人群，雲集大觀橋頭，個個摩拳擦掌、延頸舉踵。 腰纏萬貫的，眼甘甘盯著那些山積的奇珍異寶；兜裡只有幾個銅板叮噹響的，也要鑽穴逾隙，尋寶撿漏。
西關成了「致天下之民，聚天下之貨」的寶地。 每年春夏之交，番貨「交易會」頻頻開鑼，不僅吸引三州六府的商人都來了，外省的商人也不遠千里趕來「淘寶」，大批苦力麇集碼頭，等候商人雇用搬運貨物。 西關的客棧愈開愈密，飲食店鱗次櫛比。 外省商人買地興建會館，官牙們也在附近修築庭園館舍。 由於人煙漸稠，官府在懷遠驛旁邊舉辦西南隅社學，以求培養人才、表正風俗。 生活在明初的詩人孫蕡在《廣州歌》裡「軻峨大舶映雲日，賈客千家萬家室」之句，便是描寫包括下西關在內的城西南外貿區的情景。
嘉靖年間，因為海盜猖獗，泉州、寧波兩個市舶司都被裁撤，只留下廣州市舶司，作為海上絲路的唯一通道。 五湖四海的貨品，紛紛長途販運至廣州出口，那時天下的行商坐賈，一說起「走廣」，便神來氣旺，仿佛那是發財的代名詞。 明末清初的學者屈大均在《廣東新語》一書裡，有一首竹枝詞寫道：「洋船爭出是官商，十字門開向二洋；五絲八絲廣緞好，銀錢堆滿十三行。 」這種目迷五色的場景，誰不怦然心動？
許多人以為屈大均是寫康熙開海貿易時的十三行，其實不然，他寫的是晚明的西關，比十三行時代至少早上百年。 因為，屈大均寫《廣東新語》時，正是清初厲行海禁之際，廣州海市陷於低潮，孫蕡《廣州歌》中的欣榮景象，早已盡成追憶。 即使在康熙開海貿易的最初幾年，也並不繁盛。 以屈大均對清朝的深仇大恨，斷不會為它唱讚歌。 這首詞明顯是在緬懷明代的繁盛，所說的「十三行」，是明代的三十六行。
明亡清興，兩王入粵，尚可喜從西門攻入廣州，在城裡大肆屠殺焚掠，但西關並不是「重災區」，從下面這件事，可以看到一點端倪：屠城悲劇發生才三年，即順治十年（ 1653 ），荷蘭派商船到廣州，停泊在虎門，要求通商。 當時包括廣東巡撫在內的許多官員都異口同聲反對，認為中國與荷蘭向不通貢貿易，「市貢之說，實未可輕許，以階厲也」。 但尚可喜卻認為通商有利財稅收入，同意荷蘭人進行貿易，而交易地點仍然定在懷遠驛。 由此可見，西關的海市，在改朝換代的動亂中，雖然停擺，但基本的功能都還在，未被破壞，因此當官府打算和洋人做生意時，它隨時可以運轉起來。
為了防範海盜和封鎖臺灣的鄭成功，清廷從順治十二年（ 1655 ）開始，先後五次頒佈禁海令，並強迫沿海人民內遷。 這就是在歷史上有名的「遷界禁海」。 來自番禺的上萬名疍民被安置在廣州柳波湧、泮塘、西村以及第一津附近，形成了一個新市鎮，人們稱它為「移民市」（宜民市）。 由於人口激增，衣食住行，需求龐大，必然帶旺商業。 這些人原來都是船上人家，不會耕種，只能做些小買賣，製作篙櫓之類的船上用具售賣。 時人這麼記述：「此輩網耕罟耨，不曉耕作，惟日售其篙櫓以糊口。 第一津前，晨夕貿易，罔非此輩，積久成市。 」
這是一個有趣的現象，下西關是中國海上絲路的重鎮，堆金積玉，財大氣粗，出入都是豪商巨賈。 清代中期以後，下西關至半塘一帶，成為許多富紳商賈興建私家庭園的首選之地。 據晚清所記：「同（治）、光（緒）之間，紳富初辟新寶華坊等街，已極西關之西，其地距泮塘、南岸等鄉尚隔數裡。 光緒中葉，紳富相率購地建屋，數十年來，甲第雲連，魚鱗櫛比，菱塘蓮渚，悉作民居，直與泮塘等處，壤地相接，僅隔一水。 生齒日增，可謂盛已。 」
而相距不遠的上西關，卻仍然是下層民眾的居廛市井，柴米油鹽，勞碌奔波。 他們也有自己的市場，在宜民市和「天晴踢著腳趾公，雨天變成泥湴湧」的爛馬路（今中山七路）漸次形成規模龐大的天光圩和舊貨交易市場。 上下西關唇齒相依，富人區與貧民區僅一步之遙，衡宇相望，甚至你中有我，我中有你，互相交錯，而各有各的生存之道。 整個西關地區，充滿了一派嘈雜的、流動的、活潑的生活氣息，構成了一幅活靈活現的「西關上河圖」。
這種現象，一直維持到民國。 從今天人民路的老騎樓建築，也多少可以看得出。 沿著這條路由南往北走，會發現一個有趣的現象，人民南路一帶的騎樓，外牆裝飾精雕細琢，繁複華麗，極富藝術魅力。 但愈往北行，騎樓的外立面就愈顯得粗糙單調。 中山七路在清末、民國是有名的貧民窟，大家都把它叫做的爛馬路，沿街都是售賣破爛舊雜貨物、黑貨、老鼠貨的檔鋪。 而長堤則是紙醉金迷的繁華鬧市，是殷商富人出入的地方。 兩地相距1500米，卻成為冷暖兩重天。 這又是不同街區有不同「磁場」的另一個例證。
自從明朝實行海禁之後，不斷有英國、葡萄牙、荷蘭等外國商船，叩響中國的大門。 這表明在中國人的視野範圍之外，世界正發生著一系列意義深遠的變化。 中國已經站在了全球化的門檻前，一個波瀾壯闊的世界即將在他們面前徐徐展開，並且邀請他們在其中扮演重要角色。 而荔灣則站在這個舞臺的最前沿。