新以泰是由番禺人鍾錦泉於清咸豐十年（1860年）創辦的一家文化用品店，最初叫“新以泰文房四寶店”，設在惠愛八約（今中山四路榨粉街口西側），經營毛筆、玉扣紙、印泥、墨硯、簿冊、賬冊、信箋、信封、鎮紙、筆筒、通書、冥鏹一類商品。其規模不大，與一般商店無異，前店後廠，設有毛筆製作工場和印刷工場，以自產自銷為主。
新以泰的商品以質優價廉、商譽卓著取勝。他們是怎麼做到價廉的呢？就是精打細算。他們每購進一批紙，都按厚薄進行分揀，厚紙在門市零售，薄的用來印刷，切下來的紙頭紙尾用來做冥鏹，最後剩下的碎紙賣給建築工地做“批盪”用。一批紙進來，幾乎沒有一點浪費，所以能夠節省成本，降低價格。新以泰的出售的學生作業簿，可以按學校要求的規格印製，並在封面印上不同學校的校名，因此很受學校歡迎。附近八桂、禺山、嶺僑、開越等中學及中大附中的作業簿，都交由新以泰印製。中山醫學院、華強、圖強醫院和許多船務行也都是新以泰的老主顧，所有票據、表格統由其製作。
抗日戰爭勝利後，新以泰由鍾錦泉的孫輩鍾華主持。他的表叔胡金昌，在中山大學理學院數學天文系當教授，畢業於美國加利福尼亞大學，獲得學士、碩士、博士學位，並得過三枚金鑰匙獎，他覺得“新以泰”這個名字，與英文“Sunlit”相近，英文意為陽光普照，應該與更有陽剛之氣、更有活力的體育事業相關聯，而不是冥鏹一類陰沉之物。所以新以泰應該經營體育用品。這個建議得到鍾華的採納，胡金昌大筆一揮，為其題寫了“新以泰”的藍底紅字新招牌。
1949年，新以泰全店營業面積只有25平方米，工場180平方米，店員25人。經營商品仍然以文具為主，但增加了一些小件的體育用品，如毽子、跳繩、乒乓球、羽毛球、網球、足球、籃球、象棋、軍棋、圍棋、國際象棋以及玻璃彈子等。儘管如此，1950年由朱光副市長主持召開廣州市第一屆體工會議時，還是把鍾華作為特邀代表。這促使鍾華下決心把新以泰辦成全市最大、品種最齊全的體育用品商店，推動廣州市體育運動的發展。從1952年起，新以泰全部改為經營體育用品。
新以泰的商品，主要是供大、中、小學學生使用的體育器材，如鉛球、鐵餅、單槓、雙槓、籃球架、槓鈴、啞鈴、標槍、跳箱、“山羊”、乒乓球、羽毛球、球檯、球網、運動衣褲等，註冊商標為紅箭牌。可以按用戶要求生產特殊規格產品，製作各種膠球時可粘印上學校、班級名稱、編號，方便學校保管。新以泰提出“實斧實鑿，不折不扣，不以虛偽號召，全心全意為人民服務”的經營宗旨，其產品在20世紀50年代已成為廣州市各大、中、小學校採購體育用品的首選。
當時在中國市場比較暢銷的籃球是上海永字牌和廣州健身牌的膠球，都是採用膠膽皮面縫線，1950年，鍾華聽說美國有一牌子叫麥堅利的籃球在香港出售，這種籃球不用縫線，性能很好，便去香港想買一隻，但價錢很貴，捨不得買，他就天天往商店跑，琢磨這種籃球的結構，直到徹底摸清為止。回到廣州，鍾華與工人一起研製，用了幾個月時間，成功製造出我國第一隻無金屬充氣裝置、不用縫線的膠膽皮面籃球。投入生產後，價格僅為進口的五分之一。經過試用，質量符合比賽標準，因而備受體育界歡迎，一直沿用至今。
20世紀50年代初，蘇聯體操代表團與中國技巧運動員在中山紀念堂表演，鍾華前往觀看，把蘇聯代表團的全套體操運動器械拍成照片，陳列在新以泰店內，吸引了不少體育工作者前來參觀，要求訂造。鍾華隨即組織仿製，供各體育團體和學校使用，促進了廣州市體操運動的廣泛開展。
鍾華還與商店旁邊的開越中學（今廣州廣播電視大學址）商量，把商店後面加工場與學校操場之間的圍牆拆掉，由新以泰免費提供籃球架、籃球、單雙槓等一批設備，並配套了跳高、跳遠沙池等等，用來舉辦一些體育比賽。這樣既擴大了商店的影響，也為市民提供了一個參與體育活動的場地，一舉兩得。鍾華甚至在自己家裡放置乒乓球檯，讓愛好者上門練習。還經常邀請一些體育工作者在家裡聚會，了解運動員對器材、服裝的各種要求。
1956年，新以泰實行了公私合營，成為國營企業。 1959年，在北京路財廳前又開了一個門市部。 “文化大革命”期間，該店一度改名為“廣州體育用品商店”，至1972年才恢復原名。 20世紀80年代，新以泰把保齡球首先引進到廣東各地，也是國內健身器市場的發端者，中國第一套聯合健身器就是新以泰研製出來的。 1987年，新以泰在原址中山四路建起了高達12層的營業大樓，面積近3000平方米，改稱為新以泰體育用品公司。當年第六屆全國運動會在廣州召開，新以泰是全市唯一被指定為大會服務的商店，為全運會趕製了手球球門、乒乓球賽場擋板等一批器材。為此，大會組委會還專門來函表揚致謝。
新以泰體育用品公司設有零售兼批發的三個商場，分別是鞋服商場、綜合商場及器械商場。主要經營國產及國外各類體育用品，文娛用品，專業運動服裝，專業運動鞋，健身器材，大型運動器械，運動體育設備，各類球場設計安裝及新增桑拿，蒸汽設備，桌球系列，弓箭用品等。老一輩廣州人記憶中的新以泰，已經漸行漸遠。