嶺南人似乎特別喜歡拜鬼神，神靈的名目也特別多。古人說：“粵人佞神，婦女特甚，所有橋樑江岸、片瓦拳石，無不指為靈驗而神明事之。”南宋進士王像之在《輿地紀勝》中說，嶺南“士人遇疾，唯祭鬼以祈福”。 《宋史》也說：西南夷“病疾無醫藥，但擊銅鼓、銅鈔鑼以祀神”。明儒黃瑜在《雙槐歲抄》中則說：“南人凡病，皆謂之瘴。率不服藥，唯事祭鬼。”
這類記述，在古書中盈帙滿笥，多不勝數。甚至有時連一棵被雷劈掉半邊的榕樹、一口會冒煙的老井，甚至一塊形狀奇特的石頭，也會當作神靈來朝拜。有一首竹枝詞諷刺：“粵人好鬼信非常，拜廟求神日日忙。大樹土堆與頑石，也教消受一枝香。”但作為中國本土宗教的道教，最初傳到寶安時，便受到出奇的冷遇。
道教始於東漢，迨至兩晉時期，在嶺南已十分興盛，從廣州府到各個郡城，玄衣黃裳、祫幘袴褶的道士，多如過江之鯽，大搖大擺，進出公門，甚至躋身仕途，一邊煉丹，一邊做官。南海太守鮑靚就是一位道士，據說公餘常騎著一雙鞋子，在廣州與羅浮山之間飛來飛去。他的女兒鮑姑也是一位會飛的道姑。官私史籍（如《晉書》《神仙傳》《南康記》《南越志》《冥祥記》等）裡，會飛的道士很多，卻未聽說有谁愿意飛去寶安的。
廣州刺史鄧岳曾推薦鮑靚的女婿葛洪當東官太守，葛洪也是道士，自號抱朴子，名氣比岳父還大，人稱葛仙公，擔任過參軍、主簿一類官職，卻婉拒了鄧岳的好意，表示自己寧願上羅浮山煉丹，也不想去寶安。
不過也有例外。大名鼎鼎的孫泰就去過寶安傳教。但他是被朝廷流放去的，戴罪之身，輪不到他選擇。事實上，他雖有舌燦蓮花之功，卻也喚不起當地人對五斗米道的興趣，始終沒有凝聚成一股可資驅使的宗教勢力，以致盧循造反時，寶安一帶東零西散的五斗米道信眾，幾乎沒有起過任何作用。直到明、清時，寶安縣（當時已改稱“新安縣”）有幾十座大大小小的佛寺，但道觀卻寥寥無幾，這是一個非常奇特的文化現象。
與道教的際遇相反，佛教在南朝劉宋時，便順利進入了寶安。最早到達的和尚，人稱“杯渡禪師”，俗家姓名和出家法號，俱已失傳，甚至他是不是第一位踏足寶安的和尚，也有存疑待考之處，蓋因佛教在中國的傳播路徑，主要是從嶺南開始的。東漢建和元年（147年）前後，中國佛教史上第一個佛經翻譯家安世高漂洋過海，便是先到廣州，再赴江淮；中國第一位著書弘揚佛法的學者牟子，也是廣信人。佛教與道教同時興於東漢，在嶺南各擅勝場，擁有眾多信眾。但杯渡禪師的出現，是佛教第一次在深圳的歷史上，留下了雨跡雲踪，而且開枝散葉。
據古人的描畫，杯渡體型魁梧，膚色黝黑，長著一張方型臉，絡腮鬍子，雙目炯炯有神。如今在香港的青山禪院，還供有他的塑像。坊間相傳，杯渡的行為舉止，有點像民間故事裡的濟公和尚，瘋瘋顛顛，不拘細行，常坐著一隻木杯，飛渡大江大海，所以大家叫他“杯渡禪師”。
劉宋文帝元嘉初年（425年前後），杯渡禪師就坐著一隻木杯，敲木魚，唱佛號，從廣陵（今揚州）一直漂到了寶安。他在南頭待了一段時間，大概嫌這裡太熱鬧，元嘉五年（428 年）三月，他又跳上那隻平時藏在布袋裡的神奇木杯，乘風破浪，飛到了大海的另一邊。當他登岸時，只見大山橫亙，與海相倚。杯渡問一個樵夫這叫什麼山，樵夫說，這叫羊坑山（又名屯門山，即今香港青山，時屬寶安縣）。
杯渡登著一雙草履，拄著一根禪杖，一步一個腳印，渡過鹿湖，穿過桃花澗，攀上滴水岩，直上羊坑山頂。眼前豁然開朗，海面雲煙彌淪，晦明變幻無窮；大風八面而來，把袈裟吹得呼呼作響，像振翅欲飛的大鵬。他舉目四顧，萬壑如海，翻起滿目蒼黛，吊鐘花開滿一山，萬千小鍾，隨風起舞；海浪如山，蕩開萬頃茫然，天高海闊，龍潛魚踴。禪師不禁滿心歡喜，決定在此駐錫，築庵修行。他在寶安待了多久，史無記載，只知道他在這期間還到過附近的靈渡山，傳播佛法，最後不知所終。有人說他是從印度來的，又回印度去了；也有人猜他可能在羊坑山某個隱秘地方悄然圓寂了。
羊坑山上聳立著兩根巨型石柱，相距四十餘步，高五丈餘，有捫參摩井之雄，歷盡千百年風雨，巋然不動。杯渡禪師走後，這兩根石柱卻突然折斷。鄉人驚駭不已，哄傳當日有一巨鯨入海，尾巴掃過天空，碰到了石柱，一時間天崩地裂，石柱傾頹。民間故事，繪形繪色，口耳相傳，所表達的是對杯渡禪師的崇敬之情。
當年五斗米道的孫恩死後，寶安人沒有為他修建什麼紀念性建築，但對杯渡禪師卻另眼相看，不僅把羊坑山改名為“杯渡山”，又名“聖山”。還興建了一座“杯渡庵”，庵門額書“杯渡禪師”四個大字。庵前有虎跑泉，庵左有岩洞，深不可測，相傳是杯渡禪師初到青山時託宿之處，亦命名為“杯渡岩”。山頂有“高山第一”四個摩崖大字，據耆舊所言，是唐代大詩人韓愈登山遊覽後，留下的墨跡。其實韓愈並無到過屯門，這四個大字，是北宋時新界鄧族始祖鄧符所摹刻。
寺廟香火鼎盛，南漢時，狂熱信奉佛教的後主劉鋹於大寶十二年（969年，北宋開寶二年）賜封青山為瑞應山，命人塑杯渡禪師佛儀，以香花供奉。又把原來簡陋的杯渡廟擴建為規模宏大的杯渡寺，把杯渡庵、杯渡岩都囊括在內。這就是今天香港青山禪院的前身。清康熙朝的《新安縣志》，把“杯渡仙踪”，列為新安八景之首。
人們在杯渡曾經駐錫傳法的靈渡山（在香港元朗夏村側，時亦屬寶安），修一大佛扃。寺中有一口水井，相傳是杯渡禪師所掘，大家都叫它“杯渡井”。不少善信入廟上香之餘，都會飲一掬甘洌的井水，以沾佛慧。唐朝時寺名為“大雲寺”，宋朝時曾改為“碧霞宮”，清代至今為“靈渡寺”。經宋、明、清、民國多次重修，這座已逾一千五百歲的古老寺廟，至今依然完好，香火依然旺盛。山門外一副楹聯：“靈氣所鍾山獨秀，渡杯而至石猶新”；在二進拱門上，有清代狀元梁耀樞的題額：“道從此入”。
杯渡走後一千多年，即明代萬曆年間（1573－1620年），新安進士鄭文炳到屯門尋訪杯渡遺踪，寫了一首詩：“聞說禪踪此舊遊，一杯飛渡渺滄州。山前卓錫泉猶在，岩上懸枝鐘尚留。石柱高標千古勝，蘭花靜挹四時幽。登臨欲覓燒丹訣，翹首層巒紫氣浮。”所謂“岩上懸枝鐘尚留”，是指杯渡山上長滿了吊鐘花，但不知什麼緣故，這首詩把“燒丹”“紫氣”一類具道家色彩的物象，與佛教高僧杯渡扯到一起，可能山上也曾經有道士煉過丹吧。
寶安人不太熱衷道教，卻一秉虔誠地到杯渡寺、靈渡寺中上香、跪拜、祈禱，祈求風調雨順，家宅平安。年年歲歲，一代一代的香客，來了又去，去了又來。有些老香客今年還在兒孫攙扶下，顫巍巍地進廟上香，明年就消失了，永不再來了，但大雄寶殿內，又出現了幾多新香客的面孔。
就這樣，在信香寸寸成灰之間，多少六朝煙雨、大隋風雲，都被無情雨打風吹去。