慧能离开宝林寺之后的行踪，之所以在王维处无以记，在柳宗元处语焉不详，乃是因为慧能当时的南返最重要的是要保命，其行踪越隐蔽越好。当时传递信息渠道稀缺，所以在很长时间内，慧能的行迹恰如柳先生所说的“人无闻之”。但是随着时间的推移，特别是慧能在广州法性寺再度现身，并正式确认了六祖的地位之后，关于他那失踪的十五年究竟待在哪里的答案，还是可以散见于不少的历史典籍中的。比如在元本《坛经》中就记载了一个很重要的线索：慧能在离开湖北黄梅时，五祖弘忍曾经送给他八字箴言：“遇怀则止，遇会则藏。”
　　后世人解读这一机语，揣摩其中的含义是：“遇到叫怀集的地方就应该停止逃遁而居留，遇见叫四会的地方也可以躲藏和歇息。”此种揣测在唐代之后的典籍中数次出现。《曹溪大师别传》中记载：“能大师归南，路至曹溪，犹被人追逐，便于广州四会、怀集两县界避难”；南唐静、筠二禅所撰的《慧能和尚传》中也说：“能难返后隐四会、怀集之间”。
　　怀会大地一些上了年纪的老人家眼中的千古谜团，在他们眼里根本不是问题。因为他们从小就是听着有关慧能的典故传说长大的，而跟六祖有关的诸多遗迹也就存在于他们的周围：慧能逗留过的一间小屋、他歇息过的庙宇、他曾经在其中打坐的石室、抑或是拍打过草鞋上泥泞的“打鞋石”……无论是真实的典籍记录，还是一代代的口耳相传，都使得他们深深地相信，慧能在“江湖”上消失的十五年，就生活在他们的中间……
    上爱岭上六祖岩

　　我们可以根据这些散见的典籍以及流传乡野的传说，为当时逃亡的慧能整理出一份大致的线路：
　　他先是来到了四会和清远交界处的灯盏岭，在龙甫镇营脚一条名叫“上林铺”的村落脚。在村民的帮助下，他在半山腰平坦之处用坭墙杉瓦建起了一间小泥屋，住了一段时间之后，乘小筏沿着河溪逆流而上。这一趟路程的终点是怀集。目前在怀集县城里保留着一口六祖井和一座六祖庵，相传是慧能曾经驻足的地方。
　　然而，慧能南下的首要目的是躲避追杀，随身还带着五祖弘忍所传的袈裟金钵，所以他稍作停留后继续沿南溪逆流而上，行至怀集高岭下的三江渡口，过渡后往西北方向而行。最后，他的目光锁定在西北方向一座云雾缭绕的大山上。这座山的名字叫上爱岭。怀集县志中如是记：“五祖传衣钵与慧能，密嘱能速去，恐人害之。乃潜至上爱岭石室栖迟。”而所谓“石室”，在上爱岭的峰顶。
　　上爱岭位于今天怀集县城的冷坑镇，隐藏在万重峰峦之中。因为刚刚下过雨，崎岖的山路泥泞无比，从山脚爬到山顶，大概需要近一个钟头的工夫。到了山顶，看到的美景却让人觉得不虚此行。而最引人注目的一个由三块巨石自然叠成的巨大岩洞。这个高约6米，宽约10米，面积大约20平方米的空间，正是县志中记载的“石室”。事实上，这是一个半开放的空间，最上面一块巨石自西向东伸突三米多，形成一个坦荡如砥的天然遮盖。“这真像一个天然的‘朗香教堂’！”
　　最早这座岩洞叫‘龟嘴岩’，它的形状很像一个突出的龟嘴。大概从唐朝末期，当慧能如“潜龙出海”一般在广州法性寺现身之后，他曾经在龟嘴岩顿悟禅学的事情逐渐传开，“龟嘴岩”开始被当地百姓改名叫做“六祖岩”。在当地居民看来，石室确有“神性”。比如，这里冬无严寒，夏无酷暑，端坐于石室，清风过耳，俯视山下，你会看见如八卦阵一样布局的田畴村陌隐约可辨。这里位于高山之巅，山高、林密、人稀，却和人间烟火保持了一个可相互关照的距离，十足是一个冥想悟道的绝佳场所。
　　如果有时间在上爱岭四周转一圈，你还会发现许多的奇石，当地人笃信这些石头全部和慧能有关。他们给这些石头起了有趣的名字，比如“大师石”——那是一块很像是用来打坐的石头、“无字碑”——方方正正的一块碑石，但是上面没有只言片语；还有“晒袈石”、“木鱼石”……仿佛在慧能转身离去之后，它们也在瞬间凝固成了历史。