杨广也一刻没有放松对智觊大师的拉拢。开皇十二年（592年）三月二十一日，杨广连修书三封，存问大师“道体如何”。七月一日，杨广遣主簿王灌往庐山参省问候，并送盐米，但愿智觊转意转意。但智觊却于八月八日西去南岳衡山，“修建功德”参拜恩师慧思之墓。杨广得知智觊远云，仓猝于十月旬日参书一封，云：“弟子渡江还，去月初移新住，多有冒昧，未善安立，来旨勖以法事，合用惭悚，始于所居外援建立慧日道场，安设照禅师以下，江陵论法师亦已远至于内援。建立法云道场，安设潭州觉禅师已下。”再次表示要请智到江都道场主持佛法，并催促说：“已别遣使迎延，愿预整归计。”十一月十五日，杨广再遣亲信伏达往潭州奉迎。但智觊未加理睬，于十仲春回到阔别二十多年的故乡荆州。一时“泮宫道俗延颈侯望，扶老携幼相趋戒场，垂里戴白云屯讲座，听众五千余人，旋乡答地荆襄未闻”。智觊即于当阳县玉泉山建立“精舍”，并重修十住寺，筹算在此长住久居。
但是智觊虽死力冷淡杨广，却也没有健忘操纵王者之力来创办佛事。他离江都时即给杨广写信，称“近年寇贼交横，寺塔烧烬，仰乘大力建立将危。遂使佛法安然，道俗蒙赖，清算经像到处畅通，诵德盈衢恩满路”，但愿杨广营建治葺古刹。杨广当即复书表示同意，称“废寺同于火宅，持钵略成空返，僧从无依，实可伤叹”。智觊登上庐山，又述东林寺“羡玩忘劳”，然山下伽蓝偏近驿道，行人归去颇成稠浊，要求杨广命令寺边“永禁公私停靠”。杨广晓得后当即交代有关方面“勒彼州令去公私任务，不得停止”。就如许，师徒二人各有图谋，相互操纵，手札来往不断，大要看来仿佛已成莫逆之交。
智觊大师我行我素，傲慢地回绝晋王杨广的“累书延屈”，当然使晋王大丢面子，但杨广也并未激愤，表示出极高的政治素养和极大的耐烦。智觊阔别江都而入荆湘意在摆脱晋王的节制，但终不能摆脱大隋政权的监督，阔别晋王却也使智觊难以获得晋王的政治庇护。时杨坚在旧陈荆州等地设置的总管府，虽说总归晋王节制，但实际上是直接服从于朝廷，“总管刺史加使持节”，具有很大的权力。如令狐熙为桂州总管十七州诸军事，即有便宜处置之权，能够朝廷名义任命刺史以下官吏，杨广号令所达地区实际上仅限于扬越一隅。
于荆州法集，听众一千余僧，学禅三百，州司惶虚，谓乖国式，岂可集众，用恼官人。胡朝同云合，暮如雨散，设有善萌，不获增加，此乃世调无堪，不能和谐所得。
法会竟被处所官勒令闭幕，足见其事之严峻。时江南平叛不到两年，隋对旧陈遗民气存鉴戒，曾多次命令收缴兵器，直到开皇十八年（598年），还命令制止“私造大船，因相聚结，致有侵害，其江南诸州，人间有船长三丈以上，悉括入关”。智觊“因相聚结”了一千余僧，外加学僧三百，而未经官方同意，天然“有乖国式”。特别是智觊先前与南陈君臣干系密切而不附隋朝，隋处所官员恐怕他以宗教名誉聚众谋反，他的自在布道又怎能不使“州司惶虚”。能够必定，斥逐智觊的法律是处所官依法行事，而决不是秉承晋王的号令。为了寻求政治庇护，智觊写信请杨广做玉泉的大施主，杨广再次表示同意。杨广后又写信给荆州总管达奚儒，请他对智者及所修玉泉寺多加关照。