老家伙加入问天楼，还是当初他被徐福从方士门里面踢出来的时候。当时他受门下弟子们的奉养，虽说不是方士了，但是风光比他做方士的时候差不了多少。而且由于归不归之前的名声，还时不时的有各国国君、诸侯请他主持各种法会。
其中一次，周天子祭天，请了归不归前去观礼。就在祭天仪式当中，归不归认识了一个齐国的术士，交谈了几句之后，老家伙竟然和这个术士一见如故。祭祀之后，回到了馆驿之中，这个齐国术士安排下了酒宴。两个人一边吃喝一边高谈阔论起来。
酒喝到酣处，齐国方士突然话锋一转，邀请归不归加入一个叫做问天楼的门派。严格说起来，问天楼算不上什么门派。里面的人各个门派的修士都有，他们更像是一个比较松散的组织。而这个齐国方士是楼中某一层的主事之人。
当时，归不归喝的已经不少。迷迷糊糊之间，借着酒兴答应了齐国术士。当天，他喝的酩酊大醉，还是被那齐国术士搀扶着回到了自己的房间。等到第二天中午他酒醒之后，听说那个齐国术士一大早便离开了馆驿。本来就是萍水相逢，老家伙也没有在意。在馆驿白吃白喝了几天，这才带上了周天子的谢礼赶回自己家。
归不归回家之后不久，那名齐国术士再次到访。除了五色礼物之外，他还送给了归不归一块玉牌。这块玉牌的正面是一座高耸入云的高楼，背面是一个用甲骨文写的‘三’，归不归不明白这是什么意思。经过这齐国术士的解释之后，才想起来当初他应邀加入应天楼的事情。
当时归不归也不觉得这算件大事，再说了，每层的主事之人每年都会得到一笔不小的财物。如果需要炼制什么法宝、丹药时需要的天材地宝，问天楼也会群里帮助找寻。这样的便宜如果不沾，那就不是归不归了。
收起了玉牌之后，归不归这才想起来向齐国术士询问这问天楼的楼主是哪位有名的修士，以及问天楼到底是做什么的。想不到的是，这位楼主的身份就连这个齐国术士都说不清楚。不过那位楼主大人似乎对归不归很感兴趣，过不了几日他会亲自登门拜访。有关问天楼的事情，还是他亲自来说的好。不过这一等就是大半年，问天楼主没有等过来，反倒是他最不相见的徐福到了……
半年多之后的一天早上，徐福独身一人进了归不归的宅子。这位大方师用了术法，除了归不归自己之外，谁也没有发现他的存在。
见到了归不归之后，徐福直接开门见山。询问他是不是加入了问天楼，就在老家伙百般抵赖的时候，徐福已经将写着花名册的竹简丢给了他。竹简上面除了楼主之外，还有三十二个名字。归不归的大名出现在首行的第二位，第一位也是当时一位了不起的修士。
反正上面归不归三个字不是自己写的，就在老家伙准备抵赖的时候。那边徐福后面的话已经说完了：“昨天傍晚，除了你和那位谁也没有见过面的楼主之外，所有的人已经全部毙亡。这些人意图借周天子的势，控制天下各国……昨日之前，已经有五国的王公被他们操控。如果不是其中有人走漏消息，一个月之后，天下已经为问天楼掌握……”
听到事情这么严重，归不归也不敢再还嘴。后来听说方士一门当中也有人加入了问天楼，这些人违背了方士不可干预国运的铁律，都被徐福逐出了门墙。因为这件事情太过严重，徐福担心走漏风声，就连他的大弟子广仁都没有透露。昨天晚上徐福连同几个大门派的门派之长一起，将那参与事件的三十一个人全部诛杀。事后，在其中一个齐国术士的家里，看到唯一一本花名册上看到还有归不归的名字，这才赶过来询问是怎么回事。
看到隐瞒不住之后，归不归少有的一五一十将事情的缘由说了一遍。他说的和徐福查到的差不多，知道这个老家伙只是贪图问天楼里面那点好处之后，徐福这才算放过了他。要不然的话，就凭着归不归排在问天楼前三的名字，哪怕他已经不是方士门人，也难过轮回了。后来听说徐福一直在追查那个神秘的问天楼住，不过一直到他东渡出海，也没有再发现这个人的下落。