只是这一切等到继母进门就变了模样，养着还是养着，只是慢慢的没那么精细了，于是林子安就时常生病，不过这也还好，林家总不缺这点药钱。
可是等到继母生下了儿子，情况就急转直下，继母借口长子克母，怕会克到嫡亲的弟弟，想要把林子安挪出去。
当时，林子安只有5岁，林父还有点不愿意，但耐不住继母的劝说，他也怕长子会克到健康的幼子，于是也就答应了。
当天，继母就让人把林子安送到寺庙来了，还瞒着林父把伺候的人撤走了，只留下监视的人，防着他跑回去。
一开始，林子安是跟着老和尚住在庙里的，老和尚会点医术，平时给林子安调养调养，偶尔也教教他。
林子安聪慧，靠着自学和问庙里的师傅，就把医术学的七七八八，还琴棋书画无一不精。
老和尚爱才心切，也不想这个孩子小小年纪就蹉跎，于是给林父写了信，大肆夸赞一翻，意思是希望林父能把他带回去好好教导。
林父接到消息欣喜若狂，这些年一直为蠢笨不可教养的幼子烦心，深怕自己这一脉无人可继承，没想到病弱的长子有此造化。
他连忙派人接林子安回去，还亲自安排了继承人的院子给他居住。
继母狠毒，为了保住自己儿子的地位，给当时只有12岁，被老和尚养的纯真善良的林子安下了虎狼之药，为了掩盖自己做的事，还对外宣称，林子安得了极易传染的病。
林父恼怒不已，可是大夫们都说无药可救，只好叹息一声，放弃了。
长子已经废了，不能再传染了幼子。
于是林子安再一次落到了继母的手里，被继母又送到了寺庙，只是这次没了上次的待遇，因为流言，寺庙面临香客们的压力，不敢再让他住在寺院，只好在寺庙后面的竹林深处建了一个竹屋给他居住。
而且从那时候开始，林子安就不被允许和人接触，就连寺庙里的和尚都不允许，继母一直派人在监视着。
好在老和尚心善，总会在夜深人静的时候给林子安送来医药书籍等东西，还会按时给他开方子调养身体。
可是，继母那药实在是太阴毒，不管老和尚怎么努力，林子安一直无法痊愈，而且身体越来越弱，一旦天气变化就极易生病。
安西非常担心他哪天就熬不过去了，尤其是这大冷的天，对于病弱的林子安而言，每时每刻都面临风险。