寂然法师把廖耀湘等藏到了藏经楼里,不让他们出来,每天亲自给他们送饭。但是,寂然法师和廖耀湘都明白,呆在栖霞寺不是长久之计,要想栖霞寺的难民们彻底安全,廖耀湘必须离开。寂然法师在想方设法保护着廖耀湘的同时,努力与当时南京安全区的外国人取得联系。历尽艰辛,最终栖霞寺僧人联系上当时江南水泥厂难民营的辛德贝格与京特,偷偷将廖耀湘用小船送到了江北。
在前往栖霞寺避难的两万多难民中,有200多人曾经是南京抗日军队的军人,其中官职最高的是国民党第二旅中校参谋主任廖耀湘。他当时是日军全城搜捕的对象。当时廖耀湘承担的是守护南京城的责任,南京失守后,来不及撤退的他搭一个农夫的马车躲过日军搜捕,跟随前往栖霞寺避难的人群藏进了寺里。随行的还有5个军人。