刘备军居高临下，用箭射，用石头、滚木砸，反击犀利，使进攻的荆州军死伤惨重，但李严却不准士兵退下，他不断下令继续增兵，不计一切代价地拼命攻城。
在城堡南面的六名勇士等待就是这个机会，荆州军攻城凌厉，使南面没有了守军，只剩下两名岗哨，而且他们的注意力都放到了前方的战斗上，没有注意后身后的异常。
任平经验丰富，他从小就会制作攀爬悬崖的工具，他们慢慢竖起三根长竹竿，竹竿前端装有大铁钩，钩住了上面的城头，六人分为三组，沿着竹竿迅速向上攀爬。
任平第一个攀上城头，他单手扶住城垛，慢慢露出一双眼睛，南面果然已经没有了士兵，只有两名哨兵站在两边转弯处，他们正全神贯注地眺望前方的战斗，根本没有意识到身后的危险。
另一名手下也攀上了城头，两人点点头，从后背取下军弩，单臂持弩，交叉瞄准了两名哨兵，他们箭尖上涂有剧毒，见血封喉，两人几乎同时扣动了悬刀，只听‘咔！的两声，两支弩箭闪电般射向哨兵。
两名哨兵发出一声闷叫，便软软倒地，任平大喜，一跃跳上城头，另一名士兵也跟他跳上城，两人分头行动，将两具尸体抛下了长江，其余四人纷纷顺竿爬上城头，六人都身着刘备军的军服，迅速向前方城头跑去。
此时前方的战斗打得异常激烈，尽管荆州已死伤数百人，但他们也突破了敌军的巨石滚木阵，将数十架攻城梯搭上城头，荆州军士兵执盾持刀攀城而上，和城头上的守军激烈交战。
任平带领五名手下，混入了守军之中，混乱中，没有人会注意他们是否与众不同，在上城之前，任平便和他的上司商议好了应对之策。
他率领五名手下冲到西北角，这里是一个死角，进攻方上城的角度很小，只需数人便可以守住这个角落，此时这里并没有进攻的梯子，他们六人守住了这个角落，任平从城头拔下一根火把向城下砸去。
火把在空中划出一道弧线，落入了城下的荆州士兵中，这就是一个信号，一直在城下等待的赵潜看见了火把抛下，他心中大喜，立刻禀报李严，“禀报太守，我们弟兄得手了。”
李严心中也生出一线希望，他点了点头，“就看你们了！”
赵潜一挥手，“跟我上！”
他带着一百多名扛着梯子向西北角冲去，梯子搭上城头，赵潜手执巨盾和长矛率先向城头攀去，这时，一名牙将看见这架攻城梯，大喝道：“守住西北角！”
任平应声喊道：“绝不让敌军上城一步！”
他们六人封住了所有的角度，将奔来助战的十几人挡在身后，六支长矛封锁住登城口，没有用滚木和巨石向下抛砸，也没有用钢叉向外推开梯子，只是用长矛毫无意义地撬挑梯子。
这种极为被动的防守姿态使城头主将勃然大怒，大骂道：“西北角那几个蠢货，让他们滚开！”
十几名军纪兵执棍奔来，劈头盖脸打去，后面的士兵见他们防守不力，也纷纷推攘，企图将他们推开，这时，两名士兵抬着一根百斤重的木头挤上前，准备将木头向下砸去。
形势十分危急，任平忽然大吼一声，“动手！”
六人同时反戈，用长矛战刀向守军杀去，长矛刺穿了抬木头士兵的后背，将这两人刺翻在地，其余守军被杀死四五人，吓得众人纷纷后退，突来的变故使城头一阵大乱。
为首牙将大吃一惊，他立刻意识到了什么，嘶声大吼：“快杀了他们！”
数十名士兵挥矛冲向六人，就在这时，军侯赵潜一跃上城，长矛向敌军刺去，将一名什长迎面刺翻，后面士兵接二连三冲上城头，坚固的城堡终于被撕开了一条防线，从数十人增加到百人，从一架攻城梯上城增加到十几架攻城梯登上城头，攻上城头的士兵越来越多。
半个时辰后，用生铁铸成的城堡门轰然开启，洪水般的荆州士兵冲进了城堡之中，荆州军大旗在城头高高飘扬，平安堡失陷了，荆州军终于控制了码头。
.........
虽然荆州军并没有攻下秭归县，但他们却占领了码头，并用泥袋修筑工事，并投入三千士兵用弓弩防御刘备军登陆。
尤其平安坚堡居高临下，可以很轻易地打击靠岸的船只，这便再一次截断了刘备军和夷陵道的联系，使刘备军无法大规模向巴东发动攻击，危急的局势再一次被挽回了。