这让他到达泉陵的时间晚了两三天。

到达泉陵城西，湘水南岸的冷淘滩后，刘繇停止前进，让部下休整，恢复体力，同时派人前往泉陵打探消息，看看孙翊是不是真在峡中。三天后，斥候连续来报，孙翊率领的水师楼船在十天前进入峡谷，一直没有出来。泉陵城戒备森严，但兵力有限，估计只有两三千人。听说营阳峡战况激烈，孙翊已经将城中可调的兵力都调走了。

刘繇与赖恭仔细研究后，决定出击。虽说还有疑点，但行军作战，哪有十全必克，信息不畅，有些疑问、冒点风险再正常不过。

刘繇派人搭建浮桥，准备渡营水，围攻泉陵城，并在营水两岸设下阵地，准备弓弩和引火物，伏击可能来援的孙翊。为了遏制楼船的威力，他特地选了一个水比较浅的位置，又在营水中央沉了几条装满了石块的船，形成暗礁。他来得匆忙，又不敢大肆征发民船，能做到的也只有这些。同时，他派出大量斥候，潜到营水对岸，伏击吴军斥候、信使，以免走漏消息，尽可能延缓孙翊回援的速度。

一切准备完毕，刘繇在一个月黑风高的夜里渡过营水。

泉陵城守得很严，刘繇还没渡水，对岸的城上便敲响了警报，无数火把亮了起来。刘繇根据城上火把的密集程度，确定城中兵力有限，松了一口气，命令部下包围了泉陵城，立刻展开了攻击。

战斗进行得很激烈，战鼓声、喊杀声响起一片。刘繇知道自己时间不多，不惜代价的猛攻，却还是无法得手。他奔袭而来，没有大型攻城军械，只能用凭着简单的云梯蚁附登城，负责掩护的弓弩手也只能冒着对方的箭雨，逼到城下进行射击。

半夜激战，刘繇损失两千多人，却还是没能拿下泉陵城。他红了眼，简单的吃了些干粮后，命令将士再攻。为了鼓励将士，他宣布破城后大掠城内，所有战利品都分给将士。

重赏之下有勇夫，这些来自交州的汉蛮将士发了疯，对泉陵城发起一波又一波的攻击，城上几度告急，伤亡迅速增加。奉命留守的荀谌也急了，率领府中掾吏上城，并发动城中百姓一起守城。他不知道刘繇发布了大掠的命令，却不妨碍他用这个来恐吓城中百姓，要求他们参战。

孙翊之前发布公告，推行新政，城中百姓正盼着好日子的到来，没有人愿意被这些交州来的蛮子掳掠，纷纷响应号召，上城协助防守。壮丁拿起武器，与吴军将士一起战斗，妇女帮忙搬运物资，烧火煮油，然后将一瓢瓢的热油淋在攻城的士卒身上，再扔下火把，将攻城的士卒点成火人。

见百姓上城，刘繇更加坚信城中兵力不足，发力猛攻。

战斗进行得异常激烈，双方的伤亡都在不断增加。

第二天傍晚，刘繇接到消息，孙翊率部回援，在出峡的时候被他设立的阵地挡住，水师正在清障。因为沉船数量有限，清障的速度很快，最多半天时间就能完成。如果刘繇不能在次日中午之前拿下泉陵，就必须撤退，否则就有被截断后路的危险。