略阳城内，来歙与将士“固死坚守，矢尽，乃发屋断木以为兵”。隗嚣尽最大的力量攻城，连攻数用，因来歙拼死固守都没有攻下城池，“其士卒疲弊”。刘秀此时已经觉得形势对自己非常有利，没想到又发生了一件对刘秀极为有利的事，王遵招降了隗嚣的将领牛邯，并因此而引发了一系列连锁反应。王遵经来歙以书规劝，弃隗嚣而投洛阳。这次刘秀亲征，命他“持节监大司马吴汉留屯于长安”。王遵与牛邯曾为同僚，两人又是多年的好朋友。王遵看准了隗嚣必将败灭的结局，不愿老友牛邯做隗嚣的殉葬品，同时也深知牛邯有归汉的意图，所以特致书劝谕。
书的最后写道：“夫智者睹危思变，贤者泥而不滓，是以功名终申，策画复得。故夷吾束缚而相齐，黥布杖剑以归汉，去愚就义，功名并著。今孺卿(牛邯字)当成败之际，遇严兵之锋，可为怖栗。宜断之心智，参之有识。”大意是说，要做一个看见危险就应该思考变更的智者和虽在泥滞之中而不滓污的贤者，就应该像夷吾(管仲)和黥布那样，远离愚昧而归附正义；现在您面临生死存亡的重要关头，希望用您的智慧和知识做出决断，“邯得书，沈吟十余日，乃谢士众，归命洛阳，拜为太中大夫”。
牛邯降汉的消息，在隗嚣阵营内引起强烈的反响，“于是嚣大将十三人，属县十六，众使余万，皆降”。这时王遵东归的影响，在这里便看得非常清楚了。面对着刘秀大军的步步进逼和内部的叛离投降，隗嚣的日子越来越不好过。见事情已经发展到这种地步，隗嚣一方面派王元入蜀求救；另一方面自略阳撤兵，带着家眷南奔西城(今甘肃天水西南),从杨广即那位拒绝马援劝降书的将军。