在刘娥说服元休接潘妃回府之前，刘夫人和韩王府内的属官都曾做过类似规劝。奈何元休只觉得对刘娥愧疚万分，潘夫人接女儿回府时，他正好乐得与潘妃永不相见才好。可潘王妃毕竟是由官家赐婚的堂堂正正韩王妃，虽说元休也不断派人送去名贵药材什么的，但是论起夫妻礼数、人伦礼法，他又属理亏一方。两下为难，竟让他寝食难安，食不知味。

没想到刘娥竟如此大度，顾全大局；主动规劝他在冬至节日前接潘妃回府。潘府内潘美也有几房妾室，俗话说嫁出去的女儿泼出去的水，潘夫人再疼爱女儿，毕竟府内也是人多嘴杂，若是出阁的姑娘常住娘家，终究不是长久之计。故而韩王上门，便以夫妻当以和睦为贵之语规劝潘妃后返回王府。让元休始料未及的是，潘妃的病情竟渐渐成了症候。

事实果如刘娥所料，潘妃之病，最忌情志郁结。偏她素来性情高傲，又从小娇生惯养，所愿不遂，忧思伤脾，日久耗伤心血，心失所养，常觉心悸不安，好不容易熬过了寒冷的冬天，那病情竟一日重似一日。元休本为性情淳厚之人，虽说恼怒潘妃驱逐刘娥之恶，但也念及夫妻情分，时常宽慰一二。奈何潘妃执念已深，只觉得元休的宽慰并非出自真心，不过是顾忌她的父帅在外征战罢了。好几次元休的探视，都以不欢而散收场。

潘妃寄希望于爹爹凯旋还朝，建立不朽功勋，到时候朝廷重视，百官侧目，那样她就能在王爷面前挺直腰杆扬眉吐气，整个王府还不是她一人说了算吗。潘妃就这样满怀希望地等着，等着她父帅得胜还朝的日子。

可是潘妃等的这一天，却一直没有到来。春天总是短暂的，匆匆而过，直到五月中旬，天气渐热，前线却传来北伐失利的消息。

依着太宗初期的军事部署，宋军兵分三路。西路军由潘美、杨业率领，直奔辽国西京大同。中路军主帅田重进，策应东西两路人马。东路军由曹彬率领，采取缓慢行军战术，虚张声势，以牵制辽军主力。东路军有兵力十万，是主力部队。他们的任务是稳扎稳打，步步为营。吸引辽军，将辽军主力吸引在幽州地区。而中路、西路则需要速战速决。在最短时间完成任务，然后向东路靠近，汇集人马，共同挺进幽州。

战争开始不久，西路军收复了云、应、寰、朔等四州；中路军也攻下了飞狐、灵丘、蔚州。眼见潘美、田重进部捷报频传，曹彬所部副将崔彦进心中着急，提议加速行军，一时间，东路军中部分将士立功心切，出现了不同意见，军心不能统一。曹彬在诸将劝说之下，没能坚持住稳扎稳打的原则，连续攻克新城、固安，四月已经围住涿州，但是由于辽军坚守，不能迅速攻克，雪上加霜的是，东路军粮草被辽国名将耶律休哥拦截。经过二十余日的奔走、拼杀，东路军已经人困马乏。与此同时，辽军在萧太后率领下御驾亲征，迅速与耶律休哥汇合，在岐关沟一带大败曹彬。东路军全面溃败。

曹彬大军的惨败，引发一系列连锁反应，使得原计划中三军会师幽州城的布置化为泡影。萧太后在岐关沟大败曹彬后，没有穷追猛打，而是采取“各个击破”的战略，先后派出两部突击队增援蔚州，转战西路军潘美、中路军田重进。而太宗得知东线全面溃败之后，马上下令退兵，以保存实力。中路军田重进撤军退还定州，西路军潘美部退还代州，对萧太后采取全面防守。潘美部全线撤军时，还接到太宗一道旨意，就是要他在撤军之时，还要护送寰、朔、云、应等四州平民百姓重返故土。因着这一重要任务，使得潘美部成为辽军的重点攻击目标，除了让潘美部损失惨重之外，还直接导致大宋丧失了一员骁勇善战的大将，这员大将就是多次让辽军闻风丧胆的杨业。