对我的处置，是在一种温和的气氛中讨论决定的。今上再度表明不会逐我出京，只是调到前省，且重提擢我为天章阁勾当官之事，我婉言谢绝，说：“内臣进秩向来有固定程式，须依序而来。臣品阶不足，不能当此重任，若陛下加恩擢升，台谏必有论列。”
今上便问我：“那你想做什么呢？”
我说：“臣当年是从画院调入后省的，如今请陛下允许臣回到那里去。亦无须让臣领何官职，臣若能在画院做一个普通的内侍黄门，每日整理一下画师图稿，便于愿足矣。”
这事便这样决定了。我这起初的公主宅勾当官被调为前省画院内侍黄门，连降数阶，又远离后宫，在外人看来也无异于受到了严厉惩罚，故此这旨意宣布后台谏亦能接受，不再提将我贬逐之事。
这期间李玮已离京前往卫州，也许是出自他的授意，其兄李璋上言请求今上允许李玮与公主离异：“玮愚矣，不足以承天恩。乞赐离绝。”
帝后试探着再问公主意见，我也取出李玮的画向公主叙述了李玮饮御酒前后的情形，公主看了看画，命人收好，但还是摇头：“我知道他是好人，但偏偏不适合我。我们就像两根被绑缚在车子两边的辕木，看似可以一起走过千山万水，却永远都不会有遇合的一天。”
于是，嘉祐七年三月壬子，今上宣布李玮落驸马都尉，降为建州观察使。与此同时，为示公允，他亦降兖国公主为沂国公主，按司马光的意思，损其爵邑俸禄。
国朝公主的封号跟命妇的名号相似，国名不同，爵邑请受亦不同，沂国远不如兖国，不过，这种处罚对公主来说几乎没什么影响，就现时的她而言，最不重要的就是名位钱财了。
今上对李氏心存歉意，虽李玮落驸马都尉，但今上待其恩礼不衰，且赐黄金二百两，命人传话予他：“凡人富贵，亦未必要做公主夫婿。”
一切尘埃落定，我也到了必须跟公主道别的时候。我离开公主阁的前一晚，公主苦苦恳求苗贤妃允许我再陪伴她一夜，让我们二人独处，最后说说话。
见苗贤妃很犹豫，公主幽幽一笑，目意苍凉：“姐姐，一待明日天亮，我与怀吉此生便不会再见了。”
我们此前约好了，一旦分别，以后便不会设法相见，哪怕在节庆典礼时都不会再见，这既是为了遵守向今上许下的承诺，也是为避免相见后的情难自禁。
听女儿这样说，苗贤妃也忍不住红了眼圈，遂颔首答应了她的要求。
这夜银河泻影，玉宇无尘。我与公主并肩坐在廊中阶前，檐下风铃淅沥，香阶乱红堆积，起风时她瑟瑟地有娇怯之状，我展袖护她，她亦轻靠在我胸前，我们就这样彼此依偎着，看夜深香霭散空庭，看月明如水浸楼台，良久无语，惟听漏声迢递。
彼时桃李凋零，梅妆已残，但有一丛海棠正红艳艳地开在中庭槐影里，短墙边的荼蘼架亦缀满白色繁花，微风过处，清香不绝。