直到公元前206年，吕泽举城向嬴宏投降，为自已的家人求得免死后自杀了。
从那时起直到今日，这个家庭就一直是吕雉承担着，而吕雉所说的姐姐就是刘肥的生母曹氏。
对吕雉来说，这几年的生活也就那样，不存在什么天塌了的说法，因为吕雉的天在六年前就已经塌了。
而且吕雉觉得自已还算比较幸运，因为嬴宏只把吕泽的妻儿子女送去了苦寒的塞外，对于自已这个已经嫁出去的吕家女子并没有追责。
吕泽举城投降后北平中央政府治下的地方政府机构也紧跟着嬴宏进军的脚步迅速填补了下邳的治理空缺，并立刻开始恢复生产，所以吕泽投降后吕雉在下邳生活的那四年还算是安定。
至少吕雉可以在北平中央政府治下找到一份体面的工作，得到的报酬能维持住基本生活。
等平定六国余孽之战结束后，应该说吕雉的生活也已经趋于稳定了。
所以在公元前204年，吕雉回了一趟丰县，并顺利找到了曹氏和刘肥，把这母子二人接到了下邳和自已一起生活。
对于曹氏，吕雉或许没有太多感情，但刘肥终究是吕雉丈夫的儿子。
吕雉作为正妻，对于这个家庭还是很有担当的，要不然年已十九岁的刘肥也不会还在中学上学。