由于生活渐渐窘迫，赖不得不把自己的豪宅转手换钱，全家搬到了一个简陋的公寓里生活。据到赖昌星家里采访过的媒体报道，一个大屏幕电视，饭桌上放着一个塑料果盘，凌乱的家庭照片，壁柜里摆放着一些水晶动物，昔日享尽荣华的赖昌星夫妇和他们的3个孩子就住在这样一套昏暗的公寓里。赖和妻子曾明娜每天只能呆在家里，不能跨出市区，平时也没有什么朋友来往。“钱怎么也不够花”曾明娜曾向她身边的朋友诉苦，孩子的学费都要付不起了。
董文华与赖昌星
在等侯移民暨难民局判决期间，赖昌星表面上很镇定，但他的妻子曾明娜和几个孩子都精神紧张，曾明娜更因为压力太大而生病，经常看病吃药。用马塔斯律师的话来形容，这一家子的状况是：在希望与恐惧中煎熬。一次，赖与妻子两人同时被拘，三个孩子只能在家吃方便面度日，父母被拘的当天晚上三个孩子抱在一起哭了整整一个晚上。在以后的日子里，三个子女多次到监狱探望父母。据说，赖对个子瘦小的大儿子说，“好好读书”，“不要走我的路”，情不自禁落下了泪。在女监的曾明娜，每当看到孤苦无援脸黄肌瘦的孩子时，也是泣不成声。
