薛怀义从此彻底失宠，之后就消失在历史中，有说是被太平公主除掉了，有说被武三思杀掉，总之，不再受武则天宠爱了。

除了薛怀义之外，武则天早期宠爱的另一个男宠就是太医沈南缪，但这位沈太医为人胆小谨慎，性格宽厚，整日里只是小心翼翼地侍候武则天。

因为武则天宠信他，气得薛怀义把明堂烧了，事后这位沈太医担惊受怕，没多久就去世了。

武则天早期宠信男宠，尚限于私生活方面，除了引起许多流言飞语外，并未对朝政造成太多影响，到了她晚年事情却发生了变化，因为两兄弟的出现——张昌宗、张易之。

比起薛怀义的飞扬跋扈，沈南缪的如履薄冰，这哥儿俩却如鱼得水。张昌宗擅长音律，张易之擅长歌舞，兄弟俩一唱一和，把武则天哄得整日心花怒放。

从此他们俩开始干预朝政，最先是大收贿赂，卖官鬻爵，并且很有诚信，特点是收钱就办事。

一次一个姓杨的向张易之行贿，张易之家人忘了这个人的姓名，张易之二话不说，把京城所有姓杨的都升了官，但朝政的腐败，却也因此加剧了。

收点钱也就算了，日久天长，这哥儿俩开始排斥异己，尤其是武则天晚年，兄弟俩权倾朝野，因圈地一事嫉恨宰相魏元忠，便罗织罪名将魏元忠陷害，而后，李旦、李显两个武则天的儿子为巴结这哥儿俩，竟然奏请为他俩封王。

晚年的武则天，整日沉迷于和哥儿俩的享乐，国家大事也多荒废，吐蕃进犯凉州，突厥侵扰朔州，武周朝皆反应迟钝。

公元705年正月起，武则天干脆不见群臣，关门和哥儿俩玩乐，大权也不抓了，因此，她的丧钟也敲响了。

公元705年正月，宰相张柬之发动政变，联合右武卫大将军李多祚，于正月二十六日包围洛阳皇宫，同时迎立皇太子李显复位，逼武则天退位，两位小男宠也被张柬之杀死。