尽管战功显赫，与刘峙、顾祝同、蒋鼎文、陈诚并称蒋介石的"五虎上将"，但卫立煌并未获得实权高官。甚至有文章认为，从上世纪30年代开始，蒋介石就一直派特务监视卫立煌，对他的行踪了如指掌。
卫智说，这些年随着很多历史档案的解禁，还有他在国外查阅到的蒋介石回忆录，他认为比较可信的说法是，"蒋介石派特务监视的事情是有，但并不是从一开始就有。
祖父一直是孙中山的忠实追随者，早在做孙中山的卫士时，他就和蒋介石认识。孙中山在广西时，祖父也是和蒋介石一起陪在他左右，因此结下了友谊。"
卫立煌在粤军第二军时，蒋介石任参谋长。卫智说："在粤军里，他们都属于非广东籍人士，属于被排挤的对象，这种处境在一定程度上反而巩固了他们之间的友谊。
1925年8月，许崇智参与刺杀黄埔军校党代表廖仲恺，蒋介石正是在我祖父的大力协助下，解除了许崇智的武装。那时，祖父在粤军第四师任旅长。"
卫智说："后来孙中山去世，祖父视蒋介石为孙中山的忠实继承者，相信他会沿着孙中山的足迹走下去，而蒋介石也不断对我祖父委以重任。
他担任黄埔军校校长期间，因为祖父有丰富的实战经验，还多次请祖父给黄埔的同学讲课。可见，早期的时候，他们之间是彼此信任的，不存在蒋介石派人监视我父亲的情况。"
