卫立煌的秘书赵荣声曾撰写《回忆卫立煌先生》一书，书中谈到卫立煌在抗战期间曾询问他加入共产党的事情。对于赵荣声的回忆，卫智向记者澄清："那是赵先生将个人回忆结合采访我父亲写的。由于当时社会环境特殊，书中对一些历史事件的描述和切入点并不完全客观。
这本书出版得比较早，后来很多撰写祖父的文章都引用了，某些现代史名家的文章中也有摘录，网络上还有人把赵荣声描述成与熊向晖、郭汝瑰齐名的红色间谍，把我祖父也称为共产党的卧底，其实都不是事实，有些夸张。"
卫智告诉记者，赵荣声早年是祖父的同乡，后来被祖父招到身边做了秘书，"他来自于西北战地服务团，这谁都知道，不是秘密，更不是红色间谍。
要真是共产党派到国民党队伍的间谍或卧底，那都是非常秘密的，一点痕迹不露。我祖父作为战区的司令长官，手下的秘书非常多，有十几个人，比较重要的几个秘书，比如吴君惠是北京大学法学系毕业的，还有戴允荪、陈元等，机要秘书是法国留学回来的温广汉，也是周恩来的同学，赵荣声当时很年轻，并不在重要位置，看很多问题过于表面。"
卫智说，关于祖父向赵荣声询问加入共产党的事情，尽管赵先生有那样的描述，但他从未听家人或其他亲历者提过。"没有证据。你想，我祖父当时是战区司令，对待这个问题不可能这么不知轻重，搞得沸沸扬扬。
再说，他和共产党高层，像毛泽东、周恩来、朱德等关系都非常好，这么要紧的事情为什么还通过下级绕圈子，不直接问呢？"
