根据张学良的这一回忆，“挟天子以令诸侯”的创意者不是杨虎城，而是他的“那些小家伙们”，张学良怕别人不明白，还特别加了一个括弧，说明“小家伙们”就是杨虎城的“智囊团”。这是张学良前此在任何场合都没有谈到过的。
杨虎城的“小家伙们”是哪些人呢？张学良只谈到了中华人民共和国成立后出任波兰大使的王炳南。王的父亲原系杨部高级参谋，与杨私交极好。王在日本、欧洲求学，经费均由杨提供。
1936年4月，中共驻共产国际代表团委派王到西安，与杨商谈停战抗日问题。此后，王就住在杨的公馆里。
张学良在和张氏姐妹的谈话里，进一步谈到了杨虎城和中共的关系。他说：
杨虎城要紧的是王炳南。杨虎城手底下一定比我手底下厉害。不但是文人，还有新城的一个师，差不多都是共产党。他自己实实在在，他的太太是共产党。我判断他的太太就是带着任务来的……就是当年他的政治部主任……那时候在新城，共产党的几个都是女的。
王炳南实实在在的名义就是杨虎城的秘书……杨虎城很听他的话。
张学良声称，杨虎城“新城的一个师，差不多都是共产党”，显然夸大了，但是，杨虎城的夫人谢葆真确系共产党，在杨军政治部工作。她是在1928年1月，经中共党组织批准，和杨虎城结婚的。
杨虎城和中共的关系比张学良所知还要密切。早在1927年冬，杨虎城就要求加入中共。他的部队政工人员中，即有中共党员16人。1928年10月，杨虎城在日本东京期间，中共中央决定批准杨的入党要求，指示东京市委办理，但由于杨很快回国，未能办理相关手续。1934年，杨部警卫团有共产党员200余人。
1935年11月，中共北方局南汉宸委托杨的驻北平代表申伯纯向杨传达中共的《八一宣言》。1935年12月，毛泽东、彭德怀派汪锋携亲笔函件会见杨虎城，商谈联合抗日事宜。
同月，中共北方局也派王世英到西安和杨虎城会谈。1936年，毛泽东再派张文彬携函见杨，达成互不侵犯、建立军事联络等三项口头协定。此后，张文彬即以十七路军政治处主任秘书名义长驻杨部。
