在中国人民解放军的十位大将中，张云逸是极具传奇色彩的一个：年龄最大(授衔时已63岁)，比毛泽东还大一岁多；工资级别最高，是惟一拿着元帅级别工资的 大将；资历最长，
张云逸在操练中训斥了龙济光外甥，用皮带抽打了龙济光小舅子。两人跑到龙济光家里告状，但张云逸并未因此受罚。
从此，张云逸这个排，军纪严明，成为全营尖刀排。两个月后，龙济光到营盘视察部队，“尖刀排”表现出色，赢得了龙济光的赞赏，张云逸被升为连长。1921年，张云逸调离海南岛，进入粤军陈炯明部任营长。
张云逸很早就展现出军事指挥才能，1924年成功地平定广州商团叛乱时，他在许崇智建国粤军中任旅长，他率领的旅被称为“胜之旅”。“胜之”是张云逸的别号。
少将参谋长秘密入党
东征陈炯明期间，张云逸调入张发奎率领的国民革命军第四军第一独立旅当参谋长。在部队遇到困难的关口，他屡屡妙计获胜。
蒋介石闻说，便想给张发奎换一个参谋长，意欲重用张云逸。张发奎听说，急得跟蒋介石嚷嚷道：“总司令，你不要拆我的台呀，你就是拿一个师来换胜之，我也不干！”从此，“张云逸是老蒋拿一个师也换不去的旅参谋长”便传开了。
1926年北伐时，张云逸已经是国民革命军的少将参谋长。这年10月，张云逸在武汉秘密加入中国共产党，时年34岁。
张光东说：“中苏论战的时候，我问父亲为什么要入党，他说了一句话我印象特别深刻，‘你太小，你不知道当时的社会多黑暗’。父亲说参加革命不是人逼的，他 是自觉自愿地选择了中国共产党，放弃优厚的一切。‘改变中国’这个信仰支持了他一生！”张云逸也曾回忆说：“我入党时年龄已经很大，薪俸相当高，我是为了 解放劳动人民才来入党的。”
1927年大革命失败后，时任国民革命军第四军第25师参谋长的张云逸，仍留在国民党军队中，开展秘密工作，积极支持和掩护25师政治部主任李硕勋和73团团长周士第率部参加南昌起义。
“中央征求父亲的意见，是到苏联留学还是留在国内搞兵运工作。虽然国内革命处于低潮，他还是毅然选择了留在国内。”
红七军军长
1929年7月，张云逸被中央派往南宁。通过广东海军司令陈策的举荐，他利用在国民革命军中的声望，打入广西军阀俞作柏、李明瑞的部队中，被任命为军官教导总队总队长兼警备第四大队大队长。
