“那时张阳想去当兵，他爸不太支持。”张长峰说，“但张阳自己很坚持，部队看他条件不错，也想要他，最后他也就去了。”张阳从最基层的战士做起，历任战士、副班长、班长、副指导员、指导员、教导员、政治处主任、团政委等基层职务，长期从事政治工作。1996年初，45岁的张阳从炮兵一师副政委岗位上调入第42集团军（属广州军区）163师任政治委员；2000年，张阳升任第42集团军政治部主任，两年后成为集团军政委。一位退伍的第42集团军士兵透露，张阳曾在一线参与指挥1998年长江流域的抗洪抢险，“当时黄梅至黄石一线大堤险象丛生，他就在那里坐镇”。
“同时，他还把大量时间、心力用在改制换装和人才培养上。” 张阳在第42集团军中主张“人才培养先行战略”，提出“宁可让人才等装备，也不能让装备等人才”的口号，2003年成功把某摩托化步兵师改编为机械化步兵师。也是从那时起，人才管理和培养成了张阳最得意的“成就”之一，在日后的许多会议、采访、撰文中，他都提到了自己的选人、用人策略。
有一次，张阳接受采访说：“偶尔几次陪朋友喝早茶，我发现一个有趣的现象：有40多种口味的店铺，赢利反而比不上只有20多种口味的。为什么？因为可供选择的数量太多！用人也是如此，军人作为一种特殊职业，不是不允许有个性，而是个性无论在什么时候都必须服从职业需要，棱角的选项不可能无所限制。”
