为了避免引起陈昌浩和原红四方面军干部的怀疑,也为了顺利带出军委直属队与党中央一同北上,叶剑英与李克农商量,决定利用张国焘要求“南下”的电报做文章。叶剑英先找到徐向前、陈昌浩说:“总政委来电要南下,我们应该积极准备,首先是粮食问题,先发个通知给各直属队,让他们自己找地方打粮去,限10天之内把粮食准备好。”在征得他们二人同意后,当晚,他又召集军委直属队各负责同志秘密开会。
李克农作为中央机关的卫戍司令参加了会议。会上,叶剑英提议说:“中央已经走了,今天晚上两点我们也走。如果碰到有人问,就说是外出打粮的,准备南下。”李克农积极支持叶剑英提出的办法,他说:“以外出打粮的名义出发,这个主意好,不至于引起别人的怀疑,但此事要严格保密,各部队要按规定时间行动。”会后回到住地,李克农顾不得休息,悄悄整理好队伍。按照约定,深夜2点,李克农带队准时出发。他和卫戍部队不辱使命,以急行军速度跟上中央北上的队伍,保卫着中央机关和中央领导同志安全脱离了险境。
1935年10月,李克农率部随中央红军主力到达陕北。不久,他奉中革军委命令,调至先遣工作团工作。当时,陕北苏区周围驻有国民党重兵,其中有号称20万的国民党东北军,其主力部队六十七军驻守陕西洛川,和国民党中央军胡宗南部以及其他地方势力虎视眈眈,随时有可能向陕甘苏区进犯。面对严峻形势,为了及时掌握敌情变化,中央派遣有丰富侦察经验的李克农,组织一支突击队驻道左辅,向洛川方面侦察游击。
李克农和他的突击队经常神出鬼没、声东击西,有时穿便衣混杂在当地老百姓中间,将探听到的敌人兵力部署、火力配备及行军动向等及时报告中央,为随后进行的吴起镇伏击战击溃敌骑兵4个团、直罗镇战役歼灭敌一个整师又一个团,提供了准确、快捷的情报支持。