沙特政府对拉登也感到愤怒，甚至取消了拉登的国籍，拉登此后一段时间在北非国家苏丹、阿拉伯半岛的也门“流亡”。跟着他的，除了妻子和孩子之外，还有从阿富汗带来的“兄弟们”。这些人最终都成了“基地”组织的骨干。1996年，拉登被迫来到了塔利班统治下的阿富汗，试图在这里实现自己的梦想。
李伟认为，“拉登的梦想很大，很有野心”。据他介绍，拉登不在乎沙特政权，在意的是在整个中东、北非的阿拉伯地区，实现14—15世纪那样的阿拉伯帝国的复兴。为此就必须要打败他所认为的“最大恶魔”——美国。拉登认为，美国是苏联之后对阿拉伯世界最危险的敌人。所以2001年“9·11”发生后，美国决然出兵阿富汗，不达目的誓不罢休。
AKS74U经常跟随他一起出现在“基地组织”公布的录像中，画面中这支枪靠在他的身后，还有容弹量为45发的RPK-74机枪弹匣。之所以出现这样的画面是有深刻含义的，因为这支枪是在阿富汗战争中缴获的，它来自于一个前超级大国的战斗中，因此具有“胜利”的象征意义，而45发超大弹匣则暗示着战斗到底与杀死更多异教徒的决心。另外，这支枪的最初设计目的就是用作个人防卫，这在一定程度上表明了本·拉登想要发动的“圣战”将是一场短兵相接的游击战争。这支AKS74U随着本·拉登精心制作的录像带一起传播到全世界，暗示并煽动着恐怖主义分子的情绪。
20世纪80年代初，本·拉登加入了数以千计阿拉伯青年的行列，前往阿富汗，对抗1979年以来占领阿富汗的苏联入侵者。
一开始，他既参与为圣战者兴建军火库、医院、和道路的工作，也参与战斗。
一直在调查研究本·拉登的势力网的作家福登说：“后来，他开始领导一批士兵，并且亲身参与了许多军事行动，包括一次围攻贾拉拉巴德的著名战役。这是一次对抗苏联占领的重要战役。在这次战役中，他虏获了著名的卡拉什尼科夫步枪，自此之后，他到哪儿都带著它。”
除了带给他幸运的卡拉什尼科夫步枪之外，他在阿富汗的时间也为他提供了联系全球各地的伊斯兰极端人士的机会，包括来自阿尔及利亚、摩洛哥、马来西亚、甚至美国的人。
