林芳正后来回忆,这段经历对他随后在日本的从政生涯产生了很大影响,尤其让他认识到沟通、交流的重要性。林芳正年轻时“有点爱发火”,但实际接触中并没有感受到,只是觉得林芳正说话直率,不绕弯子。此后20多年,同期成为众议员的河野太郎因“言论出格”饱受争议,而身材微胖、一团和气的林芳正被舆论质疑的焦点往往是“过于温和”。
林芳正给人的感觉比河野太郎更温文尔雅,有中曾根康弘等老一辈政治家的风范,“有儒家作风,像知识分子”。
2008年,林芳正获得了第一个内阁部长职位。8月2日,首相福田康夫任命他出任防卫大臣。第二年,他短暂出任分管经济和财政事务的特别大臣,也只干了两个月。
在此背景下,当林芳正于2012年12月被新首相安倍晋三任命为农林水产大臣时,外界将此视为安倍平衡小派系的手段,并不看好林芳正的前景。除了他与安倍的选区宿怨外,《华尔街日报》质疑林芳正缺乏农业知识和经验。但事实上,林芳正一直干到了2014年,2015年又短暂回任,前后任期超过两年,是安倍执政期间十三位农林水产大臣中最“长寿”的。