1927年，北伐战争开始，中国政局发生剧变。为了应对局势变化和随时准备干涉中国，日本海军于1927年3月派遣“天龙”号巡洋舰掩护来自本土吴、横须贺、佐世保三个镇守府的特别陆战队共计3个大队在上海登陆，与驻防上海的“利根”号巡洋舰上的临时陆战队共同组成“联合陆战队”，总兵力约1400人，由植松磨练海军大佐统一指挥。这支联合陆战队在上海阻止北伐军进入日租界，以及1928年5月在济南阻止北伐军进攻的“济南事变”中都发挥了关键性的作用。因此在北伐战争结束后，日军没有将这支部队解散，反而在1928年6月从这支联合陆战队中挑选精锐，正式组建“上海陆战队”，编入“遣支第一舰队”的作战序列常驻上海。
相比之下，日本支那驻屯军是根据1901年《辛丑条约》的有关规定，关东军则是根据《朴茨茅斯条约》和1905年《清日东三省事宜正约》的相关规定而组建并进驻中国，尽管这两个条约都是强加给中国的不平等条约，但好歹还算有个法理依据来遮羞，而日军进驻上海的海军陆战队，则完全是赤裸裸地践踏中国的主权。
上海陆战队成立后，日军便觉得有了可以在上海大捞一把的本钱。因此于1932年1月28日向中国在上海的驻军发动进攻，以为能够一举解决上海守军，占领整个上海。但遭到了驻防上海的十九路军顽强抵抗。十九路军不仅击退了日军的进攻，更一度对日租界展开反攻。日本海军只得于1月31日紧急从本土抽调陆战队增援上海。中国也派出由最精锐的87师、88师和教导总队组成第5军赶赴上海参战，双方在上海展开激战，日军见战局不利，于2月调动陆军第9师团和第12师团在上海登陆投入战斗，最后双方于3月达成停战协定。
