他哪里知道，爱因斯坦到上海时，斐司德在热情接待的过程中，不但要求爱因斯坦用英语在金陵做演讲和报告，还说中国没有人能胜任翻译，而且绝口未提酬劳的事情。爱因斯坦大概误以为他代表了蔡元培，从而直接导致计划流产。
如果北大与爱因斯坦建立了有效的沟通渠道，这些误会都不会有。但遗憾的是，蔡元培认定“早经彼与驻德使馆约定，本没有加约的必要”。
在1923年1月4日的《北京大学日刊》中，蔡元培吐槽说：“我们合各种学术团体致函欢迎，是表示郑重的意思；一方面候各团体电复，发出稍迟；一方面到日本后因他的行踪无定，寄到稍迟；我们那（哪）里会想到他还在日本候我们北京的消息，才定行止呢？”
那么，爱因斯坦又为什么一再怀疑北大的履约能力呢？正如他在出发前告诉斐司德的，“中国严重的国内局势，使他仍不确定是否会履行这一邀请”。
1922年，中国正值军阀割据状态，首都北京也未能幸免。4月底，直隶和奉系军阀在北京附近展开激战。之后，北京内阁在1922年11月至1923年4月的6个月中，更换五次。在这种情况下，中国的教育状况可想而知。就在1922年8月，蔡元培和其他七所国立大学及高等研究院的校长，亲自找到中央政府，索取已拖欠五个月的教育经费。对这些，爱因斯坦肯定有所耳闻。
另有夏元瑮收到12月7日爱因斯坦写于日本京都的信，说“现以要事，急须西归，不能与君一晤，只能函告一切”。
对于这件“急须西归”的“要事”，有猜测说，爱因斯坦急着要赶去耶路撒冷，担任新筹建的希伯来大学校长一职；也有猜测说，爱因斯坦在日本期间产生了一些新想法，急于赶回欧洲撰写新论文。不过，从后来的行程看，这两种说法都查无实据。
还有一种说法是，日本人从中作梗，让爱因斯坦把计划在中国讲学的两周都移在了日本。
