“与其说从中作梗，不如说是日本人的科学狂热。”方在庆说，爱因斯坦在日本非常忙碌，行程很满，基本上可以说是马不停蹄。“他所到之处，都受到狂热追捧，仅在早稻田大学就有一万多学生出迎。一场相对论演讲，从德文翻译成日文，三个多小时，但听众们仍抱怨为什么缩短了演讲时间。受到听众的鼓舞，爱因斯坦在日本做了很多演讲，时间几乎一场比一场长，他还时不时拉一段小提琴。”
可以肯定，爱因斯坦并不希望毁约，胡大年发现，爱因斯坦为了访华谢绝了几份来自美国报酬更高的邀请，有的甚至已经付了酬金。他从日本到耶路撒冷途中，又对记者说，“既然来到上海，未赴内地观光，是最大的遗憾。”
方在庆认为，除了表面上的误会，真正让他打退堂鼓的，是中国人整体偏低的自然科学素养。
从日本返回路过上海时，刚好是1922年的最后一天。这次的码头接待更为冷清，只有两个犹太人接他。
1923年元旦，应犹太青年团体之邀，爱因斯坦在美国商团训练所楼上举办相对论讨论会，由租界工部局的一名英国工程师同步翻译为英文。
当时有三四百外国人参加，中国人只有四五个。理解相对论的人太少，现场的问题大多相当幼稚。在梓园有一面之缘的张君谋询问他对洛奇研究灵学（人鬼交流）的看法，爱因斯坦用法语回答说：“这是微不足道的。”这次讲演给他留下的印象并不好，在其日记中称之为这是“一场充满愚蠢问题的滑稽戏”。
《民国日报》哀叹：吾国人喜听演讲哲学，故于杜威罗素相继东来，无不竭诚倾听。乃对于恩氏所讲科学大革命之新原理，则视若漠然。实则研究哲学，非有科学根底，不能窥其门径。
第二次访沪，爱因斯坦对中国人有了进一步认识，他在日记中写道：“中国人污秽、备受挫折、迟钝、善良、坚强、稳重——然而健全。”作为和平主义者，他对殖民深恶痛绝，提及在上海的欧洲人雇了很多中国佣人，他描述这些在华的欧洲人“懒惰、自得、肤浅”；他同情香港殖民地的贫民：“这是地球上最贫困的民族，他们被残酷地虐待着，他们所受的待遇比牛马还不如”。
2日，爱因斯坦乘“榛名丸”号离开上海，顺访埃及、耶路撒冷，在巴勒斯坦访问12天，为耶路撒冷希伯来大学奠基，然后绕道西班牙，在马德里大学讲演，最后辗转回到柏林。
两次途经上海和香港，成为爱因斯坦与中国仅有的“亲密接触”。在通信中，爱因斯坦称这是一种“莫大的痛苦”，而蔡元培则说这是“最大的遗憾”。
“实际上，日本当时在很多方面是远超过中国的，特别是知识分子对世界的了解。”方在庆认为，这件事反映出中日两国从民众到科学界，各个层面的差距。总体来讲，中国学术界能跟爱因斯坦对话的人很少，而在日本，给爱因斯坦全程做翻译的人，叫石原纯，已经用德语发表了相对论方面的论文十余篇。正如爱因斯坦所写，“日本人羡慕西方的智力成就，怀着伟大的理想主义，成功地深入科学之中，这并没有错”。在一百多年前的日本，科学已经如此深入民心，也就不难理解日本日后的科技成就了。
