中国留日同学总会作为留日学人的核心团体，是广大留日学人共同的精神家园，创业与为国服务的广阔平台，中日人民友好的坚实桥梁。 中日邦交正常化，特别是中国的改革开放，几十万人员先后来到日本学习，形成了新的留日学潮，不少毕业生进入日本的公司、大学或研究所工作。1998年2月1日在东京成立了 “全日本在职中国留学人员联谊会”，时任人大常委会副委员长吴阶平先生担任总顾问，并题写了会名。国内有关部委和团体（教育部、人事部、统战部、欧美同学会、共青团中央、中华全国青年联合会）、中国驻日大使以及日本友好团体（日中友好会馆，日中协会，日中友好协会，日中友好议员联盟，留学生友之会等）给予了大力支持。 2000年遵循中华海外联谊会（中央统战部）及欧美同学会领导的建议，沿袭1915年2月李大钊等创立的“中国留日同学总会”名称，党和国家领导人宋健先生题写了会名。

中国留日同学总会的宗旨是在遵守中国和日本两国法律的基础上，广泛联络留日学人，发挥留学人员的优势和才智，组织和促进留学人员回国服务或以各种方式为国服务、积极参与祖国建设；促进中日友好交流，加深两国人民的相互理解，做中日关系友好发展的民间大使；促进留日学人之间、留日学人和祖国之间的交流和联系。