日本推古天皇在位、圣德太子摄政期间，他们为了学习中国的先进文化，曾多次派遣隋使、遣唐使来中国。因为遣隋使、遣唐使是外交使节，驻中国时间一般不超过两年，因而无法满足日本全面学习中国文化的需要。从第二次派遣唐使起，日本政府就加派了“还学生”和“留学生”。所谓“还学生”，就是在遣唐使回国时一同回去的学生；“留学生”则是在遣唐使回国后，继续留在中国学习的学生。从那时起，这个日本人创造的“留学生”一词就流传了下来。

虽说“留学生”这个词是唐朝才有的，但留学生的起源可以追溯到更早。对此，民间有两种说法。一种说法认为源于古代的“游学”。司马迁《史记·春申君列传》中曰：“游学博闻。”意指游学可以使人增长见识。“游学之事甚古，春秋之时已盛，及至战国。”由此可知，我国的游学兴盛于春秋战国时期。

“留学生”的起源还有一种说法是源于我国的质子制度。中国自古就有王侯将子女送往敌国当人质的记载，质子在异国生活、学习，客观上也有“博闻”之效。电影《封神》中，纣王身边充满阳刚之气的“质子团”曾火爆全网。不管是出自哪种起源，“留学生”都因国家与个人的学习之需延续下来。

唐朝时，中央学府是国学、太学，里面有大量的留学生，入学需要经过严格的“宾贡科”考试。据《唐会要》载：“高丽、百济、新罗、高昌、吐蕃诸国酋长，亦遣子弟请入国学。”那时，唐朝对留学生几乎是免费的，费用由鸿胪寺出。有史料记载，鸿胪寺当时每年的外交招待费折合成粮食高达一万三千斛（唐时十斗为一斛）。

盛唐之时，中国为周边国家培养了大批留学生人才。除了日本的晁衡，唐朝还有一位知名的留学生——新罗人崔致远。崔致远12岁时离家来到长安求学，28岁回新罗，在新罗王朝担任要职。另外，他一生文学创作不断，被朝鲜和韩国学术界尊奉为朝鲜半岛汉文学的开山鼻祖，有“东国儒宗”“东国文学之祖”的盛誉。

之后的宋元明清时期，中国还陆续接收留学生，只不过因为招待负担重等原因，接收的留学生数量锐减。