人口迁徙是深刻影响一个地域社会、经济和文化的重要因素。有人说，所有的故乡都是异乡，这句话的意思就是我们每个人最初都不是这里的。美国是一个移民国家，它的大部分公民都是移民的后代，许多人最初的故乡在欧洲，还有不少人本身就是移民，包括来自中国的。像美国这样一个移民国家，它的社会心理、民族性格、文化思想等，和欧洲的一些老牌帝国如英国、法国就有许多不同，表现了，生气蓬勃、开放、包容性很强等特点。乐清现在有许多外来人口，在约有八十万，叫做新乐清人。新和旧也只是相比较而言，其实我们老乐清人的祖先几乎也都是外来人口。现在乐清人中，六成以上姓族是从福建（主要是闽南）迁移过来的。还有一些是从别的地方过来的，如四都王姓，即王十朋家族，是北宋时从钱塘迁来的；白石钱姓是吴越王钱镠之后；乐清赵姓大多是宋宗室后裔，分属太祖派、太宗派、魏王派，繁衍到现在，总人数约两万八千。乐清最初的原住民基本上无迹可寻了，很早就融合到外来人口中了。可以说，我们乐清就是一个移民县份，只不过这个移民的过程不是一次完成，而是持续了几千年。还有一点，就是无论哪里，人口迁徙都不是单向流动的，有迁来的，也有迁出的，有迁出又迁回的，也有迁来又迁走的，但总的趋势，乐清历史上的人口迁徙，迁入是主要的。乐清人口的迁徙促进了外来文化特别是中原文化和乐清原始文化的融合。
乐清历史上有记载的发生过几次较大规模的人口迁徙。其一在春秋战国时代，发生两次人口迁入。第一次是公元前七至前六世纪之际，楚国灭位于如今江苏泗洪一带的徐国，徐国王室、贵族子弟纷纷南逃，有进入乐清境内者。紧靠乐清边境的温岭市大溪镇有徐偃王故城遗址，乐清的一些徐氏宗谱记载自己的姓氏来源于徐偃王。第二次是公元前四世纪中期，楚灭越国，越国部分贵族和其他人员进入浙南，其中包括进入乐清境内。
其二在西汉时期公元27年间有两次人口内迁。一是东瓯王驺望为躲避闽越报复，率四万多军民内迁江淮一带；二是东越失败之后，朝廷又下令将东越之民迁往江淮之间安置。这两次都是迁出，都发生在汉武帝时期。
其三在四世纪初，五胡乱华，晋室南迁，王公贵族纷纷迁来南方，历史称之为“衣冠南渡”。其时也有北方人口进入温州和乐清。东晋建都金陵为公元317年，永嘉立郡为公元323年，是为东晋之初。据温州地方史料记载，从北方渡江南下的著名阴阳家郭璞曾来温州为永嘉郡城选址。半个世纪之后，乐清设县。行政区划的重新设置，立郡和设县，和区划地的人口增加和社会经济的发展密切相关。自东晋开始，中国的经济重心从北方转移到南方，南方的发展开始超越北方。
其四在唐末和五代十国，中原不宁，南方的福建也多战乱，但非战略要地的浙南一直比较安定，许多福建人特别是闽南人辗转迁来温州和乐清。
其五是蒙古南侵，宋室南渡，建都于临安即杭州，北方中原人口大规模南迁，其中迁至乐清者不少，包括许多赵宋宗室后裔。这一时期，战乱和自然灾害频仍的福建继续向浙南移民。
唐末到两宋的外来人口迁入，为南宋以来温州经济和文化的繁荣打下了基础，在浙南和乐清的文化发展史上有着非常重要的意义。当时，无论是中原还是福建，文化发展程度都较浙南高。由文化发展程度较高的地区向文化发展程度相对较低的地区移民，自然有利于促进后者文化的发展。
乐清的外来人口中，还有一支特殊的队伍，那就是明代的卫所驻防官兵。温州在早期是比较安定的，不是军事战略要地，中原的战争很少波及这里。但到了明清时代，海上的战略地位凸显出来了。明代是对付倭寇，清初是为了对付郑成功。倭寇不全是日本浪人，其中很多是中国人，过去说是海盗，现在也有说是海上武装走私集团，因为明代是禁上海上贸易的，他们就采用武力的办法。不管怎样，倭寇对沿海人民的骚扰和荼毒是客观事实，烧杀抢掠，史不绝书。第一个被倭寇杀害的乐清人是明洪武初年蒲岐霞堡人。倭寇的侵扰从明初延续到明后期的万历时代，几乎贯穿于整个明代，是令明政府非常头痛的问题。为了对付倭寇，明政府在乐清磐石设卫，磐石原来叫盘屿，就是这时候改名为磐石的，取“固若金汤，坚如磐石”之意。卫下面设千户所，开始是左、右、中、前四个千户所，后来改为后千户所和蒲岐千户所两个所。卫所是一种屯垦的军事组织，卫所官兵是世袭职业军人，亦兵亦农，他们常常在乐清定居下来。蒲岐人中就有不少是卫所官兵的后裔，如崔氏、何氏、魏氏，他们的先祖就是当时蒲岐所的军官。卫所之外，还有“营”，明代乐清设磐石营，负责关隘、烽堠和海上巡逻。卫所和营的官兵来自全国五湖四海，他们把各地的特色文化也带到了乐清。现在蒲岐有许多游艺项目就是当时卫所军人从他们的家乡带进来的。
清初为防郑成功父子进攻，海禁更严。清顺治十三年（1656），清廷颁布禁海令，为保证禁海令的实行，又于顺治十八年（1661）下达迁海令，将福建、广东、浙江、江苏、山东、河北六省沿海及各岛屿的居民内迁三十至五十里，居民和官兵全部迁移到界线以内，于是在沿海一带形成一个无人区。据道光《乐清县志》记载，乐清迁弃田地山池共三千零七十顷九十二亩二分，迁移居民六万九千六百三十六人。乐清县城也迁移到大荆，直至康熙九年（1670），台湾郑氏政权被灭亡，朝廷取消禁令，开始展界垦复，外迁居民陆续招回一些，县志记载，至康熙十六年（1677），乐清迁回人口一万六千零一十四人，这个数字远低于十几年前迁出数。明清之际的战乱和清初的禁海、迁海，对乐清造成的负面影响很大，经济和文化都受到严重损害。清初大诗人施闰章于康熙十六年到乐清，看到乐清城乡的情景非常荒凉，如《乐清行》诗句所描述一样，“城中复何有？狐狸向我啼”，“村墟尽流散，南亩成蒿藜”。桐城派散文家方苞于乾隆八年（1743）来游雁荡山，这时的雁荡山依然荒芜满目，“按图记以求名迹，则芜没者十之七矣”，“古迹多榛芜不可登探”。乐清本来盛产食盐，历史上一向输出食盐，迁海后，盐场也废弃了，居民吃盐要靠外地输入。清初乐清可以一提的文化人没有几个，直到乾隆以后，才有文士群和新的文化名村的出现，而乐清科名终清一朝都不甚景气，总共才出过两名进士，远远不及前代。
下面列举南宋以来乐清几个历史阶段的人口数据：
宋淳熙间（1174-1189）：四万一千七百一十六人；
元至元二十七年（1290）：十万六千七百二十四人；
明洪武二十四年（1391）：十三万二千四百六十八人；
明成化十三年（1477）迁出六乡人口一万八千余人，成化八年（1482）乐清人口八万余人；
明万历三十六年（1602）：七万一千七百人；
清顺治三年（1646）：七万九千七百一十四人，顺治十八年（1661）迁弃人口六万九千六百三十六人，剩下约一万人；
清康熙五十一年（1712）：一万七千八百六十人；
清道光五年（1825）：二十二万八千八百五十五人；
清光绪二十七年（1901）：三十三万二千人。
从以上数据看出，乐清人口变化情况为，自明洪武以后基本呈下降趋势，至顺治年间达到最低点。以后才重新开始增长，至光绪年间达到三十三万多。
