绥德人口的迁移,建国前有一些零星的记载,但均无具体数据。
秦始皇三十二年(前215),遣将军蒙恬统兵三十万北击胡,略取河南地(今河套一带),曾在今绥地驻军。三十四年(前213)遣内地罪犯筑长城。其时上郡境内有长城。
西汉武帝建元五年(前136),诏郡国死罪囚犯戍上郡。元狩二年(前121)秋,匈奴浑邪王降,汉分迁降者于北方五郡(上郡在内)。四年(前119),迁山东贫民于上郡。
东汉永初五年(111),西零羌侵掠上郡,上郡治所迁于衙(今陕西白水县),永建四年(129)治所迁回。永和五年(140),南匈奴引羌胡侵上郡,上郡治所迁于夏阳(今陕西韩城)。中平元年(184)前后,羌胡大掠上郡,上郡治所又迁。这几次郡治迁徙,皆带着居民随迁,百姓饥寒交迫,伤亡甚惨。
唐初,今县地为梁师都占据。武德三年(620),于延州丰林县(今延安市北)侨置绥州,并迁居民于此。
北宋淳化五年(994),赵保吉(即李继迁,淳化二年降宋,赐名赵保吉,此时复叛)强迁绥民于平夏(今夏州)。四月宋削赵保吉姓名,收复平夏,分迁其民于绥州、银州。
明洪武六年(1373),设绥德卫指挥使司,迁江南上江之军屯田戍守。九年(1376),诏山西汾、平、泽、潞之民迁于河西。按今尚有许多绥民谓于洪武年间由山西洪洞县枸杞子畔和大槐树迁来。
1937~1945年,绥德曾几次移民于延安等地,具体人数已无法查清。1948年绥德分区遭灾,迁民四万余人于河东和延川等地,其中绥德县约五千余人。