本县历史上曾有过几次较大的人口迁徙,有文字可考的是西汉迁入、东汉迁出;东晋北魏迁入,宋代迁出,明代迁入。现今在吴居住者,小部分是东晋、北魏由江苏迁入者的后裔,大部分是山西洪洞移民迁入者的后世子孙。明末清初由晋西迁来者亦有。日本侵略者到山西,山西迁来者很多,抗日战争胜利后,大部分又迁回,少部分经商者定居在吴堡。
1949年以后,本籍在外地工作的干部,陆续把家属户口迁出,1959~1961年三年自然灾害,国民经济困难,干部家属亦有从城市迁回的,但形势好转后,又迁出。
至于平常因工作调动、征兵、结婚、就业安置等,随时都有迁移变动。