4000年前的新石器时期,境内已有原始人群生息繁衍,但至商周时期人烟仍稀少。汉代以前,本县曾是少数民族居住区,由于战争、灾荒的影响和经济、文化发展,历代居民迁徙频繁,人口变动颇大。据境内文物遗迹考证及史籍记载,今境内人口源流有四个方面:一是土著居民,二是因战事活动就地落居,三是商贾艺人落户,四是移民。汉元狩三年(前120),关东遭水灾,朝廷令70万人充实上郡(时延川归上郡高奴县辖)等西北边陲。嗣后曾数次向高奴县等上郡辖区移民。明洪武年间,明王朝为恢复和发展生产,巩固边疆,令流民复业,并从地狭人稠地区向边陲及人口稀少地区移民。在山西洪洞县设立移民司,编排队伍,发放补贴,集中迁徙。成千上万户人家从大槐树下迁出,部分人迁居本县。他们指槐为记,让子孙后代相传。本县普遍流传着“我们是山西洪洞县老槐树下人”的说法。据传,本县禹居乡张家屯村张氏一族祖籍河南省,延川镇拐峁村韩氏一族祖籍浙江省,杨氏、曹氏、李氏原为山东籍。清代,来本县的山西和韩城商人,多于本地定居落户。20世纪70年代,全县多数村庄均安置米脂、绥德、佳县等外籍石匠或木匠1~2户。