唐设府谷镇,遗址在今旧县城内。五代后唐置县,城垣始建未详,约筑于唐宋间。明正德十五年(1520),知县张汝涉因旧开拓。后清乾隆三十五年(1770)、三十九年(1774)、四十六年(1781)、道光二十七年(1847)、同治八年(1869)、十二年(1873)、光绪二十一年(1895)、民国五年(1916)及抗战期间几经修葺。
《陕西通志》云:“本府谷镇,县从镇名也。”镇名何来?未见史籍。盖左右临谷而名。县城形势与之相似,沿用镇名。
城垣南临黄河,断崖峭壁,东、西甘露、马家二沟均通于河。北部“咽喉”与高梁山、五里墩一脉相连,负山阻河,形势险峻,当与铁葭州比雄。环城三里许,呈靴形;城高二丈五尺。置东、南、西、北、小西、小南六门;四大门均有城楼,转角重檐,南门、北门、小西门外挂瓮城,东门、小南门、南门外又设控远门,后废。民国年间,于南门外半坡建逍遥楼,伫立远眺,隔岸保德风物,历历在目,尽收眼底。楼下门联“聊开眼界,以外是近水远山;暂息尘劳,此间有洞天福地”和横额“河山览胜”即是绝妙写照。
城内原有主街二条,横贯东西,其它街巷错落其间,纵横成网。计有万年、仁义、亨利、名教、儒林、宣化6条街道和百福、千祥等12条坊巷。街道两旁,商号林立。1934年前夕,有隆盛元,常发祥、和合元、义和成等30多家,居民宅舍鳞次栉比,约800多户。县署先设正南,明洪武九年(1376)建,清顺治六年(1649)迁于北门内亨利街西侧。民国时,电报局设于城内,财政部直属税局、邮电局、盐税局均在西关。
钟楼位于全城中心,东有文庙、城隍庙、明伦堂、崇圣祠、文昌祠(上两祠民国二十七年改为国民党县党部)、魁星楼、鼓楼等。文庙西侧,民国三十至三十一年(1941~1942)、三十四至三十六(1945~1947)曾两度举办县立初级中学。西有关帝庙(武庙)、祖师坛、观音殿、二郎庙等。北有上帝庙。南有南寺。其间又有木构飞檐斗拱牌楼六座缀饰,古朴典雅。城南半山坡上,有娘娘庙、千佛洞、荣河书院、文星阁。出东门有龙王庙、马王庙、河神庙,还有“方台献瑞”、“玉柱凌云”(开凿河沿公路被毁)和依壁临浔构筑、凿石为屋的悬空寺等名胜。寺庙诸多,其中南寺、文庙尤为壮观。规模宏大,殿宇巍峨、琉璃彩瓦、金碧辉煌,大成殿迄今尚为完整。
府谷一城,易守难攻,向为军事要塞,兵燹频仍,创伤瘢瘢;更有10年内乱,“破除四旧”,毁城墙、拆庙宇,浩劫空前,断垣残壁,瓦砾遍地。粉碎“四人帮”后,特别是中国共产党十一届三中全会以来,群众兴建新宅渐为风气,引黄灌溉上山进城,生机勃发。