霍城历史悠久，早在3000年前，这里就有人类足迹。西汉之前塞种人、月氏等相集居于此，后被乌孙代之。魏晋为伊犁后起的悦般所据。至隋唐，为西突厥兼并。唐王朝统一西域后，先属昆陵都护府，后归北庭大都护府管辖。五代至宋朝时期，先后属喀拉汗国和西辽王朝。13世纪初，臣属西辽的葛逻禄部在今县域内（今61团场所在地）建阿力麻里城。宋嘉定十二年（1219年），蒙古成吉思汗经这里西征，统治了整个中亚。宋宝庆元年（1225年），成吉思汗分封诸子，霍城为察合台汗国领地。元至元十二年（1275年），忽必烈为统治西北，在阿力麻里城设行中书省，派皇太子北平王那木汗镇守阿力麻里城。元廷祐五年（1318年），东察合台汗定都阿力麻里城。在元代，阿力麻里城是中亚的政治、文化、经济中心和东西交通枢纽。明永乐年间，县境为瓦剌游牧地。明崇桢十六年（1643年）后，属于蒙古准格尔部统治。清乾隆二十年（1755年），清政府平定准噶尔部后，在县境内乌哈尔里克（今水定镇）设办事大臣。清乾隆二十七年（1762年），在乌哈尔里克筑绥定城，设伊犁总统等处将军，统治天山南北和巴尔喀什湖以东和以南广大地区。清乾隆二十八年（1763年），在伊犁河北岸修筑城廓。乾隆帝赐名曰“惠远”，伊犁将军移住惠远，惠远成为新疆的政治、军事中心。先后在伊犁修建了塔勒奇、广仁、瞻德、拱宸、熙春、宁远、惠宁等，连同绥定城史称伊犁九城。同治十年（1871年），沙俄乘伊犁内乱之机，以“代收代守”为名，武力侵占伊犁。光绪二年（1876年），左宗棠率兵荡平阿古柏政权收复伊犁。光绪十三年（1888年1月），清政府批准设伊犁府，府驻绥定城，设绥定县（县城驻绥定城）。同年，设霍尔果斯分防厅，隶属伊犁府。
    民国元年（1912年），以伊犁陆军协统杨缵绪为首的革命党人在惠远起义成功，成立中华民国政府新伊大都督府。民国二年（1913年）裁伊犁府，绥定县属伊塔道。民国三年（1914年），撤霍尔果斯分防厅，绥定县析出霍尔果斯县，县城驻拱宸城。民国六年（1917年），伊塔分道，绥定、霍尔果斯县属伊犁道。邱处机、祁韵士、洪亮吉、林则徐、徐松、谢彬、袁鹰、邓廷桢等历史文化名人都曾驻留霍城，留下传诵久远的妙文佳句。
    新中国成立后，绥定县、霍城县（原霍尔果斯县）隶属伊犁专员公署。1966年1月18日，撤消绥定县，将绥定县的行政区域并入霍城县，县人民政府驻水定镇。2010年，全县下辖5镇、5乡、2个牧场、1个良种繁育中心、90个村（队）。境内驻有新疆生产建设兵团农四师所属5个团场、四个师直企业、霍尔果斯口岸管委会、69348部队等20多个县团级单位。