巨野，因古为大野泽而得名。

原始社会时期，伏羲氏族曾在大野泽农耕渔猎。上古部落首领尧、舜、禹，都曾在此留下宝贵足迹。

春秋时期，巨野为武城地，鲁国西境。公元前475年，巨野属宋国，至公元前286年，改属齐国。

秦始皇二十七年(公元前220年)，设置昌邑县(治所在今大谢集镇昌邑集)。

西汉初期，巨野县境内有昌邑县。西汉中期增置巨野县和乘氏县。昌邑县：始建于秦，前汉为昌邑王国、山阳郡，后汉兖州刺史皆治此，治所在今巨野县昌邑集，所辖包括金乡、巨野、成武、单县4个县的边界地区。乘氏县：汉置侯邑。汉景帝中元六年封梁孝王少子刘买，汉和帝封梁商为乘氏侯。治所在今龙固镇西南甘泉寺一带，其辖区包括巨野东南、菏泽东南、定陶东北部。公元前144年(汉景帝中元六年)，昌邑、巨野属山阳国。公元前140年(汉武帝建元元年)，改山阳国为山阳郡。昌邑、巨野两县属山阳郡，乘氏县属济阴郡。公元前97年(汉武帝天汉四年)，改山阳郡为昌邑国，昌邑、巨野为其属县。公元前73年(汉宣帝本始元年)，撤销昌邑国，复为山阳郡，昌邑、巨野仍为其属。

巨野县城王莽新朝始建国元年(公元9年)，撤销山阳郡，改为巨野郡，以巨野县城为治所。

东汉建武元年(公元25年)，撤销巨野郡，恢复山阳郡，治所在昌邑，巨野、昌邑两县兼属山阳郡和兖州。乘氏县仍属济阴郡。公元192年(东汉初平三年)，曹操任兖州牧，以昌邑为治所。

三国时期，巨野和昌邑两县属山阳郡，乘氏县属济阴郡。

晋武帝泰始元年(公元265年)，改山阳郡为高平国，治所在昌邑，巨野、昌邑为属县，乘氏县仍属济阴郡。

巨野地图南北朝时期，巨野县为多方割据势力统辖。南朝刘宋初年改高平国为高平郡。公元420年(南朝刘宋永初年间)，撤销昌邑县，并入金乡县。公元488年(北魏太和十二年)，乘氏县移置今菏泽市。公元518年(北魏孝明帝神龟元年)，分高平郡，置任城郡。在此期间，巨野县先属南朝高平郡，后属北魏任城郡。北齐撤销巨野县。

隋文帝开皇年间，巨野东北部属郓州东平郡，巨野西南部属曹州济阴郡，巨野东南部昌邑一带属金乡县。开皇十六年，恢复巨野县和昌邑县。隋炀帝大业二年(公元606年)撤销乘氏县，并入巨野县；撤销昌邑县，并入金乡县。

唐高祖武德二年(公元619年)，巨野县属郓州东平郡。公元621年，在巨野县城置麟州，复置乘氏县为属县。公元622年(唐高祖武德五年)，撤销麟州，复置昌邑县，巨野、昌邑两县属戴州(治所金乡)。公元625年，撤销昌邑县，并入金乡县。公元643年，巨野县改属河南道郓州。

后梁、后唐、后晋、后汉四代，巨野县仍属郓州。

后周广顺二年(公元952年)，移济州于巨野县城，并辖郓城、任城、金乡为属县。

北宋初年，巨野县属济州。公元997年(宋太祖至道三年)，属京东路。公元1074年(宋神宗熙宁七年)，改属京东西路。

金朝徙济州治任城县，属山东西路。公元1147年(南宋绍兴十七年、金朝皇统七年)，析任城县以西、巨野县以东地区置县，治所设在山口镇。借春秋时鲁哀公十四年春“西狩获麟”的故事，取其祥瑞之意，定名为嘉祥县，时属山东西路济州。公元1150年，黄河大决，淹没巨野，撤销巨野县。

公元1269年(蒙古至元六年)，恢复巨野县，迁往任城的济州，还(huan)治巨野县。

公元1271年(元朝至元八年)，升州为济宁府。

公元1272年(元朝至元九年)，移府治于任城，移州治于巨野，是年末仍以府治于巨野，复以州治于任城。

公元1279年，升府为济宁路，辖兖、济、单三州。

公元1348年，黄河大决，淹没巨野城，迁济宁路于济州(任城)，迁县治于城北邢家务。

公元1368年(明朝洪武元年)，设济宁府于任城，巨野为属县，隶属于山东布政使司。同时，朱元璋把大批山，居民搬迁至巨野，至今巨野人多为山西那批搬迁而来的人的后代。据传，这些后代的一个特征就是小脚趾有两个脚趾盖。现在巨野新一中附近一村庄仍树立有记录搬迁的石碑。

公元1374年，黄水淹没巨野，至洪武九年消退，县治由邢家务迁入巨野，重建县公署。

公元1385年，兖州升为府，济宁降为州，巨野县属兖州府济宁州。

清朝初年，巨野县属兖沂曹济道、兖州府、济宁州。公元1724年(清朝雍正二年)，改济宁州为济宁直隶州，巨野为属县。公元1730年(雍正八年)，改属曹州直隶州。公元1735年，改曹州直隶州为曹州府，巨野仍为属县。

1912年(中华民国元年)，巨野县属山东省济宁道。国民党政府把巨野县划为9个区：城区、凤鸣区、新城区、顺应区、大义区、忠义区、龙堌区、柳林区、大康区。

1928年废除道制，巨野县直属山东省政府。

1929年，巨野县属山东省二行政督察专员公署。

抗日战争时期，巨野县主要由国民党和日伪政府管辖。按照巨野县公署建设科在1943年绘制的行政区划图，全县分为8个区、16个镇、41个乡。

1938年，巨野县属山东省二行政督察专员公署第十行署。12月9日，日军侵占巨野城。

1939年春，建立日伪县政府。5月，建立中共郓巨工委和抗日县政府，归中共运西专署领导。11月，建立中共巨野工委和巨野县抗日政府，属运西专署。

1941年2月，属巨、菏、金、嘉、成5县联合办事处。

解放战争时期，巨野境内有巨野、郓巨、巨南三个民主县政府，其隶属变革为：(1)巨野县1945年9月至1946年1月，属冀鲁豫11专署(湖西)。1946年1月至1946年3月，属冀鲁豫第7专署(鲁西南)。1946年3月至1948年5月，属冀鲁豫第2专署(运西)。1948年5月至1949年8月，属冀鲁豫第7专署(运西)。(2)郓巨县1945年9月至1946年2月，属冀鲁豫第8专署(运西)。1946年2月至1949年8月属冀鲁豫第2专署(临河)。(3)巨南县1946年2月建立，至1949年8月，先后属冀鲁豫11专署(湖西)和第3专署(湖西)。

1946年，巨野县属二行署。6月8日，冀鲁豫行署决定将抗日县政府改为民主县政府。

1949年5月，调整行政区划，巨野县辖6个区、427个村。8月20日，平原省人民政府成立。巨野县隶属平原省湖西专区。9月，巨野县辖11个区，巨南、郓巨两县撤销。

1952年12月24日，全县建立乡镇148个，12月撤销平原省，巨野县隶属山东省湖西专区。

1955年8月13日，全县1～12区分别改称城关区、沙土区、太平区、大义区、龙堌区、柳林区、章缝区、棠林区、营里区、谢集区、独山区、六营区。

1967年至1977年，巨野县属菏泽地区“革命委员会”所辖。

1978年，撤销各级“革命委员会”，巨野县改属菏泽地区行政公署。

1985年10月24日城关镇更名为巨野镇。

1990年1月1日，嘉祥县的核桃园乡划归巨野县管辖。全县共27个乡镇。

1996年9月5日，将夏官屯镇更名为麒麟镇(鲁地名委[1996]9号)。

巨野2001年2月6日，撤销新城乡、吕官屯乡，其行政区域并入巨野镇；撤销葛店乡，其行政区域并入大义镇；撤销大李集乡，其行政区域并入龙堌镇；撤销昌邑乡，其行政区域并入大谢集镇；撤销薛扶集乡，其行政区域并入麒麟镇；撤销双庙乡，其行政区域并入独山镇；撤销张表乡，其行政区域并入柳林镇；撤销丁官屯乡，其行政区域并入田庄镇；撤销田桥乡、营里乡、陶庙乡，分别设立田桥镇、营里镇、陶庙镇；撤乡设镇后，其行政区域和人民政府驻地不变。至此，巨野县辖16镇：巨野镇、大义镇、章缝镇、龙堌镇、大谢集镇、麒麟镇、独山镇、核桃园镇、柳林镇、田庄镇、田桥镇、太平镇、万丰镇、董官屯镇、营里镇、陶庙镇。

2010年夏，省政府批复同意：巨野县撤销巨野镇，设立凤凰街道办事处、永丰街道办事处。至8月，巨野县辖2个街道办事处、1个经济技术开发区、15个镇。

巨野县境内有古昌邑国遗址、西侯楼古遗址（新石器时代）、麒麟台、齐鲁会盟台、秦王避暑洞、永丰塔、文庙等30多处名胜古迹。

全境为黄河冲积平原，地势平坦，土质肥沃，属温带大陆性季风气候，四季分明，光照充足，雨水充沛，无霜期长。距黄河仅50千米，水系健全，既有充足的地表水、地下水，又可常年引流黄河水。盛产小麦、棉花、玉米、大豆，种植高粱、谷子、花生、绿豆、芝麻、地瓜等杂粮，还有苹果、葡萄、大枣、桃、李、杏、梨等果品。其中核桃纹大枣是传统名优特产。鲁西南黄牛、青山羊及其肉皮产品久负盛名，享誉国内外。矿 产资源主要有煤、山石、天然气、矿泉水等，具有很高的开采价值。巨野煤田为华东地区大的煤田，储量为55亿吨。巨野人民艰苦创业，改革开放以来各项事业发展迅速。农业获得了突飞猛进的发展， 粮棉产量大幅度提高， 农民收入逐年增加。1990年，年产粮食41.8万吨，棉花3.6万吨， 被国家列为商品粮基地县和棉基地县。瓜菜四季丰盛，年总产量6.69万吨。 果树面积1.33万公顷，年产果品6.3万吨。畜牧业发展前景广阔，是国家“鲁西黄牛”繁育基地，青山羊、长毛兔生产基地。全县农业形成了粮棉、果品、瓜菜、畜牧四大产业。 巨野工业基础比较薄弱。新中国成立后，工业从无到有，从小到大，逐步发展。改革开放以来，通过转变生产经营机制，初步形成棉纺、医药、酿造、化工建材、制革、服装加工等10大行业80多个生产门类的工业体系，工业产品1000多种，其中部优、省优产品23种。多种产品打入国际市场。电力除工业用电外，全县已建成农村电网。巨野交通发达，石(臼所)新(乡)铁路东西横贯全境，公路四通八达。乡乡通公路、电话，村村通邮。村有小学、乡有中学、县有专业技术学校。医疗卫生从县到村已形成完整的网络。随着经济的发展，城乡面貌日新月异，人民生活大大提高。

巨野历史悠久、文化发达、名人辈出。（公元前481年）孔夫子获麟绝笔，获麟之地就在今天县城以东的获麟台。孔子的学生曾参、闵损、澹台灭明，孟子的学生咸丘蒙都是巨野人。巨野历史曾有文武进士48人、举人99人。北宋时期，对古文运动做出贡献的王禹偁，“苏门四学士”之一的晁补之独步当时文坛，在文学史具有重要影响。苏轼曾以“至今东鲁遗风在，十万人家尽读书”的诗句，称赞巨野在齐鲁文化中的地位。