夏商时期，市境属“淮夷”之地。西周时期，市境大部为州来国所辖，南部地区分属六、蓼。春秋末期，诸侯纷争。周襄王三十年（前622）楚灭六、蓼，市境南部入楚。周景王十六年（前529）吴灭州来，市境属吴。随着楚国势力的扩张，位于淮河上游的蔡国被迫几度迁都，求救于吴。周敬王二十七年（前493），在吴国的支持下，蔡国迁都州来，改州来为下蔡。战国初期，周贞定王二十二年（前447），楚惠王灭蔡，市境属楚。战国末期，楚考烈王二十二年（前241）迁都于寿春，改寿春为郢。楚王负刍五年（前223），秦灭楚。

秦始皇二十六年（前221），秦统一六国，市境淮河以南属九江郡（郡治寿春），凤台县及淮河以北属泗水郡。汉高祖四年（前203），刘邦封英布为淮南王，首置淮南国，都六（今六安），辖九江、庐江、衡山、豫章4郡。汉高祖十一年（前196），英布获罪伏诛，改封刘长为淮南王，都寿春（今寿县）。

汉文帝六年（前174），刘长获罪流放，死于途中。文帝改封城阳王刘喜为淮南王。汉文帝十六年（前164），淮南国被分为淮南、衡山、庐江，分别封给刘长的3个儿子，长子刘安继任淮南王，都寿春。汉武帝元狩元年（前122），刘安获罪自尽，废淮南国，复为九江郡，治寿春。元封五年（前106），置十三州刺史部，属扬州刺史部，驻九江郡，寿春为九江郡治所。西汉时期，市境先后为淮南国、九江郡所辖，凤台县属沛郡下蔡县。东汉时期，市境为九江郡所辖，分属寿春县、下蔡县。三国时期，曹魏设淮南郡，寿春为郡治兼扬州治所。其后，魏文帝先后封其子曹邕及其弟曹彪为淮南王，明帝青龙元年（233）移治合肥新城。其间，市境为淮南郡所辖。西晋初年，扬州迁治建邺，淮南郡迁治寿春，市境为其所辖。永嘉乱起，淮河流域沦为战乱区，江淮郡县大批废弛，北人南迁。东晋咸和初年侨置淮南郡于丹阳郡湖县，市辖境则为侨置的南梁郡。孝武帝时，因避帝后郑阿春名讳，改寿春为寿阳。南北朝期间，刘宋、南齐、萧梁沿袭东晋，侨置淮南郡于江南。市境淮河以南先后有豫州、南梁郡等侨置郡县。北魏、北齐、北周、隋时，市境淮河以南复为淮南郡所辖，淮河以北属汝阴郡下蔡县。隋开皇八年（588）置淮南行台尚书省，治所寿春；次年灭陈，改行台省为寿州总管府。大业三年（607）改置淮南郡，寿春为郡治所。

唐置淮南道，市境淮河以南属淮南道寿州所辖。天复二年（902），唐封淮南节度使杨行密为吴王，都扬州，寿州为吴国地。淮河以北属河南道颍州下蔡县。五代初，吴天祐四年（907）置寿州忠正军节度使。吴天祚三年（937）南唐代吴，以寿州置清淮军节度使。后周显德四年（957）世宗拔寿州，置忠正军节度使，徙军治、州治于下蔡（今凤台），称北寿春，寿州称南寿春。北宋置淮南路，市境属淮南路寿州（治下蔡）所辖。熙宁五年（1072）分淮南路为东西两路，市境为淮南西路寿州所辖。徽宗政和六年（1116）升寿州为寿春府，府治在北寿春（下蔡）。南宋绍兴十一年（1141），宋金和议，以淮河、大散关为界，市境淮河以北属金国，淮河以南为宋地。金以下蔡为寿州，置防御使，隶汴京路（后改称南京路）。宋置安丰军，治安丰县，寿春隶安丰军。绍兴三十二年（1162）复置寿春府，隶淮南西路，寿春为府治，兼制安丰军。元代，市境属河南江北行中书省安丰路，分属寿春、下蔡两县所辖。至元二十八年（1291）建怀远县，今市区东部属怀远县辖地。明代，市境属南京凤阳府辖地，分属寿州（包括今凤台县）、怀远县。清初，市境属江南行省凤阳府，分属寿州、怀远县所辖。顺治十八年（1661）置江南省左、右承宣布政使司，凤阳府隶属左司。康熙六年（1667），江南省左布政使司改称安徽布政使司。雍正十一年（1733）从寿州分置出凤台县，辖下蔡县故地，同城分治。同治三年（1864）凤台县迁治下蔡县故地（今城关）。同治四年（1865），安徽置3道，市境隶属凤颍六泗道（后改为皖北道）凤阳府。民国元年（1912）废道府，市境分属寿县、凤台县、怀远县。民国3年（1914），市境属安徽省淮泗道（治凤阳县）。民国21年（1932），市境隶属安徽省第四行政督察区，专员驻寿县。民国27年（1938）改属第三区，专员先后驻立煌（今金寨）、六安。民国29年（1940），第三区改为第二区。其中有“淮南三镇”之称的田家庵、大通、九龙岗均属怀远县所辖。

1949年1月18日淮南解放。市境分属淮南矿区、寿县、凤台县。1949年3月，中共中央华东局决定在淮南三镇的基础上设立淮南煤矿特别行政区；4月，淮南煤矿特别行政区改设为淮南矿区。1950年9月，建县级淮南市。1952年6月，建立省辖淮南市。1977年1月，凤台县由阜阳专区划入。1999年11月，毛集社会发展综合实验区批准成立。2004年7月，孔店乡、三和乡、曹庵镇、史院乡、孤堆回族乡、杨公镇、孙庙乡由长丰县分别划入淮南市大通区、田家庵区、谢家集区。2015年12月3日，国务院批复同意六安市寿县划归淮南市管辖；2016年1月，寿县正式划归淮南市。