山東，金代以前為地理概念，泛指崤山、華山或太行山以東的黃河流域廣大地區。金代大定八年（1168年）置山東東、西路統軍司，山東遂成為正式行政區劃名稱。明代山東布政司（又稱行省）管轄6府、104縣，大致奠定了今山東省行政區域范圍。清代山東基本沿襲明代山東的版圖，稱山東省。因西周封邦建國時，今山東境內曾存有齊、魯、曹、滕、衛諸國，周公旦封于魯，所以現在山東又簡稱“魯”。清末，山東省有濟南、東昌、泰安、兗州、沂州、曹州、登州、萊州、青州、武定10府，濟寧、臨清、膠州3個直隸州，共轄8個散州96個縣。中華民國初期，劃分為濟南、濟寧、膠東、東臨4道，屬縣107個。1928年廢道，各縣直屬省。1937年10月，日軍侵占山東，國民黨省政府流亡。1938年7月，中共蘇魯豫皖邊區省委發出關于恢復縣、區、鄉政權的指示，到年底有12個縣成立了抗日民主政府。1939年7月，中共山東分局將山東劃分為3個區和2個特區：膠濟路南、隴海路北、津浦路東為一區，津浦路西為二區，膠東為三區，湖西、清河為特區。1940年8月，山東省戰時工作推行委員會成立，下轄16個專員公署，88個縣。1945年8月，根據山東省出席中國解放區代表會議全體代表聯名建議，省臨時參議會和省行政委員會第20次聯席會議決定，改山東省戰時行政委員會為山東省政府，黎玉為省政府主席，下設5個行政公署，共轄21個專署、119個縣。1945年8月13日，由7個廳局組成的山東省政府在莒南縣大店鎮宣告成立。這標志著中國共產黨領導建立的第一個省級政權——山東省政府的誕生。1949年3月，山東省政府改稱山東省人民政府，下轄14個市（包括濟南、青島、徐州、濰坊4個省轄市）、140個縣、2個辦事處、2個特區。1950年，將16個專區合并為滕縣、臨沂、泰安、沂水、德州、惠民、淄博、昌濰、膠州、萊陽、文登11個專區。
1952年，平原省撤銷，所屬聊城、菏澤、湖西3個專區29個縣劃歸山東。原河北省臨清、館陶、恩城、夏津、武城5個縣劃歸山東。而將山東的東光、吳橋、寧津、慶云、鹽山、南皮6個縣劃歸河北；徐州市、新海連市及豐、沛、華山、銅北、贛榆、邳、東海等縣劃歸江蘇。
1953年6月，滕縣專區更名為濟寧專區。7月，撤銷湖西專區和沂水專區，將其所屬縣市分別劃歸濟寧、菏澤和臨沂專區。1954年12月，撤銷淄博工礦區，設立淄博市。1958年，萊陽專區更名為煙臺專區。1960年，撤銷嶧縣，設立棗莊市。1963年，河南省東明縣劃歸山東。1964年，范縣劃歸河南。1965年，館陶劃歸河北，河北省的寧津縣、慶云縣劃歸山東。1967年，專區更名為地區，全省共轄德州、惠民、昌濰、煙臺、臨沂、泰安、濟寧、菏澤、聊城9個地區，濟南、青島、淄博、棗莊4個省轄市，5個縣級市，107個縣。1981年5月，昌濰地區更名為濰坊地區。1982年11月，設立省轄東營市。1983年，撤銷煙臺地區、濰坊地區、濟寧地區，設立地專級煙臺市、濰坊市、濟寧市。1985年，撤銷泰安地區，設立地專級泰安市。1987年，威海市升為地專級市。1989年日照市升為地專級市。1992年，惠民地區更名為濱州地區，萊蕪市升為地專級市。1994年，撤銷臨沂地區、德州地區，設立地專級臨沂市、德州市。1997年，撤銷聊城地區，設立地專級聊城市。2000年，撤銷濱州地區、菏澤地區，設立地專級濱州市、菏澤市。
至2004年底，全省劃分為濟南、青島、淄博、棗莊、東營、煙臺、濰坊、濟寧、泰安、威海、日照、萊蕪、臨沂、德州、聊城、濱州、菏澤17個地級市，縣級單位140個，鄉鎮級單位1941個，其中，街道辦事處423個，鄉295個，鎮1223個。
