首先應(yīng)該從遠古時期說起。近兒十年的考古發(fā)掘，一可以證明山西在遠古時代是一個很重要的地區(qū)。在國內(nèi)已發(fā)現(xiàn)的七八十個舊石器時代遺址中，山西占了二十幾個。從南邊丙城縣的  河遺址，襄汾縣的丁村遺址，一直到北邊朔縣的峙峪遺址，陽高縣的許家窯遺址，都是舊石器時代有名的文化遺址。到了新石器時代，山西境內(nèi)的文化遺址就更多了。仰韶文化遺址遍布全省。雁北地區(qū)又有一部分細石器時代的遺址。這說明山西在石器時代是全國的一個文化中心。

再從傳說中的古史來看，唐堯、虞舜、夏禹時代的首都都在今天的山西南部。堯都平陽就是現(xiàn)在的臨汾，舜都蒲坂就是現(xiàn)在的永濟縣蒲州，禹都安邑在今天的運城縣境內(nèi)。關(guān)于堯舜禹的都城雖然還有各種不同傳說，有的說在山東，有的說在河北，但在山西的傳說卻比較可信。因為有關(guān)他們的活動范圍的傳說主要在山西。比如傳說夏禹出于西羌，那個時候的西羌應(yīng)該就是指今天山西境內(nèi)的羌族。整個夏朝的主要活動范圍，就在今天的山西南部和河南西部。所以，從堯舜一直到夏朝，山西，主要是晉南，是當時華北的政治經(jīng)濟文化重心。

商朝起于東方，它推翻了夏朝后，山西就失去了重要性。到了西周初年，周成王將其弟唐叔虞封在山西，旋改國號為晉。不過西周時的晉國并不很重要。到了春秋，晉國就發(fā)展成為黃河流域的一個最強大的國家。

春秋初年，黃河流域的強國是鄭國、齊國，到了中期和晚期，在很長的一段時期內(nèi)，晉國則是黃河流域第一流的強國，率領(lǐng)華夏諸中小國和長江流域的霸主楚國相抗衡，這就是歷史上著稱的“晉楚爭霸”時期。而晉國的中心就在山西，前期的首都在絳，亦稱翼，在今翼城縣東南，后期遷于新田，亦日絳，故址在現(xiàn)在的侯馬。

戰(zhàn)國初期，韓趙魏三家分晉，是謂三晉。三晉都是當時的大國，初期的魏和中期的趙還是數(shù)一數(shù)二的強國。三晉的首都初期都在山西，趙在晉陽(今太原市晉源)，韓在平陽(今臨汾)，魏在安邑(今夏縣北)。只是到了中期以后，才先后離開山西移向河北、河南的平原地區(qū)。魏國由安邑遷到大梁(今河南開封)。趙國由晉陽一遷中牟(河南湯陰)，再遷邯鄲(河北邯鄲市)。韓國由平陽一遷宜陽(河南宜陽)，再遷陽翟(河南禹縣)，再遷鄭(河南新鄭)。可以看出，春秋時期和戰(zhàn)國初期，山西在華北的地位是很重要的，戰(zhàn)國中葉才稍形衰落。   

到了秦漢時，山西在政治上就不太突出了。但是晉南地區(qū)的經(jīng)濟、文化還是比較發(fā)達的。司馬遷作《史記?貨殖列傳》，講到當時各地的民風習俗，認為三河是“天下之中”，“土地小狹，民人眾”。三河即河?xùn)|、河南、河內(nèi)三郡。河?xùn)|郡就是今天山西的晉西南一帶。這一地區(qū)地狹人稠，可見經(jīng)濟文化是比較發(fā)達的。太史公還特別講到楊和平陽兩縣的人特別會做買賣。楊就是今天的洪洞縣，平陽即今天的臨汾。

 到了魏晉南北朝時代，由于山西境內(nèi)有許多少數(shù)民族在活動，山西又顯得重要起來。這種變化，淵源于東漢時代。

在上古時代，山西境內(nèi)就有過許多少數(shù)民族。甲骨文里有許多“羌”，可能就在山西境內(nèi)。西周時，山西也有很多少數(shù)民族在活動。見于商周記載的燕京之戎在今晉中太原附近一帶，條戎在中條山一帶，余無戎在晉東南一帶，西落鬼戎在晉西北。春秋時，晉中、晉南到處分布著赤狄惑咎如、東山皋落氏、潞氏、留吁、鐸辰等部落，此外太行山中還有驪戎和長狄 瞞，三門峽的北岸還有茅戎。西周時的晉國并不太強大，到了春秋時逐漸把山西南部、中部的戎狄并吞，才成為中原最大的強國。但雁北一帶還有代、林胡、樓煩等戎狄，到戰(zhàn)國時又為趙國所吞并。經(jīng)過長期的接觸兼并，戎狄羌胡逐漸同華夏融為一體，因此到了秦和西漢時，山西境內(nèi)基本上都是漢族了。

東漢初年(光武帝時)，又有新的兄弟民族進入山西。這時北邊的匈奴分裂為南匈奴和北匈奴兩部分，南匈奴投降漢朝，東漢政府就讓他們?nèi)刖訚h朝境內(nèi)。從此西河、北地、朔方、五原、云中、定襄、雁門、代沿邊八郡都分布著匈奴部落。八郡中雁門、定襄兩郡在今山西雁北、忻縣地區(qū)，代郡一部分在今山西忻縣地區(qū)，一部分在今河北張家口地區(qū)。到了東漢末年，天下大亂，一部分匈奴南向抄掠，隨即定居在河?xùn)|，即今晉西南一帶。獻帝建安中，曹操分其眾為五部，使散居于“晉陽汾澗之濱”，共有三萬余落。

 西晉初，又有大批匈奴人從塞外搬進山西。這時山西全境共分為七、八個郡，差不多每一郡都有匈奴雜居，北部諸郡，甚至“胡多于民”。

在封建時代，當漢族所建立的王朝比較穩(wěn)固時，對境內(nèi)的少數(shù)民族總是剝削、壓迫得很厲害，因此一到漢族王朝的統(tǒng)治勢力衰落下來，少數(shù)民族當然就要起來造反。西晉末年就是這種狀況。西晉末年，就是公元四世紀初，山西境內(nèi)的匈奴酋長劉淵首先起兵發(fā)難，造西晉統(tǒng)治者的反。304年劉淵起兵離石(今離石)，建號漢，不久即遷都平陽(今臨汾)。劉淵死后，其子劉聰在311年攻克了西晉首都洛陽，俘了懷帝，西晉被迫把都城遷到長安。316年劉聰又打下了長安，俘虜了藩帝，滅亡了西晉。這在歷史上影響很大，從此開始了一百幾十年所謂“五胡亂華”、五胡十六國各據(jù)一方的局面。

 結(jié)束這一黃河流域戰(zhàn)亂局面的，也是以山西為根據(jù)地的少數(shù)民族一一鮮卑拓跋部。

鮮卑族原來居住在蒙古高原，分成好幾支，其中拓拔鮮卑這一支逐漸向南遷移，到了曹魏時代，已把重心遷到了盛樂，即今內(nèi)蒙的和林格爾。西晉末年，乘中原大亂，又繼續(xù)向南擴張，占領(lǐng)了雁北地區(qū)，338年建國號為代，376年為前秦所滅。383年視水之戰(zhàn)后，前秦瓦解，386年拓跋部復(fù)建代國。復(fù)國后當年就改國號魏，398年，把首都從盛樂遷到平城(今山西大同)。這就是歷史上所謂北朝的第一個朝代―北魏。經(jīng)過了半個多世紀的戰(zhàn)爭，439年北魏統(tǒng)一了黃河流域，結(jié)束了五胡十六國的分裂割據(jù)局面。    到了公元495年，北魏孝文帝才把首都從平城搬到河南洛陽。這是由于孝文帝熱心漢化，想消滅南朝，統(tǒng)一全國，而雁北地區(qū)長期為少數(shù)民族所居住，北魏時，已經(jīng)基本上沒有漢人了，都城建在此地，不利于他的漢化政策，所以才決心排除保守勢力的抵制，毅然把首都遷到了黃河流域的漢文化中心洛陽。但在此前半個多世紀，在今山西的平城一直是整個北朝的統(tǒng)治中心。

遷都洛陽后不久，只隔三十多年，北魏的實際統(tǒng)治中心又回到了山西，這是由于山西境內(nèi)，又有一種少數(shù)民族―契胡興起。契胡到底是一種什么民族，現(xiàn)在還搞不很清楚。北秀容(今朔縣一帶)契胡爾朱氏ykf-為領(lǐng)民酋長，至六世紀二十年代魏明帝時，爾朱榮以功都督并、肆、汾、唐、恒、云六州，駐晉陽，這六州差不多就等于今山西全省。

528年，北魏發(fā)生宮庭政變，胡太后殺了明帝，另立幼主。爾朱榮乘機舉兵自晉陽南下，立孝莊帝，沉太后及幼主于黃河，殺朝士二千余人，進入洛陽，控制了朝政。他一度想遷都晉陽，后來又放棄了這個主意，留下幾個心腹把持朝政，自歸晉陽。于是北，卜國的實際政治中心從河南的洛陽轉(zhuǎn)移到了山西的晉陽。不久孝莊帝誘爾朱榮入朝殺之，榮的從子爾朱兆又從晉陽起兵入洛，執(zhí)殺孝莊帝。榮部將高歡又起兵討滅爾朱氏，立孝武帝于洛陽，白為大7}相，居晉陽，仍然是爾朱氏掌握政權(quán)時的格局0534年孝武西奔長安依宇文泰，高歡改立孝靜帝，遷都于鄴，史稱東魏，高歡仍以承相居晉陽，留親信于鄴執(zhí)朝政。歡死子澄繼，澄死弟洋繼，所以東魏一代十六年，魏帝雖都鄴，實際政治中心一直在晉陽。550年高洋篡魏，史稱北齊。北齊一代二十七年，以鄴為上都，晉陽為卜都，皇帝經(jīng)常來往于兩都間，晉陽在軍事上的重要性有過于鄴。故周武帝伐齊，以重兵直指晉陽，晉陽既克，太行山以東也就一舉而定，北齊就此滅亡。由于晉陽在北朝后期地位極為重要，所以北周滅齊之初，還在晉陽設(shè)置了并州宮和六府。并州宮是皇帝的行宮，六府是仿照中央政府的規(guī)制設(shè)置天官地官春官夏官秋官冬官六府，作為中央政

府的分設(shè)機構(gòu)。到形勢穩(wěn)定后，才予以撤銷。

可見，從四世紀初劉淵起兵一直到六世紀后期577年北周滅北齊，山西在北中國的地位一直很重要，平陽、平城、晉陽，先后更迭成為很重要的政治軍事中心，中間間斷的時間才反少。

隋唐大一統(tǒng)時期，山西的地位雖沒有南北朝時重要，但仍有相當?shù)闹匾浴?/div>