中尊寺的山號叫做關山。傳說它是在嘉祥3年（850）由比睿山延歷寺的慈覺大師圓仁創建的。圓仁是天台宗第三代座主，也是作為世界三大遊記之一《入唐求法巡禮行記》的作者而聞名的一位高僧。

　之後，在12世紀初，奧州藤原氏初代清衡進行了大規模的堂塔建設和完善。在寺堂規模方面，根據鐮倉幕府的官方記錄《吾妻鏡》中的記載，「寺塔數量在40座以上，禪房（僧房、僧侶宿舍）在300間以上」。

　清衡創建中尊寺的目的是為了對11世紀後半期在東北地區的長期戰亂（前九年戰役和後三年戰役）中亡故的人們不分敵我地進行祭奠，在被稱為「陸奧」的邊境和東北地區建設一片佛教淨地（通過傳揚佛教來實現的和平的理想社會）。

　清衡在《中尊寺建立供養願文》中將中尊寺描述為「諸佛摩頂之場」。只要身處於這個場（區域）內就好。假如進入中尊寺境內參拜，每個人都會被佛以手撫摸頭頂，並讚歎道「啊，你來啦，你來啦」。 「諸佛摩頂之場」就是表示可直接受到諸佛功德照拂的「神聖場所」的意思。

　二代基衡繼承了父親的志向，提議建造比中尊寺規模更大的毛越寺，三代秀衡完成了這一志向，並且還建造了無量光院。其附近還有被推定為奧州藤原氏政廳遺址的柳之御所遺跡。也許這裡還曾經設有治理東北地區的各種機構。

　平泉在將近100年的時間裡一直作為「日本地方城市的先驅」而繁榮，陸奧曾經是沒有戰爭的「平泉的世紀」。然而，京都的傳統權威、鐮倉的源賴朝勢力以及平泉之間各自針鋒相對，狀況變得嚴峻起來。就在這時，曾活躍在源平之戰、一之谷和屋島戰役中的源義經，與其兄長賴朝相對立，逃到了平泉。不久，保護義經的秀衡病逝，繼他之後的第四代泰衡礙於賴朝的壓力，於文治5年（1189年）閏4月突襲義經並迫其自殺。泰衡自身也受到了賴朝的襲擊，奧州藤原氏由此滅亡。

　到了鐮倉時代後，中尊寺日漸衰退，在建武4年（1337年）的火災中，許多堂塔和寶物遺憾地被燒燬，不過現在仍保存了以國寶建築物第1號金色堂為首的3,000多件國寶及重要文化財。這些國寶及重要文化財的一大特色是包括有漆工藝、木工藝、金屬工藝、染織和書法等多種元素，中尊寺也因此被視為東日本首屈一指的平安佛教美術寶庫。