西安碑林的源頭可追溯至唐代立于帝都長安城務本坊國子監內的《石臺孝經》、《開成石經》。唐天祐元年（904年），長安駐守韓建縮建長安城，將原存務本坊國子監內的一部分石經遷至唐尚書省附近的文宣王廟（今西安社會路一帶）。后梁開平三年至乾化四年（909年—914年），長安駐守劉鄩接受幕吏尹玉羽建議將其余石經遷至唐尚書省之西隅（今西安社會路一帶）。北宋景祐二年（1035年），范雍在唐尚書省西隅附近建立京兆府學；元豐三年（1080年），呂大防將文廟和府學的一部分遷至西安碑林現址；元祐二年（1087），陜西轉運副使呂大忠因看到保存在唐尚書省之西隅的石經“地雜民居，其處洼下”，遂將石經及其他唐宋碑刻徙至“府學之北墉”；崇寧二年（1103），虞策知永興軍時將府學徹底遷至“府城之東南隅”即西安碑林現址，并進行了修建和改造。至此，府學、文廟與碑林同在一地，即今西安碑林所在地。金正隆五年（1160年），河中府同知府尹耶律隆和陜西東路轉運副使周維甫對碑林進行了修葺。