据《洛阳市志》记载：清光绪二十七年（公元1901年）九月十六，慈禧太后与光绪帝由西安返京路过洛阳，河南知府文悌竭力准备迎接大典，并将周南驿扩为行宫，又大修龙门、关林，以备慈禧等人游览。
在当时来说，两宫回銮是一件大事，慈禧和光绪在河南府（洛阳）境内一共历经10多天时间，其中7个晚上是在洛阳行宫周南驿安寝。为了迎接两宫回銮，文悌耗银3万两将周南驿扩建为行宫，并整修了洛阳城门和街道，所费银两主要来自买卖城西门到周公庙两边的官田和军田。两宫随行人员和护驾兵勇住满了洛阳城内的大小街巷。当时洛阳城内居民有四五万人，一下子平添的官员及家属就有3000多人，超过了当时洛阳的接待能力，洛阳大街小巷的旅馆和居家都住满了王公大臣及随行人员。
据《慈禧全传》记载，在抵达洛阳的第二天，两宫召见地方官员，最先召见的是河南巡抚于荫霖，并与他进行了较长时间的谈话。
于荫霖，吉林省伯讷厅人，清光绪二十六年（公元1900年）被清廷任以河南巡抚。此人是清末著名的清官，勤奋，忠于职守。于荫霖任湖北巡抚期间，曾对贪官污吏出以重拳，对查出的贪吏均予严惩。
慈禧太后和光绪皇帝召见了于荫霖之后，接着召见了四位当地的富绅。下午，慈禧太后和光绪皇帝又陆续召见了一些在洛阳的贵戚，拉拉家常，还询问了洛阳当地的一些其他情况。
当天，两宫一方面在行宫召见地方官员，另一方面等待后续到达的官员和家眷。在接见了地方官员之后，慈禧太后和光绪皇帝也想顺便看看洛阳城。当时的洛阳城仅限于今天的老城之内，已经失去了往日古都的辉煌，不过城东门外倒是有一些庙宇和古老的建筑，还有北宋皇帝赵匡胤的太祖庙等遗迹。
清末时，洛阳城东郊祠、庙甚多，比较有名的有千祥庵等。千祥庵旧址位于今天的瀍河回族区中州东路以北、爽明街以东、河南科技大学林业学院西围墙内。据魏襄修、陆继辂编纂的《洛阳县志》记载，千祥庵为明末福王府景禄、景泰所建，清康熙四十四年（公元1705年）重修。千祥庵坐东朝西，南北各有一跨院，正院长二十丈，宽七八丈。千祥庵的山门建在三尺多高的台阶上，进入山门之后依次为天王殿、大雄宝殿、钟鼓楼、观音堂。南院窄长，约有正院的一半大，北院是存古阁。
慈禧太后每到一地都要去当地有名的寺庙烧香。文悌知道太后晚年喜欢书法，在西安看过碑林，而洛阳的石刻最为有名，千祥庵内的存古阁有不少隋唐石刻。文悌告诉太后，东关的千祥庵是洛阳城有名的寺院，并且还有隋唐石刻。太后听后很高兴，想去烧烧香，顺便也看一看隋唐石刻。第三天上午，慈禧太后和光绪帝从行宫来到十字街，顺便看看洛阳城的市容，然后沿东大街出东门，过瀍河桥到千祥庵烧香。在千祥庵殿内烧香后，他们顺便来到存古阁，观赏里面的隋唐石刻。
清道光二十年（公元1840年），洛阳县令马恕在东关的千祥庵内创建了存古阁。存古阁是官办的石刻保存所，专门收集储存当地的碑刻墓志、经幢等文物。马恕是山西介休人，进士及第，公元1827年出任洛阳县令，用今天的话来说在洛阳当县长五年。马恕是个文化人，对洛阳的文化和古文物非常喜爱，上任读志，看到龚崧林修纂的《洛阳县志》未收录石刻，魏襄修编纂的《洛阳县志》金石卷所列的石刻不足500种，不足以反映洛阳石刻数量之丰富，于是致力于搜寻石刻，并在千祥庵北跨院建屋储存，是为“存古阁”。马恕还亲书“存古阁”三字镌刻在院门额横石上，落款：道光庚子，介休马恕。由此可知存古阁建于公元1840年。一直到抗日战争期间，存古阁一直是河洛地区的官办储物馆，馆内收藏了包括西晋韩寿墓表在内的许多稀世珍品。古人有云“墓前开道建石柱以为标，谓之神道”，即华表，通常亦称“墓表”。“韩寿偷香”的典故说的就是西晋的韩寿。据有关史料记载，清嘉庆年间，韩寿的墓表在一处古井中被发现。韩寿墓表曾长期被收藏于洛阳千祥庵的存古阁，现存关林。
清道光年间，存古阁成为当时全国最负盛名的石刻博物馆之一，林则徐流放新疆经过洛阳时曾造访存古阁。民国初年，常熟人曾炳章任洛阳县长，进一步扩充了馆藏。抗日战争期间，存古阁被日军飞机轰炸损坏，馆藏散尽。