정림사지는 옛 백제 고도인 부여 시가지의 중심부에 위치한 백제시대 대표적인 절터이다. 백제가 웅진에서 사비로 도읍을 옮기면서 왕궁, 관청, 주거지 등이 건설되었는데 이 즈음인 6세기에 사찰도 함께 창건되었을 것이며, 금당터의 붉게 탄 소토면으로 보아 백제 멸망 당시 화재로 인하여 이 절도 소실된 것으로 추정된다.

백제 당시의 절 이름은 알 수 없으나 기와에 기록된 내용을 보아 고려 현종 19년1028에 정림사라는 이름으로 중창 된 것으로 보인다. 정림사지 오층석탑에는 660년 8월 15일 당나라의 소정방이 ‘대당평백제국비명大唐平百濟國碑銘’이라 새긴 글자들이 남아있고, 조선후기 지리지인 『여지도서輿地圖書』 에 관련 기록이 보인다.

조선시대에 정림사지 오층석탑은 백제 패망시 당나라 소정방의 승전기공기 때문에 ‘평제탑 平濟塔’으로 불렸다.
1759년 『여지도서輿地圖書』의 읍지 고적조에 평제탑은 현 남쪽1리 교촌 앞에 있고 소정방이 백제를 평정하고 세운 기공탑으로 기록되어 있다. 1845년 「부여현 읍지」에 실린 부여현지도를 보면 향교옆에 석탑과 함께 미륵불의 두상이 그려져 있다.