इतिहासकारों का मानना है कि इस मंदिर का निर्माण सन् 1583 में विजयनगर के राजा के लिए काम करने वाले दो भाईयों (विरुपन्ना और वीरन्ना) ने बनवाया था। कुछ लोग यह भी मानते हैं कि इसे ऋषि अगस्त ने बनवाया था।
कहा जाता है कि वनवास के दौरान भगवान श्रीराम, लक्ष्मण और माता सीता यहां आए थे। जब रावण माता सीता का अपहरण करके अपने साथ लंका ले जा रहा था, तभी गिद्धराज जटायु ने रावण के साथ युद्ध किया।
मंदिर का रहस्य इसके 72 पिलरों में एक पिलर है, जो जमीन को नहीं छूता। इस मंदिर के रहस्यों को जानने के लिए अंग्रेज इसे किसी और स्थान पर ले जाना चाहते थे। इस मंदिर के रहस्यों को देखते हुए एक इंजीनियर ने मंदिर को तोड़ने का प्रयास भी किया था।
युद्ध के दौरान घायल होकर जटायु इसी स्थान पर गिर गए थे और जब माता सीता की तलाश में श्रीराम यहां पहुंचे तो उन्होंने ले पाक्षी कहते हुए जटायु को अपने गले से लगा लिया। संभवतः इसी कारण तब से इस स्थान का नाम लेपाक्षी पड़ा। मुख्यरूप से “ले पाक्षी” एक तेलुगू शब्द है जिसका अर्थ उठो पक्षी है।
यह मंदिर भगवान शिव, विष्णु और वीरभद्र का है। यहां तीनों भगवानों के अलग-अलग मंदिर मौजूद है। मंदिर के परिसर में नागलिंग की एक बड़ी प्रतिमा है। माना जाता है कि यह भारत की सबसे बड़ी नागलिंग प्रतिमा है।
मंदिर का निर्माण विजयनगर शैली में किया गया है। इसमें देवी, देवताओं, नर्तकियों, संगीतकारों को चित्रित किया गया है।