Til mange steder i Danmark er der knyttet variationer af et sagn, der fortæller, at her skulle have været opført en kirke, men hvad de lokale byggede om dagen, brød de underjordiske ned om natten. Ofte var udfaldet på sagen, at man tog varsler af dyr – en due, føl, tyre eller kalve – og lod dem gå frit omkring til de lagde sig til hvile. På det sted dyrene slog sig ned, opførte man så kirken.
I det midtfynske Espe sogn findes beretninger fra to forskellige steder, hvor kirken skulle have været opført, og begge ligger fjernt fra den landsby, hvor kirken faktisk blev bygget. Espe Kirke er en typisk romansk landsbykirke, bygget i råt tilhugne kampesten. Det er imponerende mængder af råmaterialer, man har transporteret til stedet for at konstruere soklen og opføre bygningen omkring år 1200. Benovelsen bliver ikke mindre, når man konstaterer, at Espe-egnen ikke ligefrem er – undskyld udtrykket – stenrig.
Generelt skal man være meget forsigtig med at tillægge meget sandhedsværdi i de sagn, der typisk er indsamlet af folkemindesamlere i 1800-tallet og starten af 1900-tallet. Helt kan det dog ikke udelukkes, at der kan være et gran af sandhed i det ene af de to fortællinger fra Espe.
Det ene kirkebyggersagn fra Espe sogn er knyttet til en langdysse i en skov et par km fra landsbyen. Sagnet er overleveret i to forskellige varianter, der dog rummer den samme grundfortælling. Ifølge den ene variant fortælles, at da kirken skulle bygges, var det på det sted, hvor langdyssen ligger. Det Espefolkene byggede om dagen, blev imidlertid revet ned om natten. Man må have ment, at stedet var forhekset og måtte find et nyt. Løsningen blev at binde to føl sammen og lade dem gå. På det sted, hvor føllene lagde sig til ro for natten, blev kirken efterfølgende bygget.
En anden version af sagnet blev fortalt til Nationalmuseets udsending, da han i 1885 besøgte Espe for at lave optegnelser om fund og fortidsminder i sognet. Fra beboerne på gården Stavlund, der ejede skovstykket med langdyssen, fik han oplyst, at der havde været en bygning på langdyssen – og at Espe Kirke oprindeligt skulle have ligget her. Da arbejdet med kirkens opførelse var begyndt, fløj en due med et korn i næbbet hen til det sted, hvor kirken nu ligger, og man besluttede så at bygge den der i stedet.
Det kan afvises, at der nogensinde har været tilløb til at opføre en kirke på nogle af de to steder i Espe sogn, hvortil kirkebyggersagnene er knyttet. I ældre middelalder, hvor kirkebyggeriet var på sit højeste, blev kirker opført i nær tilknytning til landsbyerne, og det er også tilfældet med Espe Kirke.
At langdyssen syd for Espe blev knyttet til kirkebyggeri er ikke så usædvanligt. Før man fandt ud af, at storstensgrave var forhistoriske menneskers værk, blev de opfattet som opført af kæmper eller trolde. Det afspejler sig i mange tilfælde i storstensgravenes navne, der hyppigt rummer elementer som kirke, alter eller ting, simpelthen fordi man har opfattet dem som gamle hellig- eller tingsteder. Betegnelsen kæmpehøje eller jættestuer, der er knyttet til de store stenbyggede kamre, skyldes således forestillingen om, at de var bygget af jætter.
Det kan dog ikke helt afvises, at der kan være en forbindelse mellem Espe Kirke og langdyssen et par km borte. Da Nationalmuseets udsendte fik oplysningerne om dyssen fra gårdens beboere kunne de berette, at man havde fjernet storstensgravens randsten i mands minde. Derimod vidste man ikke noget om de langt større sten, der må have indgået i dyssekamrene, så de kan være fjernet længe før 1885.
I et landskab, der er relativt fattigt på større sten, er det sandsynligt, at man kom langt omkring i jagten på råmaterialer, da stenkirken skulle opføres omkring år 1200. Kirkens sokkel – for ikke at tale om døbefonten – har krævet sten af betydelig størrelse, og dem har man lettest kunnet hente i lokale storstensgrave. Helt utænkeligt er det derfor ikke, at langdyssens kamre blev fjernet allerede omkring år 1200 og måske i dag indgår i Espe Kirkes sokkel eller har udgjort råmaterialet til kirkens døbefont. Hvis det skulle være tilfældet, kan man i generation efter generation have genfortalt historien om afhentningen af stenene i dyssen i skoven ved Stavlund. Med tiden kan fortællingen have ændret karakter til de versioner, der blev nedskrevet ca. 700 år efter kirkens opførelse.
