Kirkens historie fortaber sig i det ukendte, der findes ikke ret mange optegnelser, hverken i Oksenvad eller Jels Pastorats arkiver. Kirken der var før den vi kender i dag, var en kvadrestenskirke lille og uanselig og oprindelig indviet til Sct. Anna. Der var ingen tårn men på den vestlige gavl en lille tagrytter, hvori kirkeklokken var anbragt, den var støbt i Fredriksværk 1840 og bar navnene på sognepræst U.S. Boesen og kirkeværgerne H.Hansen og J. Dall.

Oprindelig var kirken tækket med bly, der senere på nordsiden var erstattet med tegl. Indvendig var kirken forsynet med lukkede stolestader, på nordvægen fandtes et pulpitur der var forbeholdt ejerne af Mariegård, Jelsgård og St. Barsbøl

I regnskaberne om tales enkelte tilbygninger og ændringer, våbenhuset omtales tidligst i 1667 og det eneste man ved er at det i 1668 blev tækket med strå.
Tagrytteren er opført før 1689 for i det år blev ifølge kirkebogen, begravet "Peter Hansen af Barsbøl, sandemand i Gram herred og i 22år kirkeværge i Jels sogn, som byggede kirketårnet og den vestre gavl på Jels kirke. Tagrytteren var genstand for idelige reparationer, og i 1828 havde den drejet sig.

Et sakresti planlagdes allerede i 1745 det skulle samtidig fungere som skolehus, endnu i 1754 var opførelsen ikke påbegyndt pågrund af gæld. Igen i 1838 og 1841 blev sagen om et sakresti med kakkelovn igen taget op, men da med den motivering, at kun kroen ligger nær ved kirken, og det agtes upassende for præsten at stige af der. Først i 1841 bevilligedes midlerne, og sakrestiet opførtes 1842, af bygmester Niels Møller, Hjerting.

At Jels kirke har været særlig udsat for overgreb i svenskekrigenes tid, fremgår af en indberetning i 1669, hvoraf det hedder at kirken er sin undergang nær, da krigsfolkene har brudt jernankrene ud af murene, hvorved vestmuren er faldet ned fra øverst til nederst. Af notater i kirkebogen fremgår det også at det var hårde tider.

I dåbsregistret fra 1658 hedder det:

Udi december rejste jeg M. Drejer udi stor farlighed, da polakkerne plyndrede hid og did, fra Lerte til Jels udi en stor fog og sne og hjemmedøbte Ib Clementsens datter Anne.

Og i Vielsesregistret står der i 1659:

Blef der ingen trolovede eller Corpuleret (viede) thi det var en elendig og bedrøvelig tid, så intet menneske kunne blive ved husene, man måtte rømme ud til Kjøbstæderne for Rytteriets tyrani (nemligen af polakkerne, Kejserlige brandenburgske etc .som vare indsendt Hans Kgl.may. til hjælp imod svensken. De huserer så at mangen en der lever, får det nu at finde, de skal det aldrig forvinde så længe de lever.

Også i sidste halvdel af 1660 ´rne er der store regninger på bygningsreparationer, ligeledes i første tredjedel af 1700´rne, i 1711 kaldes bygningen meget brøstfældig , og regnskaberne viser at tagene bestandig har været i uorden og kostet mange penge i vedligeholdelse.

I 1851 foreslår sognepræsten og kirkeværgen at der bygges en ny kirke, og skriver i andragendet: "Det er vor velbegrundede mening, at det ikke nytter at reparere eller pynte ved den ringe kirke". de fremhæver at den dels er for lille, dels er loftet formedelst den idelige regn gennem det utætte tag temmelig oprådnet, sparreværket på adskillige steder helt fordærvet, på sydsiden mangler tagstenene til dels og trænger overalt til understrygning, mens blytaget ser godt ud, men alligevel må være mangelfuldt, eftersom loftet her er lige så usselt som sydsiden. Tømmeret i klokketårnet er ganske oprådnet, sammenfældningerne næsten overalt løsnede, så vi må råde til forsigtighed hver gang klokken skal ringes. Den vestre gavl bør totalt nedrives, mens de andre mure vel kan blive stående, men de trænger til en nøjagtig afretning og  udspækning.

 

Kirkevisitatoriet" i Haderslev, svarer at man fuldkommen erkender nødvendigheden af at Jels kirke ombygges og udvides, men at midlerne dette år ikke er tilstrækkelige til at afholde en så betydelig udgift.
I 1853 bliver det besluttet at nedbryde den gamle kirke, og på samme sted at opføre en ny, adskilligt længere og bredere end den gamle.
Tegningerne til den nye kirke er udfærdiget af arkitekt Winstrup, i papirerne nævnes endvidere en arkitekt Holm og en bygningsinspektør Mejer.
Nedrivningen af den gamle kirke bliver påbegyndt i slutningen af februar 1854, tømmeret og det meste inventar bliver solgt på auktion, hvorimod granitkvadrene bliver anvendt til sokkel og mur til vindueshøjde. Opførelsen bliver bekostet af Haderslev amts fælles kirkekasser, tegninger overslag og regnskab findes desværre ikke i Haderslev provstearkiv.

Kirken bliver indviet den 13. november 1854.

Den 14. November står der i "Dannevirke" Bl.a:

I går, om Morgenen kl. 7 kjørte Hs. Maj. med Gemalinde og Suite ud i Jels for at bivaande Indvielsen af den nye Kirke, som er bleven opført der. Indtoget der fandt sted under menighedens Jubel omtrent kl. 10. Kirken låe indbydende og venlig ved Gaden, hvor Kongen steg af (hos Lær. Krüger); den er ihenseende til sin ligså yndige som simple Smag vistnok for øjeblikket den smukkeste Landsbykirke i Riget. Uden at være høj viser den sit smukke Taarn og og knejsende Spiir sig dog anseelig allerede i det Fjerne.

Jels Kirke