Door de teloorgang van het schip van de kerk is de toren vele jaren alleen blijven staan, ongeveer op de plaats waar nu de Oude Torenstraat is, voor de huisnummers 19 en 21.
In 1821 is deze oude toren – ondertussen eigendom van de burgerlijke gemeente – wegens bouwvalligheid en instortingsgevaar afgebroken. Van tevoren werden de klokken en het uurwerk verwijderd. Geldgebrek weerhield de gemeente ervan om een nieuwe toren te bouwen. Als alternatief kwam er in 1824 een klein torentje (dakruiter) op het dak van de kerk, om er de klokken en het uurwerk onder te kunnen brengen.
In 1833 was er sprake van een eerste uitbreiding van de kerkruimte in verband met het toenemen van de bevolking.
Omstreeks 1880 werd een ingrijpende restauratie van het kerkgebouw voorbereid. Na veel touwtrekken tussen de burgerlijke en de kerkelijke gemeente werd in november 1886 de bouw van de toren aanbesteed en eind 1887 was de toren, die van voet t/m de spits 51 meter hoog was, gereed. Tegelijkertijd werd een nieuw uurwerk geïnstalleerd. 
Tot 1940 was Yerseke in het bezit van een bijzondere torenklok, gemaakt in 1495 door Theodorus Rose. Deze klok was 84 cm hoog en vanonder had deze een diameter van 73 cm. De lengte van de klepel was 55 cm. Het randschrift op deze klok luidde: “Wees gegroet Koningin des Hemels, Moeder van de Koningin der Engelen. Theodoricus Rose heeft mij gemaakt – 1495”. Verder waren in de klok enige figuren aangebracht, t.w. een stempel met onleesbaar opschrift, Christus aan het kruis, een tabernakel, een krijgsman met zwaard op een zetel, een bisschop met kroonstaf en boompje, waarin een slang. Hiernaast hing een tweede klok, gegoten door de bekende klokkengieter Johannes Burgerhuis. Het opschrift luidde: “Johannes Burgerhuis heeft me gemaakt. Soli Deo Gloria – 1642.” De hoogte van deze klok was 45 cm, de grootste wijdte 52 cm. Beide klokken gingen in mei 1940 door oorlogsgeweld verloren.
 

De 'nieuwe' toren die van 1888 tot 1940 voor de kerk stond.