Het levensverhaal van Kielstra leest een beetje als de Sluziger tegenhanger van the American dream. Hij is de zoon van Tjepke Kielstra. Deze inwoner van Sneek krijgt al voor zijn afstuderen aan de Kweekschool der Doopsgezinden in Amsterdam een beroep uit Zwartsluis. Daar staat hij vanaf 1876 op de kansel. 

Vanuit Zwartsluis bedient hij ook Meppel, waar hij de initiatiefnemer is van een eigen kerkgebouw. In 1885 verhuist Kielstra naar Middelburg. Daar trouwt hij met een 25 jaar jongere vrouw, sticht een kerk in Goes en eindigt uiteindelijk als leraar Hebreeuws.