Hvilsted Præstegård blev bygget i 1929 af menighedsrådet for Hvilsted kirke.
Axel Kvolbæk Pedersen forpagtede ejendommen i 1932 og overtog den i 1938.
Kurt Kvolbæk Pedersen købte dernæst ejendommen i 1976 og er den nuværende ejer sammen med Jane Bay Rasmussen.
Fader og moder til 4 drenge.