I midten af 1500-tallet tilhørte Toftegaard Børglum Kloster. I grevefejdens tid beboedes den af en mand ved navn Svend Rød, der sammen med sin hustru og deres ældste søn i 1542 fik livsbrev på Toftegaard.
Tidligere lå Toftegaards bygninger endnu nærmere åen, men da terrænet ofte oversvømmedes, flyttede stamhuset Birkelse i begyndelsen af 1800-tallet bygningerne længere ind på marken, hvor gården nu ligger. I 1835 oprettedes Ny Toftegaard, som fik en del af jorden.
Nær Toftegaard findes en brønd med saltholdigt vand.
Øst for gården ligger Sandelsbjerg.
