Redan under medeltiden nämns namnet Trömmen i en del skrifter. År 1472 överlämnades Trolmen från Eggert Grupendal till Amund Stake, sedan har släkten Stake innehaft gården i ca 200 år.

I jordeboken återfinns namnet Throllmen första gången år 1566. Trolmen bestod i början av två gårdar, lilla och stora Trolmen, men som senare slogs samman till ett gods.

När mangårdsbyggnaden stod klar är osäkert men 1739 nämns gårdsnamnet för första gången sen det blev ett gods av de två sammanslagna.

Huvudbyggnaden som var ett stenhus eldhärjades 1798, men redan år 1814 stod ett nytt gods klart, det var i bruk till 1930-talet då det ersattes med ett nytt på samma grund. Det var Fredrik Wehtje som lät uppföra en ny mangårdsbyggnad i samma stil som den förra. även en storartad parkanläggning uppfördes på gården, bl.a. med terassanläggningar i Kinnekullesten.