I medeltidens början tillhörde Blomberg Husaby kungsgård, men Olof Skötkonung skänkte den till biskopen i Skara.

År 1304 skänkte dåvarande biskopen i skara, Benedictus Joanius, Blomberg till domprosten i Skara stift.

Under reformationen drogs B in till kronan, men redan på 1400-talet övergick den i Knut Knutssons Roos av Hjälmsäters ägo, och förblev i släkten i mer än 250 år.

Ett antal ägare har sedan innehaft B, med 1780 sålde riksrådet Carl Fredrik Scheffer gården till greve Adolf Ludvig Hamilton.

Den siste i släkten Hamliton som ägde Blombergs slott var Henrik Hamliton, han sålde slottet till en norrman som i sin tur sålde det vidare till en fastighetsmäklare från Göteborg, Kjellberg. Under 80-talet började Kjellberg rusta upp slottet, han gjorde bostäder i "mejeriet" bredvid slottet och började byggandet av en stor ladugård. Men 90-talet ko och tiderna blev kärvare, banken och Kjellberg sålde slottet 1996 till dess nuvarande ägare Arne Jönsson. Jönson tog vid där Kjellberg slutade och renoverade slottet för åtskilliga miljoner och ladugården används nu av företaget J&J som bl.a. tillverkar vodkan Thors Hammer. Inne i slottet har det gjorts stora förändringar, allt är gjort i gammal stil mest Gustaviansk och Rokoko. Specialister har anlitats för att göra kopior som inspirerats av interiörer från t.ex. Läckö Slott och Skogaholms Herrgård. I ett magasin vid vägen har en delikatessbod och restaurang inrättats.

Huvudbyggnaden är uppförd i sten, den ersatte den gamla byggnaden, kallad "ätterucklet".

Gården är uppförd i två våningar år 1896, samt två flygelbyggnader i trä, uppförda på 1700-talet.

Även ett mejeri och ett brännvinsbränneri fanns på gården, dessa blev mycket kända, mejeriet för sin cheddarost och bränneriet för det "tiodubbla Blombergsvinet" som framställdes 1910. Bränneriet stängdes 1914 och brann upp 1966, mejeriet lades ned 1937. Som på så många andra herresäten så finns även här en sägen om en vålnad. En av gårdens forna ägare gifte om sig efter sin hustrus död, den avlidna grevinnan lär ofta ha visat sig och då uppträtt hotande mot den nya. Till en början så brydde hon sig inte om det hela, men när hon en kväll kom in i sovrummet och såg vålnaden stå lutad över de sovande barnen blev hon förskräckt och strax där efter flyttade de till Hönsäter. Denna sägen berättades förr allmänt i trakten, men då vålnaden inte visat sig på lång tid så har den så gott som fallit i glömska.