Hovedgården var tidligere øyas eneste gård. I tillegg var det husmenn og strandsittere (dvs hus uten jord). Gården har vært eid av forskjellige adelsslekter, bl.a. av stattholder Ulrik Frederik Gyldenløve, som besøkte øya i 1696, av storborgere og av loser. På 1800-tallet ble gården delt i en rekke gårdsbruk slik at det på det meste var 10 gårder på øya. I dag er bare 5 gårder i aktiv drift, Gårdene har blitt færre, men større. Befolkningen har ofte kombinert flere yrker som gårdsdrift, sjøfart, losing og fiske.
Gården er ikke lenger i drift, men jordene leies ut til øyas øvrige bønder. Gården har gjennom tidene blitt eid av både konger, grever og velholdne menn. Under Napoleonskrigen var det her stasjonert over 150 gaster som var mannskap ombord i kanonbåtene, de skulle holde Kragerøskjærgården fri for fiendtlige fartøy.
I dag er turisme en viktig attåtnæring. Våningshuset på Hovedgården er brent flere ganger. Det nåværende huset er oppført i 1907 i sveitserstil.
Hovedgården leies ut til overnatting og selskaper. Hovedbygningen er et stort, sjarmerende sveiserhus fra 1907, med stor hage og nydelig utsikt over sjøen. De fleste rommene er holdt i gammel, enkel stil. Spisestue og finstue har 100 år gamle tak- og veggdekorasjoner og prismekroner i taket. Oppholdet er basert på selvhushold. Det er et stort kjøkken med oppvaskmaskin. Badet har wc, dusj, vaskemaskin, og varmekabler i gulvet. Det er også et toalett i annen etasje. I tillegg har huset hage og utsikt over sjøen.