Majhen operacijski sistem je tisti, ki je sestavljen iz sorazmerno majhne količine osnovne kode. Posledično običajno zahteva manj sredstev iz stroja, na katerem deluje.
Kot zelo posplošeno pravilo večina sistemov, opisanih kot majhen operacijski sistem, temelji na jedru Linuxa. Jedro je dejansko možgani računalnika in se odloči, kaj naj naredi v določenem trenutku. Linux se običajno uporablja v odprtokodnih sistemih, ki se zelo razlikujejo in nekateri so manjši od drugih. Microsoftov Windows in Appleov OSX se običajno štejeta za zelo velika operacijska sistema.
Ker je zamisel o majhnem operacijskem sistemu primerjalna in ne absolutna, obstajajo izdaje operacijskega sistema Windows, ki bi jih lahko opisali kot majhne. Najbolj znan med njimi je Windows CE, ki je zasnovan za računalnike z zelo nizkimi specifikacijami in za samostojne naprave. Pri slednjem je sistem običajno vgrajen neposredno v samo napravo. Nekatere naprave z operacijskim sistemom Windows CE vključujejo interaktivne informacijske zaslone in sisteme za razvedrilo naslonjala pri nekaterih letalskih družbah.
Glavna prednost majhnega operacijskega sistema je, da lahko deluje na računalniku z nizkimi specifikacijami in običajno ne zahteva tako hitrega računalnika ali toliko pomnilnika kot večji sistemi. To pušča več sredstev za izvajanje aplikacij. Omogoča tudi daljšo uporabo starejših računalnikov, preden se štejejo za zastarele.
Druga prednost je, da ima majhen operacijski sistem po definiciji manj možnosti, da vsebuje napake. Vendar to velja le v absolutnem smislu. Slabo napisan majhen operacijski sistem bo verjetno povzročil toliko ali več težav kot dobro napisan velik.
Nekateri operacijski sistemi so tako majhni, da jih je mogoče shraniti na prenosni napravi in jih celo zagnati. To lahko vključuje pomnilniško kartico USB. To pomeni, da lahko operacijski sistem takoj zaženete v računalniku, ne da bi ga bilo treba namestiti. To je lahko še posebej koristno pri delu z računalnikom, kjer je bil nameščen sistem poškodovan.
Pomanjkljivosti majhnega operacijskega sistema so odvisne od tega, zakaj je majhen. Na primer, lahko se izvaja samo v ukazni vrstici, kar pomeni, da se informacije vnesejo in prikažejo izključno v besedilni obliki in ne v grafični obliki, kar je lahko za mnoge uporabnike moteče. Majhen sistem lahko prihrani prostor tudi z omejeno podporo za strojne naprave, kot so tiskalniki ali modemi.