Glavne razlike med primarnim in sekundarnim pomnilnikom so v tem, kako lahko centralna procesna enota (CPE) v računalniku dostopa do pomnilnika in način, na katerega se pomnilnik uporablja. Primarni pomnilnik se običajno nanaša na pomnilnik ali pomnilnik, ki je neposredno povezan s CPE računalnika in do katerega dostopa, in je običajno nestanoviten pomnilnik, imenovan pomnilnik z naključnim dostopom (RAM). Sekundarni pomnilnik se po drugi strani ne poveže neposredno s CPE in je nehlapni pomnilnik. Druge razlike med obema vključujejo količino podatkov, ki so običajno shranjeni v takem pomnilniku, in hitrost, s katero se podatki obdelujejo.
Medtem ko se primarni in sekundarni pomnilnik nanašata na vrste pomnilnika, ki se uporablja v računalniku, obstajajo številne razlike med vsako vrsto pomnilnika. Shranjevanje se na splošno uporablja kot sinonim za izraz “pomnilnik” in označuje strojno opremo, ki se uporablja za shranjevanje podatkov, ki jih računalnik obdeluje, medtem ko je v uporabi. Obe vrsti pomnilnika se običajno nahajata v stolpu ali ohišju računalnika, vendar je primarni pomnilnik običajno v obliki RAM-a, ki je nameščen neposredno na matično ploščo, medtem ko je sekundarni pomnilnik pogosto trdi disk, ki je na matično ploščo povezan s kablom.
Ena največjih razlik med obema vrstama pomnilnika je, kako CPU v računalniku dostopa do njega. Ker je RAM nameščen na matični plošči računalnika, lahko CPU neposredno dostopa do podatkov v primarnem pomnilniku. Do sekundarnega pomnilnika se na roki dostopa posredno, saj je diskovni pogon običajno povezan z matično ploščo prek kabla. To vpliva tudi na hitrost, s katero je mogoče dostopati do podatkov v primarnem in sekundarnem pomnilniku. Do podatkov o primarnem pomnilniku se dostopa približno milijonkrat hitreje kot do podatkov o sekundarnem pomnilniku, čeprav oba procesa običajno trajata le delčke sekunde.
Oba zagotavljata tudi različne vrste pomnilnika. RAM in drugi primarni pomnilnik so običajno hlapni pomnilnik, ki lahko hrani podatke le, dokler je naprava za shranjevanje napajana. Po drugi strani sekundarni pomnilnik uporablja nehlapni pomnilnik, ki se ohrani tudi, ko je računalnik izklopljen, zato se sekundarni pomnilnik uporablja za shranjevanje podatkov, primarni pomnilnik pa za obdelavo podatkov.
Izjema pri tem pa je, da običajno obstaja oblika nehlapnega pomnilnika, ki se uporablja kot primarni pomnilnik za shranjevanje osnovnega vhodno/izhodnega sistema (BIOS) za računalnik, čeprav se ta uporablja samo pri zagonu računalnika. Primarni in sekundarni pomnilnik običajno zagotavljata tudi različne količine prostora za shranjevanje podatkov. Sekundarni pomnilnik je običajno veliko večji od primarnega pomnilnika, kar je pomembno, saj je zasnovan tako, da shrani več podatkov, kot je tisto, kar se obdeluje v danem trenutku.