Izvor fudža ni jasen, vendar lahko zgodovino fudža zasledimo vsaj do leta 1886 CE. Natančen izvor in izumitelj fudgeja ostajata sporna, vendar nekateri strokovnjaki menijo, da je bila beseda “fudge” najprej uporabljena za napačno serijo karamel, kar je povzročilo vzklik: “Oh fudge!” Večina zgodovinarjev hrane meni, da je fudge, kakršen je danes, ameriški izum.
Fudge je kristalna slaščica. Za razliko od mnogih drugih vrst sladkarij, kot so taffy in karamele, ki se izogibajo kristalizaciji, je tvorba kristalov potrebna za ustvarjanje fudgeja. S tem postopkom nastane bonbon, ki je čvrst, a gladek, saj so kristali tako majhni, da nimajo okusa ali občutka zrnatosti. Mešanico za fudge, ki mora vsebovati sladkor, maslo in mleko, je treba ustrezno pripraviti in ohladiti, da nastanejo sladkorni kristali, ki so ravno prave velikosti. Če postopka ne izvedete pravilno, bodo kristali nastali prezgodaj in postali preveliki ali pa se sploh ne bodo oblikovali, kar bo povzročilo sladkarije, podobne karameli.
Zgodovina fudgea je morda pred ustanovitvijo ZDA in strokovnjaki hitro poudarijo podobnosti med fudgejem in tableto, škotsko slaščico. Tablica je prvič omenjena v The Household Book of Lady Grisell Baillie, ki je bila napisana med letoma 1692 in 1733 CE. Postopek izdelave tablete se začne na enak način kot fudge – z vrenjem sladkorja, mleka in masla, dokler ne dosežejo stopnje mehke žogice pri 235 do 240 stopinj F (113 do 116 stopinj C), na kateri se mešanica odstrani iz segrejemo in pustimo, da se ohladi. Kristalizacija se pojavi v tabletah, vendar se oblikujejo veliki kristali, ki dajejo bonbonu zrnato in krhko teksturo, ki je precej drugačna od mehke, gladke teksture fudža.
Emelyn Battersby Hartridge dokumentira prvo prodajo fudgeja in je leta 1886 napisala pismo, v katerem je navedlo, da je bratranec sošolca v Baltimoru prodal fudge za 40 centov za funt. Leta 1888 je gospa Hartridge, ki še vedno obiskuje Vassar College v Poughkeepsieju v New Yorku, zapisala, da je za dražbo Senior izdelala kar 30 funtov fudgeja. Fudge se je v Vassarju hitro prijel in kmalu so se recepti za slaščice začeli pojavljati na drugih ženskih fakultetah. Kolegiji Smith in Wellesley sta tako imenovani izvirni recept prilagodili v svoje različice.
Vassarjev recept je zahteval beli sladkor, smetano, nesladkano čokolado in maslo. Kreacija Wellesley Collegea je originalni recept le nekoliko spremenila z dodajanjem marshmallows, ki preprečujejo, da bi se fudge med ohlajanjem zrušil. Recept Smith Collegea je bil prvi, ki je odstopal od izvirnika, dodal je dodatno maslo skupaj z rjavim in belim sladkorjem, melaso in vanilijo. Vsak od teh receptov je zelo občutljiv. Zgodovina fudgeja se je za vedno spremenila, ko je bil koruzni sirup, ki upočasni nastajanje kristalov, prvič uporabljen za varne recepte.