Abel Fischer ble født i Kristiansund som en av tre sønner til Mendel Martin Fischer (f.1895 i Litauen) og Bertha Bermann (f.1897 i Litauen). Hans bestefar Abraham Fischer (f.1867 i Litauen) hadde kommet til Norge allerede i 1893. Abraham drev flere år omførselshandel før han løste handelsbrev i Trondheim høsten 1904. Da Abel var 16 år flyttet familien til Narvik, hvor to av farens brødre hadde slått seg ned. Her ble også hans interesse for skøytesport vekket. Da det første nordnorske mesterskapet i lengdeløp ble avholdt i 1938, ble Abel best av juniorene med en 7. plass sammenlagt.

Abel Fischer var den eneste av sin familie som overlevde Holocaust. Hans foreldre, brødre, tanter, onkler og søskenbarn – i alt femten personer, ble alle deportert og drept i Auschwitz.