Han var søn af oberst Alfred Jodl og hustru Therese Baumgärtler. I 1910 blev han som 20-årig uddannet på Kadetskolen i München som artilleriofficer i den tyske hær.

I 1. verdenskrig deltog han som artilleriofficer 1914-1916 på vestfronten. Han blev såret to gange, og blev så for en kort tid sendt til østfronten som stabsofficer fra 1917 til 1918.

I 1923 lærte han Adolf Hitler at kende, og han blev i 1935 udnævnt til chef for den nationale forsvarskommando, en post han beholdt til 2. verdenskrigs udbrud i 1939.

I 1938 blev han udnævnt til Adolf Hitlers nærmeste militære rådgiver og blev generalløjtnant senere samme år. Generalløjtnant Alfred Jodl og generalfeltmarskal Wilhelm Keitel var de to vigtigste militære, tyske figurer under 2. verdenskrig, da de styrede det meste af den tyske militærledelse.

I 1942 blev Jodl operationschef og i januar 1944 generaloberst.

7. maj 1945 underskrev Alfred Jodl Tysklands betingelsesløse kapitulation til De Allierede.

Under Nürnbergprocessen blev han kendt skyldig i de fire hovedpunkter:

• Forbrydelser mod freden.
• Deltagelse i sammensværgelse om at begå forbrydelser mod freden.
• Krigsforbrydelser.
• Forbrydelser mod menneskeheden.

Dommen lød på henrettelse, og han blev hængt d. 16. oktober 1946.

Syv år senere erklærede en domstol i München, at Alfred Jodl ikke havde gjort sig skyldig i krigsforbrydelser, der kunne medføre dødsstraf i følge international lov. De Allierede nægtede dog at kommentere denne afgørelse.