Gegründet wurde der reine Fußballverein FC Arminia Ludwigshafen bereits im Jahr 1903 als FC Arminia Rheingönnheim, 1969 kam dann die Umbenennung in FC Arminia Ludwigshafen.
Den ersten sportlichen Höhepunkt erreichte der Verein 1966, als die Ludwigshafener in die damals viertklassige Amateurliga Südwest aufstiegen. Dort hielt sich der Klub insgesamt neun Jahre bis 1975.
Danach folgten vier schwache Jahrzehnte für die Arminen, die zeitweilig sogar bis in die Kreisliga abgestiegen waren. 2005 erreichten sie nach drei Aufstiegen in Folge die lang ersehnte Rückkehr in die Verbandsliga Südwest.
2011 gelang sogar der große Wurf, und die Ludwigshafener stiegen erstmals in die Oberliga Rheinland-Pfalz/Saar auf. Zwar musste der FC 2017 wieder absteigen, jedoch schafften die Arminen souverän den sofortigen Wiederaufstieg als Meister der Verbandsliga Südwest.
In der aktuellen Oberliga-Runde läuft es für die von Trainer Hakan Atik betreute Arminia bisher eher durchwachsen. Nach der Auswärtsniederlage bei Röchling Völklingen gewannen die Ludwigshafener das Heimspiel gegen den SV Gonsenheim und vergrößerten damit den Abstand zu den Abstiegsplätzen.