Nach Kriegsende kennzeichneten KZ-Überlebende die Massengräber des KZ-Außenlagers Kaufering VII östlich des Landsberger Stadtteils Erpfting. Im Oktober 1945 begannen erste Arbeiten für einen KZ-Friedhof. Mit der Übertragung der Zuständigkeit für die KZ-Grabstätten an das Bayerische Landesentschädigungsamt (BLEA) wurde der Ort neugestaltet und 1950 offiziell eingeweiht. Südlich des KZ-Friedhofs wurde ursprünglich auch ein jüdischer Friedhof angelegt, der heute jedoch nicht mehr existiert.

Laut Schätzung des Landsberger Landratsamts von 1949 sind etwa 2.000 jüdische Tote in neun Grabfeldern auf dem KZ-Friedhof bestattet, ihre Namen und Herkunftsorte sind unbekannt. Fünf ehemalige KZ-Häftlinge, die nach ihrer Befreiung in DP-Lagern verstarben, wurden auf dem angrenzenden jüdischen Friedhof bestattet. Sie wurden 1982 auf den KZ-Friedhof umgebettet und der jüdische Friedhof aufgelassen.

Gegenüber des Friedhofeingangs befindet sich auf einem Granitpodest das vier Meter hohe Denkmal aus Muschelkalkstein. Darauf platziert ist eine Opferschale, die Vorderseite wurde mit einem Davidstern aus Glasmosaik und einer Inschrift gestaltet.