Die Justizvollzugsanstalt Ulm besteht aus einer im Osten Ulms gelegenen Hauptanstalt sowie der Außenstelle im Frauengraben im engeren Stadtgebiet Ulms.
Die heutige Hauptanstalt ist 1900 als württembergisches Festungsgefängnis (Militärarrestanstalt) gebaut worden. Im Januar 1921 wurde das Festungsgefängnis an die Justizverwaltung übergeben. Bereits zu diesem Zeitpunkt wurde das Gefängnis als Strafanstalt bezeichnet.
Die Außenstelle Frauengraben 4 wurde 1894 als Gerichtsgefängnis neben den Gerichtsgebäuden erstellt. Bis in die 1920er Jahre hinein wurde die Außenstelle als Gerichtsgefängnis benutzt. Anschließend wurde das Gerichtsgefängnis in eine Untersuchungshaftanstalt umgewandelt, welche unter der Leitung eines Strafanstaltsdirektors zum Bestandteil der Ulmer Gefängnisse wurde.
Die Bezeichnung "Gefängnisse Ulm" wurde am 13.02.1941 in "Strafgefängnis" und "Untersuchungshaftanstalt Ulm (Donau)" umgeändert. Eine weitere Umbenennung in "Landesstrafanstalt" und "Haftanstalt" erfolgte nach dem Zweiten Weltkrieg.
Bereits vor der gesetzlichen Normierung im Strafvollzugsgesetz wurde durch die AV des Justizministeriums Baden-Württemberg vom 21. September 1970 die besondere Gestaltung des offenen Vollzugs statuiert. Ab dem 1. Oktober 1970 konnten die ersten Freigänger die Anstalt verlassen.