Fred Lee Robinson dilahirkan di Mont Meigs, Alabama, pada tanggal 18 Maret 1922. Ibunya, Alberta Robinson, kemudian menikah dengan William Shuttlesworth, seorang petani. Fred bekerja sebagai buruh dan sopir truk sebelum akhirnya ia lulus dari Universitas Selma (1951) dan Universitas Negeri Alabama (1952). Tahun 1953, Fred Shuttlesworth menjadi seorang pendeta di Gereja Baptis Bethel.

Pada bulan Mei 1956, Shuttlesworth mengadakan Gerakan Kristen Alabama untuk Hak Asasi Manusia (Alabama Christian Movement for Human Rights -- ACMHR).