Das dritte Studioalbum von The Sound entstand aus Widerstand gegen die Forderung ihrer Plattenfirma nach kommerzielleren Songs, nachdem die früheren Veröffentlichungen kein breiteres Publikum erreicht hatten. Die Band antwortete mit dem ausgesprochen unkommerziellen All Fall Down. Adrian Borland, Graham Green, Mike Dudley und Max Mayers nahmen im März 1982 in The Manor und im August in den Trident Studios auf; die Produktion teilten sie sich mit Nick Robbins. Beim Titelstück steuerte Manor Choir zusätzliche Gesangsstimmen bei. WEA veröffentlichte das Album im Oktober 1982.
Der Post-Punk mit Dark-Wave-Einflüssen klingt düster, angstvoll und getrieben, geprägt von Dissonanzen und Strenge. Die durchdachte Abfolge, experimentelle Strukturen und die allmähliche Entfaltung verbinden die Stücke zu einem zusammenhängenden Ganzen. Borlands vergleichsweise langsame Gesangsphrasierung verstärkt die intensiven, teils verzweifelten Texte. Party of the Mind spielt mit dem Songaufbau und verzichtet auf einen herkömmlichen Refrain; Monument entwickelt nach und nach Spannung und musikalische Schichten. Singles erschienen nicht, das Album verfehlte die britischen Charts und wurde zunächst überwiegend negativ besprochen. Trouser Press würdigte dagegen die ambitionierte Erkundung dunkler Gefilde. WEA verweigerte die Promotion, und der Vertrag der Band endete. Später erlangte All Fall Down Kultstatus im Post-Punk; manche Rückblicke bezeichneten es sogar als bestes Album von The Sound. Es beeinflusste das Post-Punk-Revival der frühen 2000er und experimentellere Bands wie Women, Viet Cong, Gilla Band und Protomartyr.
