O álbum seguinte, Black Sabbath Vol. 4 de 1972, revelou a primeira de várias alterações no som da formação, devido a uma clara contaminação do rock progressivo. Um dos pontos fortes do álbum é a balada "Changes", onde Osbourne canta acompanhado por piano e cordas. A canção é um exemplo de como os sons da formação teve evoluído, mas canções como "Tomorrow's Dream", "Snowblind" e "Supernaut" ainda mostram seu lado musical mais profundo.
Em 1973, a banda publica Sabbath Bloody Sabbath, álbum com a atmosfera caracterizada pelo rock progressivo ainda mais visível. Também conta a presença de Rick Wakeman do Yes que apareceu nos teclados, como membro externo. Entre as canções mais claramente progressistas pode citar a "Spiral Architect" e "A National Acrobat", mas ainda faltava o "clássico", com uma boa formação de "Sabbath Bloody Sabbath" e "Killing Yourself to Live". O disco foi outro grande sucesso e considerado um ponto importante na carreira artística.
Neste período, houve uma série de acontecimentos na banda. Todos os membros tiveram sérios problemas de dependência de drogas, em especial Osbourne e Ward que, após a admissão do cantor, fizeram uso de LSD todos os dias por mais de dois anos. Uma mudança de gravadora (de Vertigo para a Warner) tinha atrasado o lançamento do seu novo álbum, Sabotage, publicado somente em 1975. Do ponto de vista musical, o álbum é um dos mais variados do grupo, alternando as canções de heavy metal de "Hole in the Sky" e "Symptom of the Universe", para o canto gregoriano de "Supertzar", e sons de pop rock de "Am I Going Insane (Radio)".
