Embora essa espécie de temática pudesse ser eventualmente observada em trabalhos de outros grupos, como os Beatles e Led Zeppelin, o Black Sabbath, graças a sua persistência nessa proposta, foi em grande parte um responsável por um estereótipo que se perpetuou no universo do heavy metal. Este tipo de proposta levou a banda a sofrer numerosas críticas; os mais conservadores os acusavam de promover o "satanismo" e isso costumava alimentar reprovação de grande parte da opinião pública. No entanto, essas polêmicas só contribuíram mais para o sucesso que o Black Sabbath conquistou com sua grande audiência de jovens.
O próximo álbum, Paranoid, até hoje o maior sucesso comercial do grupo (primeiro nas colocações inglesas; sete discos de platina e um de ouro), é considerado de grande importância para as bases do heavy metal. O trabalho angariou para o Black Sabbath milhares de fãs em todo o mundo, graças a canções como "Paranoid", "Iron Man", "Electric Funeral" e "War Pigs". Com este trabalho, o grupo foi além da atmosfera sombria das músicas com temas mais maduros. "War Pigs", por exemplo, é uma crítica a políticos considerados responsáveis pelos horrores da guerra e "Iron Man" tem um texto puramente ciência-ficção.
Em 1971, o grupo publicou o terceiro álbum, Master of Reality, de sucesso notável. Provavelmente foi o álbum mais obscuro e introspectivo da banda. Este trabalho, junto com o Black Sabbath e Paranoid, é considerado o álbum que inspirou o doom metal. Para além de canções do estilo Sabbath ("Children of the Grave" e "After Forever"), o álbum é conhecido, sobretudo, pelas suas estilísticas "alegações" (encontradas em canções como "Sweet Leaf", "Lord of This World", "Solitude" e "Into the Void"), que serviram de base para bandas como Saint Vitus e Candlemass.
Nota-se que o disco possui uma inovação particularmente interessante: Iommi, na verdade, toca com a guitarra em dó sustenido (um tom e meio abaixo da afinação tradicional), assim como Butler no baixo. Essa mudança, segundo declaração do guitarrista, foi feita por dois motivos: para se adaptar ao estilo vocal de Ozzy e para dar um som mais pesado para a sua música (mais tarde, a partir do álbum Heaven and Hell, a guitarra e o baixo são afinadas em ré sustenido). Devido a isso, o Black Sabbath talvez tenha inaugurado a chamada "limitação": uma prática que se tornaria quase uma norma para muitos grupos de rock e metal.
Sobre a grande importância do Black Sabbath até mesmo nos dias de hoje, o vocalista do Type O Negative, Peter Steele declara:
"Na minha opinião, o Black Sabbath são aqueles que deram à luz o que, geralmente, consideram o heavy metal, e não há uma banda na atualidade que não teve influência, em qualquer medida, do grupo do Tony Iommi."
