Skupina se zformovala počátkem roku 1994. Významnou úlohu při jejím zrodu sehrál kytarista Richard Kruspe. Ve druhé polovině 80. let působil spolu s Paulem Landersem a Tillem Lindemannem ve Schwerinu v punk-rockové skupině First Arsch. V roce 1989 utekl do Rakouska.[1] Po pádu železné opony se vrátil zpět do Schwerinu a bydlel společně s bubeníkem Christophem Schneiderem a baskytaristou Oliverem Riedelem.[1] Tito tři hudebníci se rozhodli, že založí nový hudební projekt, a vytvořili tak zárodek skupiny Rammstein. Kruspe brzy přivedl do skupiny Lindemanna jako čtvrtého člena. Lindemann, jenž jinak pracoval jako pletač košů,[1] přijal úlohu zpěváka a textaře. 19. února 1995 se v Berlíně zúčastnili soutěže pro mladé hudební skupiny a jako vítězům jim bylo umožněno vytvořit demonahrávku o čtyřech skladbách. Rammstein tehdy nahráli Das alte Leid, Seemann, Weißes Fleisch a Rammstein (písně však nebyly totožné s těmi, které se pod stejným názvem objevily na prvním albu Herzeleid). Po tomto úspěchu získala skupina další členy, když se k ní přidali Paul Landers jako druhý kytarista a Christian Lorenz jako klávesista. Oba v té době hráli ve skupině Feeling B.[2] Zatímco Paul Landers se připojil hned po poslechu nahrávky skupiny, Lorenz zpočátku nebyl tak nadšený a nějakou dobu váhal. Složení skupiny se od té doby nezměnilo. V témže roce vznikají i další demonahrávky, např. Schwarzes Glas, Jeder lacht, Feuerräder a Wilder Wein.
V březnu 1995 začala skupina ve stockholmském studiu Polar Studio nahrávat své první album.[2] Spolupracovali s producenty Jacobem Hellnerem a C.-M. Herlöffsonem. V případě Jacoba Hellnera se jedná o počátek dlouhodobé spolupráce, podílel se i na produkci všech následujících studiových alb skupiny. 17. srpna byl uveřejněn první singl, Du riechst so gut, a 24. září bylo vydáno celé debutové album s názvem Herzeleid. Druhý singl z tohoto alba, balada Seemann, vyšel v příštím roce (8. ledna 1996).[2] V roce 2001 byl s odstupem vydán ještě singl Asche zu Asche (spolu s 5 živými nahrávkami z DVD Live aus Berlin). Album Herzeleid se dostalo nejvýše na 6. místo v německé hitparádě.[3] Spolu s vydáním prvního alba začaly zaznívat první kritické hlasy, zda se nejedná o skupinu fašisticky orientovanou. Jako důkaz často sloužil obal prvního CD, který prý zobrazuje postavy čisté árijské rasy. Rammstein však uvedli, že s rasismem nemají a nechtějí mít nic společného. O jejich nefašistické orientaci je píseň Links 2-3-4 z alba Mutter. Po vydání alba následovaly četné koncerty v Německu i v zahraničí. V říjnu absolvovali tour se skupinou Project Pitchfork, v listopadu 1995 vystoupili Rammstein ve Varšavě a v Praze jako předskupina švédských Clawfinger, v prosinci pak následovala série 17 koncertů na různých místech v Německu.[2] V lednu 1996 odehráli další koncert s Clawfinger a poté i s Ramones, kteří byli na koncertní šňůře s posledním albem ¡Adios Amigos! a v témže roce ukončili činnost. V březnu absolvovali Rammstein v Londýně živý vstup na MTV. Na přelomu září a října proběhla série koncertů v Německu, Rakousku a Švýcarsku. Hudba skupiny se objevila také ve filmu Lost Highway, režisér David Lynch si z alba Herzeleid vybral písně Heirate mich a Rammstein.
1. dubna 1997 vyšel singl Engel z nového alba Sehnsucht, které bylo nahráno v listopadu předchozího roku v Temple Studios na Maltě.[2] K 23. květnu se podařilo prodat více než 250 000 kopií singlu a téhož dne byla vydána fanouškovská verze (Engel Fan-Edition).[2] V německé hitparádě se dostal na 3. místo, nejvýše z dosud vydaných singlů skupiny.[4] 21. července následoval singl Du hast.[2] Text této písně je z velké části založen na slovní hříčce se slovesem haben. V roce 1998 byla nominována na cenu MTV Europe Music Awards v kategorii rock (Best Rock Act) a v roce 1999 na cenu Grammy v kategorii Best Metal Performance („nejlepší metalový výkon“), ani v jedné kategorii ovšem nezvítězila. Album Sehnsucht bylo vydáno 22. srpna 1997 a zaznamenalo nejvýraznější úspěch v německy mluvících zemích (ovládlo německou[3] a rakouskou[5] hitparádu, ve švýcarské[6] bylo nejvýše na 3. místě). 21. listopadu 1997 uveřejňují Rammstein singl Das Modell, vlastní verzi písně Das Model, kterou původně nahrála skupina Kraftwerk, v prosinci následuje tour v USA (jako podpora skupiny KMFDM).[2] Na přelomu dubna a května následujícího roku uskutečňují další tour v USA (poprvé jako hlavní skupina), v květnu pak v jižní Evropě.[2] 25. května 1998 vychází nová verze singlu Du riechst so gut (Du riechst so gut '98) obsahující také několik remixů této písně od jiných interpretů.[2] 27. července pak Rammstein vydávají singl Stripped, coververzi stejnojmenné písně od Depeche Mode.[2] Na podzim 1998 se skupina účastní Family Values Tour v USA spolu s interprety Korn, Ice Cube, Orgy a Limp Bizkit. V dubnu 1999 doprovázejí Rammstein skupinu Kiss na koncertech v Latinské Americe a v červnu absolvují vlastní tour v USA.[2] 30. srpna vydávají Rammstein své první živé album, Live aus Berlin. Bylo vytvořeno ze záznamů koncertů z 22. a 23. srpna 1998, které se odehrály ve Wuhlheide v Berlíně. Šlo o dosud největší vystoupení skupiny, navštívilo ho přes 17 000 fanoušků.[2] Původní CD verzi doplnila v září videokazeta a v listopadu DVD. Videokazeta byla k dostání v cenzurované a necenzurované verzi, přičemž cenzurovaná verze neobsahovala píseň Bück dich, protože video natočené k této písni na koncertu bylo nevhodné pro děti a mladistvé (na turné v USA toto vystoupení vedlo dokonce k zatčení Lindemanna a Lorenze). Live aus Berlin se brzy dostalo na první místo v německé hitparádě.[3] Po jeho vydání začala příprava třetího studiového alba. Roku 1999 zatím nazpíval Lindemann se skupinou Puhdys píseň "Wut Will Nicht Sterben".
Album Mutter vzniklo ve studiu Miraval v jižní Francii, kde bylo v květnu a červnu 2000 provedeno nahrávání, a ve Stockholmu, kde proběhlo mixování alba. Rammstein ho produkovali za pomoci Stefana Glaumanna a – již tradičně – Jacoba Hellnera.[2] V prosinci zveřejnili Rammstein první ukázku z nového alba, a to píseň Links 2-3-4, kterou bylo možné stáhnout na oficiálních stránkách skupiny ve formátu MP3.[2] V lednu a v únoru následujícího roku vystoupili na festivalu Big Day Out v Austrálii a na Novém Zélandu.[2] První singl Sonne, který byl vydán 12. února 2001, dosáhl v německé hitparádě na 2. místo.[4] Album Mutter pak vyšlo 2. dubna. Co se týká počtu vydaných singlů, je Mutter zatím nejplodnějším albem. Po Sonne následovaly ještě Links 2-3-4 (květen), Ich will (září), Mutter (březen 2002) a Feuer Frei! (říjen 2002).[2] Posledně jmenovaný singl je součástí soundtracku k filmu xXx; videoklip se skládá se záběrů z živého vystoupení skupiny a z prostřihů z filmu a byl natočen v lednu 2002 v Praze.[2] Rammstein po delší době vystoupili v Česku – na Strahově jako předkapela AC/DC. Tento koncert označili jako jeden z nejnepovedenějších, avšak ve stejném roce navštívili Česko ještě jednou, a to dne 12. listopadu 2001 v tehdejší T-Mobile aréně. V průběhu června až října 2001 odehráli Rammstein sérii koncertů v Severní Americe (Kanada, USA, Mexiko) a na přelomu září a října proběhla další tour v USA.