Les origines du projet datent de 1995. Josh Homme, à l'époque du split de Kyuss, se rend à Seattle pour tourner avec les Screaming Trees. Il a alors l'occasion de travailler avec de nombreux musiciens, tels que Van Conner (Screaming Trees), Matt Cameron (Soundgarden) et Mike Johnson (Dinosaur Jr), avec lesquels il fait quelques enregistrements sous le nom de Gamma Ray. Ce nom étant déjà pris, ils décident d'appeler le projet Queens of the Stone Age. Homme recrute Alfredo Hernandez pour travailler sur un premier opus, Queens of the Stone Age, qui sort début 1998. Une fois l'album terminé, Nick Oliveri quitte les Dwarves pour rejoindre ses anciens camarades de Kyuss, suivi plus tard de Dave Catching. En plus de s'occuper de son nouveau groupe, Josh Homme sort, sur le label indépendant Man's Ruin, les premiers volumes des Desert Sessions. Josh collabore ainsi avec de nombreux artistes venant de groupes comme Soundgarden, Fu Manchu et Monster Magnet.
En 2000, Queens of the Stone Age sortent leur deuxième album, Rated R, avant de partir en tournée avec le festival Ozzfest. Le batteur Alfredo Hernandez se voit alors remplacé par Gene Trautmann. Le groupe se construit petit à petit une solide réputation, notamment grâce au fameux magazine Rolling Stone.
En 2001, le groupe participe au grand festival Rock in Rio où Nick Oliveri est arreté par la police brésilienne pour avoir joué nu sur scène. La même année, Homme et Oliveri sortent un nouveau volume des Desert Sessions, pendant que QOTSA prépare son troisième album.
L'ex-batteur de Nirvana, Dave Grohl, qui parle souvent de son admiration pour QOTSA dans la presse, est invité à rejoindre le groupe pour l'enregistrement d'un troisième album ainsi qu'à participer à la tournée qui suit. Dave Grohl accepte et met de côté les Foo Fighters pour quelques temps.
Songs for the Deaf sort en août 2002. Le nouveau line-up part en tournée. Josh Homme à la guitare et au chant, Nick Oliveri à la basse et au chant, Dave Grohl à la batterie, Mark Lanegan (ex-chanteur des Screaming Trees) au chant, Troy Van Leeuwen (A Perfect Circle) à la guitare et au clavier. Comme prévu, après la tournée, Dave Grohl retourne à ses occupations et Joey Castillo prend sa place derrière les fûts.
Début 2004, les rumeurs se confirment: Nick Oliveri, un des piliers du groupe, quitte QOTSA. Les excès du bassiste chauve n'auraient apparemment pas plu à Josh Homme. Nick se consacre alors à son groupe Mondo Generator et prépare un album solo acoustique. Le départ de Nick Oliveri est suivit de celui de Mark Lanegan, qui quitte QOTSA par manque de temps. Les reines de l'âge de pierre se retrouvent alors à trois pour préparer un nouvel album.
C'est donc en 2005 que le groupe sort sont quatrième album Lullabies to Paralyze. Ils engagent un nouveau bassiste pour quelques concerts, Dan Druff, remplacé peu de temps après par Alain Johannes. Natasha Shneider rejoint également le groupe au poste de clavieriste. Après s'être remis de quelques problèmes de santé, Josh Homme et son groupe enregistrent deux concerts à Londres pour leur DVD: Over The Years And Through The Woods qui sort en novembre. QOTSA termine l'année 2005 en faisant la première partie de NIN sur une partie de leur tournée américaine.
2007 voit le départ de Alain Johannes et Natasha Shneider (décédée le 2 juillet 200
8), remplacés respectivement par Michael Shuman et Dean Fertita (ancien claviériste des Raconteurs). Ils entament alors une tournée en Europe pour promouvoir leur nouvel opus: Era Vulgaris, sorti le 12 juin.