Marilyn Manson Holywood isimli albümünün ardından 2003 yılında The Golden Age of Grotesque adlı bir albüm yayınladı.ardından 2004 yılında başta Sweet Dreams olmak üzere santçının en çok sevilen parçalarının yer aldığı bir toplama albüm olan Lest We Forget yayınlandı.