«Одна из самых увлекательных фигур инди-рока» (The Guardian) Херш выпустила более 20 сольных альбомов, а также альбомы с Throwing Muses и 50FOOTWAVE на сегодняшний день. Она является автором признанной мемуаров - основанных на её подростковом дневнике - о особенно насыщенном событиями году, под названием «Крысиная девочка» («Парадоксальное раздевание» в Великобритании), который занял 8-е место в списке «25 величайших рок-мемуаров всех времен» по версии Rolling Stone. Позже она выпустила свои альбомы «Crooked» (2010), «Wyatt at the Coyote Palace» (2016) и «Purgatory/Paradise» (2013) от Throwing Muses как новаторские книги музыки, искусства, эссе и текстов песен. Книги NPR сказали о последней работе Херш «Не соси, не умирай» о её дружбе с покойным Виком Чеснюттом: «Не только одна из лучших книг года, это одна из самых красивых рок-мемуаров, когда-либо написанных.»