Originaire de Buffalo, dans l'État de New York, Odiorne a débuté comme projet parallèle pour Jimy Chambers, membre fondateur de Mercury Rev, avant son départ du groupe en 1998. Chambers a enregistré avec Dave Fridmann (Mercury Rev, Flaming Lips), ce qui a donné naissance à l'EP Odiorne, Want Them Leaving More. Sorti en 2001 sur Everlasting Records, le disque a été salué par des artistes comme Magnet et The Big Takeover. Le groupe a été contacté pour une tournée en Espagne en soutien à Mercury Rev ; c'est ainsi qu'Odiorne a été officiellement formé. Depuis, le groupe n'a cessé d'enregistrer et de se produire sur scène aux États-Unis et au Canada.
La musique d'Odiorne – décrite comme « des arrangements complexes et des traitements symphoniques sur des rythmes lourds » – est capturée sur « Heavy Wish ». Chaque membre apporte son influence, produisant un mélange enivrant d'avant-expérimentalisme, de jazz et de post-punk. Les comparaisons vont d'une « version bien orchestrée de Joy Division » à Pink Floyd. Mélodique, féroce et intelligent.
