Violent Things foi escrito por Dallon Weekes e gravado pelo produtor Casey Crescenzo em seu estúdio no porão de sua casa em Boston, MA, por um período de duas semanas. Apresenta Darren Robinson do Phantom Planet na guitarra. Em uma entrevista online, Weekes afirmou que embora bastante satisfeito com 'Violent Things', o disco nunca foi mixado ou masterizado, e que devido à falta de recursos para completar a gravação, o disco foi lançado como 'inacabado'.
Em 2011, Weekes regravou pessoalmente "Visitation of the Ghost" em um estúdio no sul da Califórnia. Ele revelou que decidiu fazê-lo já que "nunca ficou totalmente satisfeito com a versão" do álbum oficial. Esta versão alternativa de "Visitação do Fantasma" foi lançada no Bandcamp no mesmo ano como um bônus de aniversário.
