Taxa de rejeição, nada mais é, que uma porcentagem que aquela página X representa para os visitantes, se é de boa, ou má qualidade.
Quando uma página é visitada e não há nenhuma interatividade, nem ao menos descer e ver o conteúdo, ocasionará um impacto enorme e negativo ao seu site, chamado rejeição.
Na maioria dos casos, é causado por publicidades em massa, textos sem nexo, ou um design complicado, onde o visitante não saberá onde é o post.
Mas, em casos comuns principalmente para usuários do WordPress é a mau configuração do código de rastreamento do analytics, onde o mesmo não registra corretamente o andamento do visitante na página, e pensa que o mesmo saiu sem visitar nada.
Mesmo após ir a fundo nesse problema, resolvi remover esse tal código implementado direto no tema, e usar apenas um plugin, chamado: Google Analytics by YOAST, que apesar de tudo não solucionou em nada.
Caso estejam com o problema parecido, só irá resolver utilizando outro plugin, chamado AIO Webmaster.
Utilize ambos, e notará a diferença em até 5 horas após a instalação:
Apenas navegue em AIO Webmaster > Analytics Options