Devo actualizar o meu OnePlus One para o Lollipop e, se o fizer, o meu processador vai ficar mais lento? E é possível mudar de volta para o KitKat?

Se você é um usuário normal e usa o seu telefone apenas para chamadas, chat, jogos e alguns aplicativos, e você não't quer correr riscos* enraizando e piscando o seu telefone e está feliz com o que você tem no seu telefone (Kitkat), it'é melhor você não't atualizar para o KitKat.
Se você quer explorar novo, quer experimentar o último SO do mercado, disposto a correr riscos, então, venha um cara... basta atualizar o seu ONE.

Seguir sua pergunta, o pirulito não'não retardar o seu processador. A duração da bateria é muito boa. Existem novos recursos legais no Lollipop que você não't entre no Kitkat.
Você tem dois sabores de pirulito para o seu ONE que são OxygenOS e Cyanogen OS 12. Eu pessoalmente prefiro CM12 por causa disso's customizabilidade e poder. OxygenOS também é estável mas ele não't oferece muitas customizações.

E sim, claro que você pode voltar ao KitKat se você não't gostar dele.

*Risco significa, se você fizer alguns erros enquanto pisca os arquivos, seu dispositivo pode tijolo que não't vir sob garantia. No entanto, enraizar e piscar qualquer rom sem qualquer erro não't anula a sua garantia. A Oneplus oferece aos usuários do Oneplus liberdade total para escolher entre vários roms disponíveis para o ONE