O Grande Inquisidor é um poema que Ivan inventa e conta a Aliócha num botequim, no Livro V: Cristo volta à Sevilha do século XVI e um cardeal de noventa anos o manda prender para que não perturbe a felicidade que a Igreja fabricou.
Na cela, à noite, o Inquisidor fala e o prisioneiro nada diz. O velho sustenta que as três perguntas do espírito do deserto, a das pedras em pães, a do pináculo do templo e a dos reinos da terra, predisseram toda a história humana, e que Cristo errou ao dar aos homens uma liberdade que eles não suportam. A Igreja corrigiu a obra com as três forças que Ele recusou: o milagre, o mistério e a autoridade. E revela o segredo: já não estão com Cristo, mas com o outro, há oito séculos.
O cardeal não é um cínico; diz ter ido ao deserto e voltado para a felicidade dos fracos, e mente por amor a eles. Aliócha protesta que o poema louva Jesus e que o Inquisidor não crê em Deus; Ivan responde que talvez seja esse o seu sofrimento.
A resposta de Cristo é um beijo nos lábios exangues do velho, que o expulsa e não muda de ideia. Aliócha repete o gesto, beijando Ivan, e Ivan o chama de furto literário. O livro não refuta o poema com palavras: responde nos capítulos de Zossima, no Livro VI.