O palácio de cristal é a utopia que o homem do subsolo atribui aos "senhores" a quem se dirige: um futuro racional em que os desejos do homem foram calculados, os atos registrados numa tabela e nada de novo precisa ser decidido. O narrador a recusa.
A imagem aparece no capítulo VII da Primeira Parte, como o ponto de chegada da ciência, que calculará os atos numa tábua de logaritmos; então se erguerá o palácio. A polêmica tem alvo fora do texto: o romance O que fazer?, de Tchernichévski, de 1863, culmina num sonho de utopia em forma de Palácio de Cristal.
O que o narrador teme no palácio é não poder desafiá-lo. No capítulo X ele diz: "Vocês acreditam num edifício de cristal, eternamente inabalável, isto é, num que não se possa nem pôr a língua para fora às escondidas, nem fazer figa no bolso." Entraria num galinheiro para fugir da chuva, mas "não aceitarei o galinheiro como palácio, por gratidão". Antes, no capítulo IX, liga o palácio ao sofrimento: ali ele é impensável, porque sofrimento é dúvida e negação.
Pede que lhe mostrem algo melhor e promete seguir quem o fizer. Numa carta ao irmão, Dostoiévski conta que a censura cortou, neste ponto, a passagem em que o narrador concluía pela necessidade da fé e de Cristo, e o rastro desse corte aparece na mudança de sentido do palácio ao longo do texto.