.exe ou setup?

Se compilar um programa como Release e depois der um Rebuild Solution, no diretório do programa na Pasta Bin/Release vai ter um .exe pra rodar o programa, é fácil assim criar um executável!

Agora me surgiu uma dúvida, se assim é mais fácil pra q criar setup? Só pq fica mais fácil pro usuário instalar? Ou se não tiver setup é necessário o usuário instalar o framework pra rodar esse .exe?

Qual a diferença do setup e desse .exe fácil e rápido de criar?