O que devo colocar para um servidor SMTP?
Eu realmente não tenho idéia do que você quer dizer, então eu vou te dar o que eu espero que seja uma resposta humorística.
Servidores SMTP selvagens são muito fáceis de pegar. Primeiro, você precisa de montar uma pequena armadilha. Isca-o com fatias de SPAM. Você deve ter resultados em um dia.
Dominar o servidor é um pouco mais difícil. Eu recomendo que você encontre um servidor que funcione com o sistema operacional instalado.
Nos meus dias de ISP, eu construí um MTA que usava FreeBSD, Postfix, Squirrel mail para acesso webmail, amavisd, e Clam antivírus. Naquela época, o programa tinha ganchos para permitir que o Spam Assassin verificasse o correio, e o Postfix por padrão tinha fechado a capacidade de ser um relé aberto. O relé aberto é uma coisa ruim. Um servidor relay aberto pode ser usado por pessoas nefastas que não têm contas nele para enviar e-mails para outras pessoas, geralmente spam ou vários malwares. Como regra geral, um relay aberto será listado em uma lista de buracos negros em tempo real, e os administradores de e-mail que usam o RBL se certificarão de que o e-mail do relay não será capaz de entregar o e-mail ao seu servidor de e-mail.
Para mais informações, eu sugiro fortemente que você faça alguma pesquisa. Há uma coisa nova chamada world wide web. Se você escolher usar Postfix, Qmail, Sendmail (todos estes são programas de código aberto.) procure por maneiras de configurar o servidor de escolha para que ele não seja um relay aberto, e como procurar por spam, vírus e malware em e-mails de entrada ou saída.
Boa sorte. Mantenha esta máxima em mente, "Eu agradeceria, mas a administração do sistema é um trabalho ingrato