A API do desenvolvedor do Gmail permite que você acesse os e-mails da pessoa?

A primeira resposta não é muito correta (e está desatualizada a partir de 2014), pois não responde diretamente à pergunta do OP. IMAP & SMTP são protocolos de Internet que são suportados pelo Google em termos de acesso a serviços de e-mail puramente em nível de mensagem, mas não estão relacionados à API do Gmail que é RESTful e funciona sobre HTTP.

Na verdade, a API foi criada (e lançada em 2014) porque esses protocolos não se mantiveram atualizados com o uso moderno de e-mail e aplicativos, como explico em um vídeo apresentando aos desenvolvedores o uso da API do Gmail (BÔNUS: história inicial dos EUA). Se você não é um desenvolvedor, mas um gerente ou outro tomador de decisão, aqui está nosso vídeo de lançamento de nível superior descrevendo porque criamos a API e quais são algumas de suas características.

Com a API, você recebe mais do que apenas mensagens de e-mail: você pode acessar as mensagens de um usuário, threads, rascunhos, rótulos do Gmail, configurar notificações push, modificar as configurações do usuário (resposta de férias, assinatura de e-mail, encaminhamento, filtros de e-mail, configuração POP & IMAP, etc.), e muito mais! IMAP & SMTP não entendem a maioria desses conceitos, daí porque uma API foi projetada.

Se você quiser começar a usar a API, dê uma olhada na esquerda-nav nesta página para ver nossas amostras de Quickstart em uma variedade de linguagens e plataformas de desenvolvimento. O código (Python) para o vídeo acima pode ser encontrado neste post do blog deep dive. Se você está pronto para uma utilização mais avançada, especificamente para modificar as assinaturas de e-mail do usuário usando a API, confira este post de acompanhamento do blog e o vídeo que produzi.

OTOH, se você é um iniciante a usar as APIs do Google, esteja ciente de que acessar a caixa de entrada de um usuário e as configurações do Gmail são informações privadas, o que significa que uma chave de API não será suficiente... você precisará de um ID de cliente OAuth2, bem como permissão explícita (autorização) do usuário para que seu aplicativo possa acessar seus dados pessoais. Para saber como fazer isso, veja este vídeo (que demos mostrando os últimos 100 arquivos/pastas no Google Drive do seu usuário) e leia este post do blog.