O que é necessário para construir uma aplicação de chat?

Depende para quais plataformas você deseja disponibilizar esse chat.
Qual seria o intuito?

Opa! Um bom começo é você dar uma pesquisada em "sockets" para comunicação em rede, você vai achar vários exemplos prontos que você pode usar como exemplo :)

Hum... Interessantes sua pergunta.

No caso quando procurei a um tempinho atrás saber sobre esse assunto, vi que a recomendação indicada é o uso de Web Sockets, um recurso no html5 que permite uma comunicação bidirecional.

A dica do Jones é válida, talvez vendo algo pronto você consiga desenvolver um seu de maneira semelhante.

Espero ter ajudado!