Integrando servi�os AWS com Android

Fique por dentro

O artigo � �til para a criaç�o de um sistema com alta escalabilidade, baixa manutenç�o e controle de custos. Com ele voc� poder� desenvolver uma aplicaç�o simples se utilizando de serviços da AWS para otimizar seus serviços.

Veja que o artigo n�o se aprofundar� nos serviços AWS, mas apenas em suas possibilidades de utilizaç�o via Android. Sua utilizaç�o por outras plataformas tamb�m � poss�vel e se utilizam de muita semelhança, por�m, com particularidades de cada sistema.

Neste artigo vamos apresentar diversos serviços de f�cil utilizaç�o e escalabilidade que podem potencializar sua experi�ncia com uso de facilidades disponibilizadas em nuvem para seu aplicativo. Utilizaremos um dos principais servidores de nuvem da atualidade, disponibilizado pela Amazon, o AWS para criar integraç�o e comunicaç�o diretamente com um aparelho Android.

AWS � uma sigla para Amazon Web Services, que prop�e de uma forma bem simples prover serviços altamente escal�veis para ajudar no desenvolvimento de aplicaç�es robustas. Em 2011, um datacenter da AWS foi constru�do em nosso pa�s, o que nos d� mais uma vantagem interessante, em especial relacionado � lat�ncia de comunicaç�o.

O que faz a AWS ser uma opç�o interessante para muitos sistemas s�o seus serviços especializados, que � tamb�m o que lhe diferencia da maioria dos �provedores de nuvem�. De um modo geral, eles possuem alt�ssima escalabilidade com uma manutenç�o m�nima e ainda conseguem ser entregues por um custo baixo. Alguns desses serviços s�o: banco de dados, DNS, sistema de filas, sistema de busca, armazenamento, serviços https, entre outros.

Os serviços AWS s�o independentes de plataforma, sua implementaç�o � baseada em comunicaç�o por web services, por�m uma s�rie de APIs especializadas para plataformas s�o criadas para facilitar sua utilizaç�o.

� interessante notar que a maioria dos serviços possuem um n�vel gratuito de utilizaç�o, que � muito �til para testes e dependendo do tamanho da aplicaç�o, com a utilizaç�o dos serviços corretos pode-se deixar o lado servidor completamente sem custo.

Os serviços fornecidos nem sempre est�o dispon�veis em todas as regi�es, desta forma nem sempre um serviço que existe nos datacenters nos Estados Unidos existe nos datacenters do Brasil. Entretanto, a Amazon n�o restringe o uso de serviços disponibilizados em outra regi�o que n�o a mais pr�xima, mas claro a lat�ncia de acesso ser� maior.

Tamb�m � importante notar que os preços cobrados diferem entre as regi�es. Assim, recomendo analisar qual o real impacto em sua aplicaç�o e verificar o custo-benef�cio, ou at� mesmo dividir a utilizaç�o entre as regi�es.

Comunicaç�o

Um grande desafio no desenvolvimento de aplicativos para dispositivos m�veis est� justamente na comunicaç�o com outros dispositivos/internet. Apesar deste n�o ser o foco do artigo, este � um ponto muito importante ao se desenvolver um aplicativo utilizando estes tipos de serviços, em especial em nossas redes 3G aqui no Brasil, com v�rios problemas sinal e velocidade de conex�o.

Para lidar com estes problemas existem uma s�rie de padr�es e tratamentos, sendo recomendado a utilizaç�o destes para evitar comportamentos inesperados:

Criar cache de informaç�es que n�o sejam necessariamente em tempo real (padr�o DAO pode facilitar isso);
Criar Receiver para todos os broadcasts do Android relevantes a sua aplicaç�o;
Realizar o envio de informaç�es em background, utilizando envio em dois passos (cache > servidor);
Para informaç�es que realmente precisem ser em tempo real, realizar tratamento e manter uma mensagem clara para o usu�rio do problema.

Com estes tratamentos relativamente simples, o ganho na usabilidade e estabilidade ser� muito grande em aplicaç�es que fazem constante comunicaç�o atrav�s da internet.

Protocolo de Segurança

Para ter acesso aos seus recursos na nuvem AWS, � necess�ria uma identificaç�o que � composta por uma chave de acesso e uma senha. Ambas s�o geradas pelo sistema IAM que gerencia o acesso aos serviços. Esse acesso estar� atrelado a uma regra de acessos, que serve para limitar as operaç�es que podem ser executadas (muito importante ser bem configurada, para evitar brechas), sendo estas regras de f�cil configuraç�o atrav�s do console AWS.

Nota: Para limitar ainda mais o acesso, tamb�m pode-se gerar uma sess�o em cima deste acesso. Desta forma, ele ter� tempo de validade para o acesso e voc� n�o ter� que expor a sua chave de acesso. Em contrapartida, voc� precisar� de um servidor para gerenciar a criaç�o de sess�es.

Tamb�m � configur�vel a comunicaç�o utilizando protocolo HTTPS, por�m o seu uso vai acarretar em um overhead maior na comunicaç�o com o servidor, gerando um maior consumo de banda (servidor e aparelho) e utilizaç�o de CPU.

Consequentemente, tamb�m trar� um maior gasto de bateria, especialmente se o aplicativo utilizar esta comunicaç�o frequentemente. Assim, � importante avaliar a necessidade da utilizaç�o para a sua aplicaç�o, ou utilizar apenas nas comunicaç�es que requerem maior segurança.

Riscos de se prender aos serviços

Apesar de a Amazon ter demonstrado muita confiança a seus clientes nos �ltimos anos, inclusive otimizando estruturas para baixar custos e repassar para clientes, n�o recomendo se prender completamente a sua estrutura para que voc� n�o fique vulner�vel a mudanças de mercado.

A maioria dos serviços fornecidos pela AWS � exclusivo dela, com isso � muito importante o desenvolvimento em camadas e a utilizaç�o de padr�es como Factory e DAO que possam deixar at� um certo n�vel esta depend�ncia em relaç�o serviços menos acoplada de forma que seja mais f�cil fazer ajustes em uma poss�vel mudança.

Lembrando tamb�m que temos o serviço de servidor convencional, onde voc� pode contratar uma m�quina e realizar a instalaç�o e comunicaç�o que voc� desejar, por�m o dimensionamento � um pouco menos din�mico e necessita de mais configuraç�es do que nos serviços especializados.

Serviços

Apesar da grande variedade de serviços, vamos passar por apenas alguns que s�o utilizados na maioria dos projetos:

Identity and Access Management (IAM): Realiza o controle de permiss�es para acesso aos serviços, existe uma limitaç�o quantitativa relativamente baixa neste serviço, por isso a previs�o de crescimento deve ser coerente com o modelo deste serviço;
SimpleDB: Serviço de banco de dados do tipo chave valor. Se assemelha muito a um banco relacional, por�m, tem alguns diferenciais importantes: n�o existe de fato um relacionamento por FK, os campos s� podem ser do tipo texto, consequentemente as comparaç�es devem ser por texto, todos os campos s�o indexados e aceita-se campo multivalorado;
Simple Queue Serviçe (SQS): � uma fila de mensagens, as mensagens permanecem na fila at� que sejam consumidas, da mais antiga para a mais nova. As mensagens t�m um limite de tamanho (relativamente pequeno) e funciona apenas pelo sistema de �pull� (onde o cliente deve buscar a mensagem);
Simple Storage Serviçe (S3): Serviço de armazenamento de dados em massa. Pode-se salvar grandes quantidades de dados com um bom desempenho, sem se preocupar com �espaço livre� e por um preço bem interessante. O serviço, internamente, comprime os arquivos enviados para que estes ocupem ainda menos espaço (o preço cobrado � sobre o tamanho ap�s comprimido);
Simple Email Service (SES): Este serviço utiliza um cliente de e-mails padr�o, desta forma pode-se utilizar com o cliente Java Mail que j� vem na JDK e segue o envio padr�o de e-mail.

Muitos destes serviços possuem integraç�o entre eles realizada pela Amazon, o que facilita alguns aspectos do desenvolvimento.

Conhecendo os serviços na pr�tica

Para começar a construir um projeto com integraç�o com a AWS voc� ter� que ter em m�os a SDK para sua plataforma, no nosso caso Android. A SDK para o Android tem uma din�mica um pouco diferente do que normalmente se tem em uma API, em especial pelo seu tamanho. Para evitar inflar excessivamente sua APK, esta SDK foi desenvolvida de forma modular, onde voc� s� precisar� importar o que realmente vai utilizar.

� necess�rio adicionar um usu�rio atrav�s do serviço IAM no console AWS. Feito isso, ser� gerado uma accessKey e uma secretKey que utilizaremos para fazer a comunicaç�o com os serviços. N�o h� necessidade de se criar uma senha para este usu�rio, por�m � importante configurar a permiss�o conforme desejada (ela poder� ser alterada posteriormente).

SDK

O SDK AWS � relativamente f�cil de se utilizar, bem modular e com uma boa gama de configuraç�es para que possamos adapt�-lo o melhor poss�vel �s nossas necessidades.

Algo que voc� vai reparar rapidamente � o fato dela ter um alto n�vel de orientaç�o a objetos. Assim, para cada operaç�o voc� acabar� tendo que criar objetos novos para novas requisiç�es. Para quem n�o est� acostumado, isto pode parecer um pouco chato no in�cio, mas com o tempo e com seu projeto crescendo voc� acaba por descobrir as vantagens desta abordagem.

Outro aspecto interessante da API � fato dela utilizar muita exceç�o de tempo de execuç�o (RuntimeException), sendo poss�vel evitar crashes indevidos.

Este artigo vai se basear na utilizaç�o do SDK AWS de mais alto n�vel. Observe que em toda a SDK temos tr�s n�veis de uso:

O n�vel de requisiç�o web service diretamente, que � o mais complexo pois voc� dever� ter profundo conhecimento nos serviços, sua API e poss�veis mudanças;
Temos um n�vel intermedi�rios, que lhe d� acesso diretamente aos objetos de requisiç�o da SDK, podendo realizar configuraç�es e tratamentos diretamente nos objetos de requisiç�o. Isso nos d� a liberdade para pequenas otimizaç�es e detalhes que n�o estavam previstos no n�vel mais alto, dependendo de sua aplicaç�o pode vir a ser necess�rio em algum dos serviços;
O terceiro e mais alto n�vel � o que trataremos aqui. � o mais simples e r�pido para se utilizar, ele possui uma interface simples e que procura manter a simplicidade de uso. Neste n�vel, temos algumas limitaç�es de configuraç�o mas ganhamos em produtividade.

Mesmo este artigo sendo voltado ao desenvolvimento Android, a API desenvolvida para outras plataformas, como Java e iOS s�o muito semelhantes, inclusive em nomenclatura de m�todos e seguem os mesmos conceitos de utilizaç�o.

IAM

Demonstraremos aqui duas forma simples para se ter acesso aos serviços AWS, por�m � importante ressaltar que a pr�tica de se manter as chaves de acesso dentro do c�digo � de grande risco. A primeira forma seria utilizando diretamente as chaves em c�digo.

Para isso, temos uma classe dentro do pacote STS chamada BasicAWSCredentials, ela recebe dois par�metros, a sua accessKey e secretKey que estar�o relacionados ao usu�rio que voc� criou pelo console AWS (citado anteriormente), com estas credenciais voc� passa a ter acesso a todos os recursos dentro das permiss�es que voc� definiu.

Uma segunda forma, ainda simples, seria criar um servidor que fique respons�vel por esse processo, sendo que no servidor voc� inicia o processo exatamente da mesma forma mencionada no par�grafo anterior, por�m voc� adiciona uma passo, onde voc� gera um token que ter� uma validade finita e quais as regras de acesso podem ser limitadas diretamente na criaç�o deste token. Observe como realizar a criaç�o do token na Listagem 1.


BasicAWSCredentials credentials = new BasicAWSCredentials(ACCESS_KEY, SECRET_KEY);
Action allActions = new Action() {
 public String getActionName() {
  return FULL_PERMISSION;
 }
};
Policy policy = new Policy().withStatements(new Statement(Effect.Allow)
.withActions(allActions).withResources(new Resource(ALL_RESOUCES)));
GetFederationTokenRequest request = new GetFederationTokenRequest()
.withDurationSeconds(timeoutSeconds).withName(USER_NAME).withPolicy(policy.toJson());
AWSSecurityTokenServiceClient tokenClient = new AWSSecurityTokenServiceClient(credentials);
GetFederationTokenResult result = tokenClient.getFederationToken(request);
Credentials resultCredentials = result.getCredentials();

Listagem 1. Criaç�o de token

Na primeira linha de c�digo temos o m�todo que cria as credenciais baseadas na accessKey e secretKey definidas por constantes. Em seguida � utilizada a classe builder Policy para construir as permiss�es espec�ficas deste token. Neste caso estamos dando permiss�o total (por�m, ainda � limitado �s permiss�es do usu�rio atrelado).

Em seguida, utilizando mais um builder, completamos as informaç�es para definiç�o do token incluindo tempo de duraç�o, a qual usu�rio este token estar� atrelado e as permiss�es. Por fim, fazemos a requisiç�o do token diretamente ao serviço AWS, que nos retorna as credenciais conforme requisitado, que � o objeto resultCredentials que poder� ser utilizado para acessar os recursos AWS.

SimpleDB

Esse � o �nico serviço que ainda n�o se encontra vis�vel atrav�s do console AWS, por�m voc� encontra uma s�rie de plugins para navegadores, eclipse ou aplicativos para poder ter um controle visual sobre suas tabelas.

A l�gica deste banco � bem simplificada, apesar de sua implementaç�o ser muito diferente de um banco convencional. Para a criaç�o de tabelas e inserç�o de dados seguimos o fluxo padr�o de requisiç�o de web service atrav�s da SDK fornecida.

Um ponto muito interessante a ser notado na inserç�o de dados � o fato de que as colunas s�o totalmente din�micas. Ao criar uma tabela voc� n�o define nenhuma das colunas e durante a inserç�o dos dados as colunas s�o criadas dinamicamente.

Como este banco suporta campo multivariado, � bom estar atento � forma como se est� inserindo os dados para obter o resultado desejado. Voc� pode utilizar SQL para buscas, por�m ela � um pouco diferente do convencional (veja o endereço na seç�o Links).

Conforme pode-se observar na Listagem 2, a classe AmazonSimpleDBClient serve para realizar a comunicaç�o com o SimpleDB. A partir dela voc� poder� realizar chamadas para executar operaç�es com este serviço. Passamos por par�metro um objeto chamado credentials, este objeto � o mesmo criado no t�pico IAM e ele � necess�rio para que os serviços nos permitam o acesso com a nossa conta.

Observe que criamos um objeto de configuraç�o onde definimos alguns par�metros interessantes que podem nos ajudar a otimizar a comunicaç�o com o serviço perante as necessidades que nossa aplicaç�o venha a ter. � importante ficar claro que este n�o � um objeto utilizado exclusivamente para o SimpleDB, ele tamb�m funciona com diversos outros serviços.


AmazonSimpleDB sdb;
ClientConfiguration clientConfiguration = new ClientConfiguration();
clientConfiguration.withSocketTimeout(10000);
clientConfiguration.withProtocol(Protocol.HTTP);
clientConfiguration.withMaxErrorRetry(7);
sdb = new AmazonSimpleDBClient(credentials, clientConfiguration);

Listagem 2. Configuraç�o do SimpleDB

Para a criaç�o de uma tabela, que � chamada de dom�nio, voc� utilizar� o objeto sdb criado na �ltima listagem chamando o m�todo createDomain() e tudo que voc� precisa � passar o nome do dom�nio como par�metro para que ele seja criado.

Simple Queue Service (SQS)

Sistema de gerenciamento de filas, seu conceito � bem b�sico, um processo alimenta uma fila e outro pegas estes elemento na mesma ordem que eles foram colocados. Para a comunicaç�o com o serviço, deve-se utilizar a classe AmazonSQSClient. Para criar dinamicamente uma fila � necess�rio apenas passar o nome da fila a ser criada, por�m � importante armazenar a URL que ser� retornada durante a criaç�o, pois esta ser� utilizada para o envio e consumo das mensagens.

As mensagens ser�o enviadas atrav�s do m�todo sendMessage(), que recebe a URL da fila e a mensagem em uma String. Podemos definir a quantidade m�xima de mensagens a serem buscadas na requisiç�o, sendo que o limite m�nimo fica pela quantidade existente na fila.

Na Listagem 3 estamos recebendo uma �nica mensagem, pegando o conte�do dela e descartando a mensagem no servidor. Tamb�m durante a requisiç�o da mensagem pode-se passar um par�metro atrav�s do m�todo setVisibilityTimeout() que far� com que a mensagem n�o fique vis�vel para outras requisiç�es por um tempo definido.

Desta forma, voc� pode se certificar do tratamento da mensagem antes da exclus�o completa dela do servidor.


ReceiveMessageRequest request = new ReceiveMessageRequest(queueUrl);
request.setMaxNumberOfMessages(1);
Message message = sqs.receiveMessage(request).getMessages().get(0);
String body = message.getBody();
sqs.deleteMessage(new DeleteMessageRequest(queueUrl, message.getReceiptHandle()));

Listagem 3. Recebendo mensagem na Fila

Simple Storage Service (S3)

Este � um serviço possui uma cara de sistema de arquivos e � utilizado para armazenar grandes massas de dados de uma forma completamente din�mica e otimizada. Por se tratar de um grande volume de dados, a sua utilizaç�o � um pouco mais complexa comparada com os serviços citados at� aqui.

� muito importante tomar o cuidado tamb�m de tratamentos no lado Android quanto � utilizaç�o de banda e bateria, pois este serviço pode envolver tarefas longas e de utilizaç�o intensiva de rede.

A Listagem 4 demonstra a forma mais simples de envio de arquivo. Pode ser utilizado em qualquer arquivo, por�m, a partir de um certo tamanho de arquivo voc� passa a ter problemas e riscos de perda de conex�o. Com algumas configuraç�es de conex�o voc� pode melhorar esta estabilidade (em especial de timeout).


AmazonS3 s3 = new AmazonS3Client(credentials);
s3.putObject(new PutObjectRequest(bucketName, fileName, file));

Listagem 4. Envio de arquivo S3

Para resolver completamente esse problema, temos uma segunda forma de envio, onde mandamos o arquivo em partes. Com isso, corre-se o risco de perder apenas partes do processo, sendo necess�rio o reenvio das partes pendentes.

Al�m da melhor estabilidade do envio, tamb�m podemos nos utilizar desta ferramenta para enviar v�rias partes em paralelo, com a intenç�o de otimizar o envio do arquivo (ver Listagem 5).


TransferManager transferManger= new TransferManager(credentials);
Upload upload = transferManger.upload(bucketName, fileName, file);

Listagem 5. Envio Multi-Part S3

O objeto Upload permite visualizar o status atual do upload e esperar por eventos relacionados. J� o TrasnferManager ser� utilizado para abortar conex�es e iniciar downloads e uploads.

Quando for listar uma s�rie de arquivos � importante prestar atenç�o � paginaç�o desta lista para que n�o perca conte�do existente. Para isso temos os m�todos isTruncated() para saber se existe uma pr�xima p�gina e listNextBatchOfObjects() para buscar a pr�xima p�gina. O modo como voc� vai implementar esta listagem de p�ginas vai depender muito de sua aplicaç�o, mas tenha em mente que cada requisiç�o de p�gina ser� uma nova requisiç�o na rede, envolvendo custos e tempo. Veja um exemplo na Listagem 6.


ObjectListing obList = s3.listObjects(bucketName, folderPath);
List<S3ObjectSummary> list = obList.getObjectSummaries();
while(obList.isTruncated()) {
 obList = s3.listNextBatchOfObjects(obList);
 list.addAll(obList.getObjectSummaries());
}

Listagem 6. Listagem de arquivos

Veja tamb�m que o objeto retornado nesta listagem n�o � o arquivo em si, mas apenas um metadado para os arquivos, para buscar definitivamente o conte�do do arquivo ser� necess�ria uma nova requisiç�o atrav�s do m�todo getObject() especificando o arquivo a ser buscado.

Apesar de n�o existir de fato o conceito "pasta" neste serviço, a utilizaç�o de barra no nome do arquivo d� uma sensaç�o pr�xima ao que costumeiramente utilizamos em um sistema de arquivos convencional.

A deleç�o de um objeto funciona no mesmo padr�o das requisiç�es, atrav�s do m�todo deleteObject() voc� fornece o nome completo do arquivo a ser removido.

Demais serviços

A Amazon tem constantemente apresentado novas soluç�es no mercado, por isso vale sempre a pena dar uma revisada em seus serviços dispon�veis para verificar se n�o temos algo novo que possa satisfazer ainda melhor a soluç�o que queremos aplicar.

Durante a escrita deste artigo, existiam ainda v�rios outros serviços que n�o foram abordados aqui:

DynamoDB: Serviço de banco de dados de alta escalabilidade e throughput;
Simple Notification Service (SNS): Envio de �push-notifications� atrav�s de e-mails;
Glacier: Serviço de armazenamento de baixo custo, por�m, leva-se um tempo m�nimo para recuperaç�o dos dados;
Relational Database Service (RDS): Servidor especializado em banco de dados, com bancos de dados comerciais (de n�o autoria da Amazon) por�m, pr�-configurados e de baixa manutenç�o;
Route53: Serviço de DNS;
CloudWatch: Serviço de monitoramento, para monitorar os demais serviços de um modo geral;
Virtual Private Cloud (VPC): Serve para a criaç�o de uma rede interna entre seus servidores. Permite uma s�rie de configuraç�es e limitaç�es de acesso para seus servidores, incluindo a criaç�o de VPN com servidores de sua rede local.

Este artigo n�o cobriu todos os aspectos e nem todas as APIs de serviços disponibilizados pelo AWS, por�m, fica evidente a padronizaç�o no desenvolvimento da API.

Links:

C�digo fonte do SDK Android
S�rie de exemplos criados pela equipe da AWS
Artigo sobre autenticaç�o na Amazon atrav�s do Android
S�rie de bons artigos relacionados ao SDK AWS para Android
Informaç�es sobre cada um dos serviços da AWS
Informaç�o sobre o n�vel de utilizaç�o gratuito da AWS
Dicas para consultas utilizando SimpleDB

Confira tamb�m

Meu primeiro aplicativo Android

Curso

Preparando o ambiente