Alimentar uma base do Pentaho com dados da Web

Como faria para que uma pesquisa na web pudesse alimentar uma base do Pentaho? Alguém já trabalhou com isto? Algumas coisas que encontrei apontam o Hadoop como necessário, isto mesmo?

Minha ideia seria varrer a web para alimentar meu banco, depois trabalhar nele. A questão é alimentar. Vi, que com o desenvolvimento de crawlers isto seria possível mas, via ferramenta, conhecem algo? Obrigado.