Minera��o de Regras de Associa��o com a Ferramenta de Data Mining Weka

1. Introduç�o

Weka � um software livre do tipo open source para mineraç�o de dados, desenvolvido em Java, dentro das especificaç�es da GPL (General Public License) que ao longo dos �ltimos anos se consolidou como a ferramenta de mineraç�o de dados mais utilizada em ambiente acad�mico.

Embora a ferramenta possua como ponto forte a mineraç�o de classificadores em bases de dados, tamb�m pode ser utilizada para executar outras tarefas, especialmente a mineraç�o de regras de associaç�o. Curiosamente, � muito dif�cil encontrar artigos com exemplos de utilizaç�o da Weka no data mining de regras de associaç�o. Esta situaç�o serviu de motivaç�o para a produç�o deste artigo, que mostra o passo-a-passo para a execuç�o do data mining de regras de associaç�o na Weka. O artigo � destinado a pessoas que j� possuem alguma experi�ncia no uso da ferramenta (quem j� utilizou a Weka para executar algoritmos de classificaç�o, por exemplo) e conhecem os conceitos b�sicos sobre regras de associaç�o (algoritmo Apriori, medidas de interesse, etc.).

O restante do artigo est� dividido da seguinte forma. A Seç�o 2 apresenta um exemplo poss�vel de formataç�o de uma base de dados do tipo "market basket data" para mineraç�o na Weka. A seguir, na Seç�o 3, apresenta-se a forma de configurar os par�metros de entrada e executar a mineraç�o das regras de associaç�o. As conclus�es s�o apresentadas na Seç�o 4.

2. Formataç�o da Base de Dados

A ferramenta Weka trabalha com arquivos de entrada no formato ARFF, que corresponde a um arquivo texto contendo um conjunto de observaç�es, precedido por um pequeno cabeçalho. O cabeçalho � utilizado para fornecer informaç�es a respeito dos campos que comp�em o conjunto de observaç�es.

� importante observar que o formato ARFF foi originalmente proposto para a mineraç�o de classificadores; no entanto, ele pode ser "adaptado" para a mineraç�o de regras de associaç�o. Essa adaptaç�o resulta em uma base de dados com uma estrutura um pouco esquisita, por�m capaz de ser manipulada pela ferramenta. A seguir apresenta-se um exemplo de base de dados ARFF contendo 9 transaç�es e envolvendo 6 itens.



@relation "Transacoes"

@attribute I1 {y, n}
@attribute I2 {y, n}
@attribute I3 {y, n}
@attribute I4 {y, n}
@attribute I5 {y, n}
@attribute I6 {y, n}
 
@data
y,y,?,?,y,?
?,y,?,y,?,?
?,y,y,?,?,?
y,y,?,y,?,?
y,?,y,?,?,?
?,y,y,?,?,?
y,?,y,?,?,?
y,y,y,?,y,?
y,y,y,?,?,?

(1) Especificaç�o dos itens do dom�nio no cabeçalho: todos os itens que comp�em a base precisam ser especificados no cabeçalho do arquivo ARFF. Cada item � tratado como um atributo distinto. Eles devem ser configurados como sendo do tipo categ�rico, suportando apenas dois valores (ex: {y,n} ou {yes,no}). Em nosso exemplo, a base possui 6 itens distintos: I1, I2, I3, I4, I5 e I6.
Veja que essa formataç�o n�o � muito pr�tica, pois se estivesse sendo realizada a mineraç�o de uma base contendo 1000 itens (ex: 1000 produtos de um supermercado, algo bastante comum), seria preciso montar um cabeçalho com 1000 linhas.
(2) Indicaç�o de itens ausentes: este � o detalhe mais importante. Na formataç�o das transaç�es foi usado um macete: os itens ausentes s�o representados com �?�. Observando a base exemplo, tem-se que a primeira transaç�o cont�m os itens I1, I2 e I5 (representados por "y") e n�o possui os itens I3, I4 e I6 (a aus�ncia dos itens � representada por "?"). Por sua vez, a segunda transaç�o possui os itens I2 e I4.
Se o " ? " n�o for utilizado, a Weka acaba minerando regras envolvendo itens ausentes, o que � bastante inconveniente. Um exemplo: {caviar = 'n' } => {feij�o = 'n'}, regra que poderia ser interpretada como "quem n�o compra caviar, tamb�m n�o compra feij�o". Para uma base de dados real, milhares de regras in�teis deste tipo acabariam sendo geradas.

3. Mineraç�o de Regras de Associaç�o na Weka

A seguir apresenta-se o passo-a-passo para a mineraç�o de regras de associaç�o na Weka, a partir da base de dados exemplo.

PASSO 1: digite as informaç�es da base mostrada na Figura 1 e salve com a extens�o .ARFF (exemplo: �transacoes.arff�). Ap�s abrir a Weka, clique no bot�o �Open file...� para importar a base.

PASSO 2: mude a caixa de seleç�o que mostra o atributo classe e selecione a opç�o �No class� (destacado na figura abaixo). Isso � feito porque na mineraç�o de regras transacionais n�o existe o conceito de atributo classe (conceito associado � tarefa de classificaç�o).

PASSO 3: clique na aba "Associate". Efetue duplo clique onde est� escrito �Apriori� para poder configurar os par�metros do algoritmo

PASSO 4: a janela de configuraç�o ir� abrir. Para executar o exemplo, voc� poder� configurar os par�metros de acordo com o que est� indicado na figura abaixo.

Uma breve orientaç�o sobre a configuraç�o destes par�metros � apresentada a seguir. Dentro da ferramenta Weka, voc� pode utilizar o bot�o �More� para visualizar uma janela de ajuda com mais informaç�es sobre os par�metros.

lowerBoundMinSupport: suporte m�nimo.
upperBoundMinSupport: limite superior para o suporte.
delta: reduz o suporte iterativamente por este valor, partindo do limite superior at� que o limite inferior seja alcançado.
metricType: � um par�metro muito importante. Trata-se da especificaç�o da medida de interesse que ir� determinar a validade da regra. O conjunto de resultados minerados ser� ordenado de acordo com essa medida. No exemplo, foi selecionada a medida conhecida como confiança, mas a Weka permite a escolhida outras medidas: lift, conviction e leverage (que levam em conta a correlaç�o entre os itens da base).
minMetric: valor m�nimo para a m�trica selecionada em metricType.
numRules: n�mero m�ximo de regras que ser�o mostradas na tela de resultados.
outputItemSets: se configurado como TRUE, na sa�da, al�m de exibir as regras mineradas, exibir� tamb�m os itemsets frequentes.

car: pode ser mantido com valor "false".
classIndex: ser� ignorado pelo algoritmo de mineraç�o, pois a base n�o possui atributo classe.
removeAllMissingColumns: pode ser mantido com valor "false".
verbose: pode ser mantido com valor "false".

PASSO 5: clique no bot�o �OK�. A seguir clique em �Start�. As regras de associaç�o ser�o mineradas e exibidas na tela de resultados.

4. Conclus�es

Este artigo apresentou um roteiro para a mineraç�o de regras de associaç�o na popular ferramenta Weka. Uma caracter�stica atraente da ferramenta � a sua simplicidade. A configuraç�o dos par�metros e a execuç�o do algoritmo de mineraç�o s�o feitas atrav�s de uma interface agrad�vel e intuitiva.

Como principal caracter�stica negativa, encontra-se o fato de a base de dados a ser minerada precisar estar estruturada em um formato que n�o � muito pr�tico (o que pode inviabilizar o uso da ferramenta em algumas aplicaç�es reais). � preciso especificar todos os itens do dom�nio na seç�o de cabeçalho e indicar os itens ausentes em cada transaç�o com o uso do s�mbolo "?".

Minera��o de Regras de Associa��o com a Ferramenta de Data Mining Weka

Este artigo mostra o passo-a-passo para a execução da tarefa de mineração de regras de associação transacionais na ferramenta Weka.

1. Introduç�o

2. Formataç�o da Base de Dados

3. Mineraç�o de Regras de Associaç�o na Weka

4. Conclus�es

Artigos relacionados