STÉFANI PIRES

Mineração de Dados – Trimestre 2009.1

Prof. Marcus Sampaio

02/12/2008 Mineração de Dados

O que é Mineração de Processos? Que logs são esses? Motivação Objetivos Log exemplo Tipos de conhecimento

Perspectiva de processo/ organização / caso

Algoritmo α Definições / Passos / Limitações

Técnica Heurística ProM Framework

02

/12

/20

08

Min

era

ção d

e D

ados

2

02

/12

/20

08

Min

era

ção d

e D

ados

3

Extrair conhecimento de logs de eventos gravados

por um sistema de informação.

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Sistemas de informação empresariais armazenam eventos relevantes de alguma forma estruturada.

Ex. de sistemas: ERP (Enterprise Resource Planning)

Registram todas as transações: Ex: preenchimento de formulários, alterações de documentos

CRM (Customer Relationship Management) Registram interações com os consumidores

B2B (Business to Business) Registram trocas de mensagem entre partes;

WFM (Workflow Management) Registram o inicio e conclusão de atividades

02

/12

/20

08

Min

era

ção d

e D

ados

4

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Os sistemas possuem modelos de processos (implícitos ou explícitos).

Oferecem liberdade em sua utilização

Ex: Um sistemas de informação hospitalar com diretrizes clínicas que descrevem o tratamento de uma doença específica.

02

/12

/20

08

Min

era

ção d

e D

ados

5

Modelos de referência descrevem como as pessoas DEVEM trabalhar!

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Relacionado a tendências de gestão (BPR (Business Process Reengineering), BI (Business Intelligence), KM (Knowledge

Management) )

O objetivo é entender o que realmente está acontecendo.

Process Discovery e Delta Analysis

02

/12

/20

08

Min

era

ção d

e D

ados

6

É uma técnica de MONITORAMENTO de sistemas de

informação.

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Delta Analysis – pode também ser usado para comparar diferentes departamentos/organizações que usam o mesmo sistema ERP.

Padrões interessantes podem ser encontrados em diferentes níveis: Componentes de software Processos de negócio Organizações

02

/12

/20

08

Min

era

ção d

e D

ados

7

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

02

/12

/20

08

Min

era

ção d

e D

ados

8

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

02

/12

/20

08

Min

era

ção d

e D

ados

9

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

02

/12

/20

08

Min

era

ção d

e D

ados

10

Perspectiva de Processo

Perspectiva de Organização

Perspectiva de Caso

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Foco no controle de fluxo Expresso em uma Rede de Petri

02

/12

/20

08

Min

era

ção d

e D

ados

11

COMO?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Exemplo Lógico Atividade A é sempre sequida por B; Atividade C e D podem ser

executadas em paralelo;

Exemplo de Performance O tempo médio de processamento da

atividade A é 35 minutos; Atividade A é executada para 80%

dos casos;

02

/12

/20

08

Min

era

ção d

e D

ados

12

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Foco no executor da atividade Construir Rede Social –

transferência de trabalho entre pessoas

02

/12

/20

08

Min

era

ção d

e D

ados

13

QUEM?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Estrutura Organizacional Diagrama “Atividade-Função-

Pessoa”

02

/12

/20

08

Min

era

ção d

e D

ados

14

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Exemplo Lógico John e Mary trabalham no mesmo

time de desenvolvimento; Pete é o admininstrador do

departamento X;

Exemplo de Performance John trabalha em média com 30

casos por dia; Mary e Pete trabalham juntos em

50% dos casos;

02

/12

/20

08

Min

era

ção d

e D

ados

15

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Foco nas propriedades de um caso

Tenta estabelecer relações entre as propriedades de um caso

Requer campos adicionais com características dos casos.

02

/12

/20

08

Min

era

ção d

e D

ados

16

O QUE?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Exemplo Lógico Casos de mais de 5.000 euros são

manipulados por John; Atividade A é executada apenas para

clientes particulares; Exemplo de Performance

80% dos casos de mais de 5.000 euros são concluídos em dois dias;

A média de tempo de conclusão de casos tratados por John e Mary é de duas semanas;

02

/12

/20

08

Min

era

ção d

e D

ados

17

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Objetivo: Inferir a estrutura do processo;

Entrada: Log do sistema

Saída: Uma rede de Petri (P, T, F), onde: P = conjunto de estados T = conjunto de transições F = conjunto de ligações (arcos)

02

/12

/20

08

Min

era

ção d

e D

ados

18

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Entrada:

02

/12

/20

08

Min

era

ção d

e D

ados

19

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Definições: Seja T um conjunto de atividades:

W = {ABCD, ACBD, AED}

Para encontrar o modelo de processos, devem ser procuradas relações de dependência/causa no log de eventos

02

/12

/20

08

Min

era

ção d

e D

ados

20

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

.

Ex: A>B, A>C, A>E, B>C, C>D, E>D,

… AB, AC, AE, BD, CD, ED B || C, C || B

02

/12

/20

08

Min

era

ção d

e D

ados

21

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Passos (8):

02

/12

/20

08

Min

era

ção d

e D

ados

22

Tw = {A, B, C, D, E}

Ti= {A}

To = {D}

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Passos (8):

02

/12

/20

08

Min

era

ção d

e D

ados

23

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Passos (8):

02

/12

/20

08

Min

era

ção d

e D

ados

24

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Como funciona:

02

/12

/20

08

Min

era

ção d

e D

ados

25

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

02

/12

/20

08

Min

era

ção d

e D

ados

26

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Problemas lógicos (não abordadas aqui) (atividades invisíveis, duplicadas, …)

Não sabe lidar com:RuídosAtividades de baixa frequência Sequência de baixa frequênciaExceções

Uma Solução: Técnicas heurísticas de mineração

02

/12

/20

08

Min

era

ção d

e D

ados

27

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Utiliza a frequência como métrica para indicar grau de certeza que A B

Seja W um log de eventos em T, e a,b T

Observe que o valor da relação está sempre entre -1 e 1

Um valor alto indica maior confiança na existencia da relação AB

02

/12

/20

08

Min

era

ção d

e D

ados

28

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Ex: A >B aparece em 5 sequências e

B>A em nenhuma: AB = 5/6 = 0.833

A >B aparece em 50 sequências e B>A em nenhuma: AB = 50/51 = 0.980

A >B aparece em 50 sequências e B>A aparece 1 vez (ruído): AB = 49/52 = 0.94

Como definir um limiar?

02

/12

/20

08

Min

era

ção d

e D

ados

29

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Não é preciso um limiar, basta escolher o melhor candidato!!!

Ex: 27 eventos do log de ex. anterior + 3 ruídos: ABCED, AECBD, AD )

02

/12

/20

08

Min

era

ção d

e D

ados

30

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Grafo de dependência, com a confiança de cada relação.

Técnica incompleta.

02

/12

/20

08

Min

era

ção d

e D

ados

31

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

www.processmining.org Grátis e Open Source

02

/12

/20

08

Min

era

ção d

e D

ados

32

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Prefeitura: Descobrir os caminhos de execução

mais frequentes Minerar processos e comparar com os

modelos implantados Empresa:

Objetivo: reduzir o período de teste dos scanners produzidos

Perguntas: Como os testes então realmente sendo

executados? Os testes estão seguindo o modelo de

referência? Em que partes do processo de teste gasta-

se mais tempo?

02

/12

/20

08

Min

era

ção d

e D

ados

33

STÉFANI PIRES

02/12/2008 Mineração de Dados