S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008...

34
STÉFANI PIRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados

Transcript of S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008...

Page 1: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

STÉFANI PIRES

Mineração de Dados – Trimestre 2009.1

Prof. Marcus Sampaio

02/12/2008 Mineração de Dados

Page 2: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

O que é Mineração de Processos? Que logs são esses? Motivação Objetivos Log exemplo Tipos de conhecimento

Perspectiva de processo/ organização / caso

Algoritmo α Definições / Passos / Limitações

Técnica Heurística ProM Framework

02

/12

/20

08

Min

era

ção d

e D

ados

2

Page 3: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

02

/12

/20

08

Min

era

ção d

e D

ados

3

Extrair conhecimento de logs de eventos gravados

por um sistema de informação.

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 4: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Sistemas de informação empresariais armazenam eventos relevantes de alguma forma estruturada.

Ex. de sistemas: ERP (Enterprise Resource Planning)

Registram todas as transações: Ex: preenchimento de formulários, alterações de documentos

CRM (Customer Relationship Management) Registram interações com os consumidores

B2B (Business to Business) Registram trocas de mensagem entre partes;

WFM (Workflow Management) Registram o inicio e conclusão de atividades

02

/12

/20

08

Min

era

ção d

e D

ados

4

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 5: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Os sistemas possuem modelos de processos (implícitos ou explícitos).

Oferecem liberdade em sua utilização

Ex: Um sistemas de informação hospitalar com diretrizes clínicas que descrevem o tratamento de uma doença específica.

02

/12

/20

08

Min

era

ção d

e D

ados

5

Modelos de referência descrevem como as pessoas DEVEM trabalhar!

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 6: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Relacionado a tendências de gestão (BPR (Business Process Reengineering), BI (Business Intelligence), KM (Knowledge

Management) )

O objetivo é entender o que realmente está acontecendo.

Process Discovery e Delta Analysis

02

/12

/20

08

Min

era

ção d

e D

ados

6

É uma técnica de MONITORAMENTO de sistemas de

informação.

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 7: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Delta Analysis – pode também ser usado para comparar diferentes departamentos/organizações que usam o mesmo sistema ERP.

Padrões interessantes podem ser encontrados em diferentes níveis: Componentes de software Processos de negócio Organizações

02

/12

/20

08

Min

era

ção d

e D

ados

7

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 8: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

02

/12

/20

08

Min

era

ção d

e D

ados

8

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 9: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

02

/12

/20

08

Min

era

ção d

e D

ados

9

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 10: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

02

/12

/20

08

Min

era

ção d

e D

ados

10

Perspectiva de Processo

Perspectiva de Organização

Perspectiva de Caso

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 11: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Foco no controle de fluxo Expresso em uma Rede de Petri

02

/12

/20

08

Min

era

ção d

e D

ados

11

COMO?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 12: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Exemplo Lógico Atividade A é sempre sequida por B; Atividade C e D podem ser

executadas em paralelo;

Exemplo de Performance O tempo médio de processamento da

atividade A é 35 minutos; Atividade A é executada para 80%

dos casos;

02

/12

/20

08

Min

era

ção d

e D

ados

12

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 13: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Foco no executor da atividade Construir Rede Social –

transferência de trabalho entre pessoas

02

/12

/20

08

Min

era

ção d

e D

ados

13

QUEM?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 14: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Estrutura Organizacional Diagrama “Atividade-Função-

Pessoa”

02

/12

/20

08

Min

era

ção d

e D

ados

14

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 15: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Exemplo Lógico John e Mary trabalham no mesmo

time de desenvolvimento; Pete é o admininstrador do

departamento X;

Exemplo de Performance John trabalha em média com 30

casos por dia; Mary e Pete trabalham juntos em

50% dos casos;

02

/12

/20

08

Min

era

ção d

e D

ados

15

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 16: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Foco nas propriedades de um caso

Tenta estabelecer relações entre as propriedades de um caso

Requer campos adicionais com características dos casos.

02

/12

/20

08

Min

era

ção d

e D

ados

16

O QUE?1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 17: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Exemplo Lógico Casos de mais de 5.000 euros são

manipulados por John; Atividade A é executada apenas para

clientes particulares; Exemplo de Performance

80% dos casos de mais de 5.000 euros são concluídos em dois dias;

A média de tempo de conclusão de casos tratados por John e Mary é de duas semanas;

02

/12

/20

08

Min

era

ção d

e D

ados

17

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 18: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Objetivo: Inferir a estrutura do processo;

Entrada: Log do sistema

Saída: Uma rede de Petri (P, T, F), onde: P = conjunto de estados T = conjunto de transições F = conjunto de ligações (arcos)

02

/12

/20

08

Min

era

ção d

e D

ados

18

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 19: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Entrada:

02

/12

/20

08

Min

era

ção d

e D

ados

19

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 20: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Definições: Seja T um conjunto de atividades:

W = {ABCD, ACBD, AED}

Para encontrar o modelo de processos, devem ser procuradas relações de dependência/causa no log de eventos

02

/12

/20

08

Min

era

ção d

e D

ados

20

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 21: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

.

Ex: A>B, A>C, A>E, B>C, C>D, E>D,

… AB, AC, AE, BD, CD, ED B || C, C || B

02

/12

/20

08

Min

era

ção d

e D

ados

21

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 22: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Passos (8):

02

/12

/20

08

Min

era

ção d

e D

ados

22

Tw = {A, B, C, D, E}

Ti= {A}

To = {D}

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 23: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Passos (8):

02

/12

/20

08

Min

era

ção d

e D

ados

23

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 24: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Passos (8):

02

/12

/20

08

Min

era

ção d

e D

ados

24

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 25: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Como funciona:

02

/12

/20

08

Min

era

ção d

e D

ados

25

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 26: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

02

/12

/20

08

Min

era

ção d

e D

ados

26

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 27: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Problemas lógicos (não abordadas aqui) (atividades invisíveis, duplicadas, …)

Não sabe lidar com:RuídosAtividades de baixa frequência Sequência de baixa frequênciaExceções

Uma Solução: Técnicas heurísticas de mineração

02

/12

/20

08

Min

era

ção d

e D

ados

27

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 28: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Utiliza a frequência como métrica para indicar grau de certeza que A B

Seja W um log de eventos em T, e a,b T

Observe que o valor da relação está sempre entre -1 e 1

Um valor alto indica maior confiança na existencia da relação AB

02

/12

/20

08

Min

era

ção d

e D

ados

28

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 29: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Ex: A >B aparece em 5 sequências e

B>A em nenhuma: AB = 5/6 = 0.833

A >B aparece em 50 sequências e B>A em nenhuma: AB = 50/51 = 0.980

A >B aparece em 50 sequências e B>A aparece 1 vez (ruído): AB = 49/52 = 0.94

Como definir um limiar?

02

/12

/20

08

Min

era

ção d

e D

ados

29

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 30: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Não é preciso um limiar, basta escolher o melhor candidato!!!

Ex: 27 eventos do log de ex. anterior + 3 ruídos: ABCED, AECBD, AD )

02

/12

/20

08

Min

era

ção d

e D

ados

30

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 31: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Grafo de dependência, com a confiança de cada relação.

Técnica incompleta.

02

/12

/20

08

Min

era

ção d

e D

ados

31

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 32: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

www.processmining.org Grátis e Open Source

02

/12

/20

08

Min

era

ção d

e D

ados

32

1. O que é Miner. de Pro.?2. Que logs são esses?3. Motivação4. Objetivos5. Log exemplo6. Tipos de conhecimento 6.1. P. de processo 6.2. P. de organização 6.3. P. de casos7. Algoritmo α 7.1. Definições 7.2. Passos 7.3. Como funciona 7.4. Limitações8. Técnica heurística9. ProM Framework

Page 33: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

Prefeitura: Descobrir os caminhos de execução

mais frequentes Minerar processos e comparar com os

modelos implantados Empresa:

Objetivo: reduzir o período de teste dos scanners produzidos

Perguntas: Como os testes então realmente sendo

executados? Os testes estão seguindo o modelo de

referência? Em que partes do processo de teste gasta-

se mais tempo?

02

/12

/20

08

Min

era

ção d

e D

ados

33

Page 34: S TÉFANI P IRES Mineração de Dados – Trimestre 2009.1 Prof. Marcus Sampaio 02/12/2008 Mineração de Dados.

STÉFANI PIRES

02/12/2008 Mineração de Dados