Como encaja Fast Track 3.0 en la arquitectura de nuestro datawarehouse

BI206

Un español, un mexicano y un tico

SQL Server MVPs

α{nos_falta_el_gringo_para_el_chiste@solidq.com}

Mentores

FTDW en Arquitecturas DW

αIntroducción del estado del arte

αFast Track Data Warehouse

αApéndice: Parallel Data Warehouse

AGENDA

Data Marts-DataWarehouse Acercamiento tipo KIMBALL

Datawarehouse - Datamarts Acercamiento tipo INMON

Arquitectura Hub-Spoke

Fast Track Scope

Data

Path

Data Warehouse

Analysis Services

Cubes

PerformancePoint

Dedicated SAN,

Storage Array

Reporting Services

Web Analytic Tools

Integration

Services ETL

SharePoint Services

Microsoft Office SharePoint

Data Staging,

Bulk Loading

Supporting Systems BI Data Storage Systems Presentation Layer Systems

Reference Architecture Scope (dashed)

Excel Services

Pre

sen

tati

on

Data

P

resen

tati

on

Data

FTDW – Posicionamiento ¿Qué vale el invento? Versiones

¿Qué es Fast Track Data Warehouse? αMÉTODO para diseñar un DW balanceado β Excelente coste-eficiencia-beneficio

αBUENAS PRÁCTICAS para β Configurar sistema

β Diseñar datos,

β Cargar datos (inicial e incrementales)

αLos fabricantes aportan CONFIGURACIONES de referencia

α«Para todo lo demás Mastercard» β NO es la única solución de Microsoft para DW

β SÓLO para BDs Relacionales: no SSAS, SSIS, SSRS

FTDW – Elección de Máquina

αEl tamaño importa (mínimo) β En V3.0: 96GB de RAM; 12 cores; 1 bandeja con 22 discos

αEntrevista inicial β Conocer arquitectura objetivo

γ Decir NO para evitar expectativas imposibles de cumplir

β Conocer el volumen que se necesita, que incluye

γ Tamaño de BD (datos + índices), Tempdb, Staging, crecimiento y archiving

β Cálculos

γ Después aplicar ajustes

Componentes Generales y cuellos de botella

FC

HBA

A

B

FC

HBA

A

B FC

SW

ITC

H

STORAGE

CONTROLLER A

B

A

B CA

CH

E

SE

RV

ER

CA

CH

E

SQ

L S

ER

VE

R

WIN

DO

WS

CP

U C

OR

ES

CPU Feed Rate HBA Port Rate Switch Port Rate SP Port Rate

A

B

DISK DISK

LUN

DISK DISK

LUN

SQL Server

Read Ahead Rate

LUN Read Rate Disk Feed Rate

Validaciones de Eficiencia de la Máquina

αPruebas sintéticas de E/S γ SQLIO, Perfmon

αPruebas de Eficiencia de SQL Server γ MCR Indicadores Nominales

δ 140-290 MB/sec

γ BCR la vida misma

δ 80% de MCR

Configurar Máquina:

Intro máquina, MSA, y SQLIO

MCR, BCR

Definir Distribución de datos

LUN16 LUN 2 LUN 3

Local Drive 1

Log LUN 1

Permanent DB Log

LUN 1

Te

mp

DB

TempDB.mdf (25GB) TempDB_02.ndf (25GB) TempDB_03ndf (25GB) TempDB_16.ndf (25GB)

Permanent FG

Permanent_1.ndf

Pe

rma

na

nt_

DB

S

tag

e

Data

ba

se

Stage FG

Stage_1.ndf Stage_2.ndf Stage_3.ndf Stage_16.ndf

Stage DB Log

Permanent_2.ndf Permanent_3.ndf Permanent_16.ndf

Definir Geometría de datos

αHeaps β Cuando se lee tabla entera: no hay filtros

β Como paso intermedio antes de ir a destino

β Transformaciones complejas que generan fragmentación

β Cuando el rendimiento es aceptable vs clustered

αTablas Clustered β Estándar en FTDW

αParticionado β Rendimiento, Fragmentación, Manegabilidad, Cargas concurrentes

αCompresión de datos

Carga de Datos

αObjetivo β Sequencialidad de los datos

αConsideraciones arquitectura datos β Maximizar datos secuenciales

β Minimizar fragmentación

β Operaciones concurrentes generan fragmentación

β UPDATEs y DELETEs pueden introducir fragmentación

αConsideraciones arquitectura proceso β Origen: archivo, ODBC

β Transaction: Bulk o Row

β Formato: Ordenado, sin ordenar, 1 archivo, varios archivos

β Recursos:

γ CPU, Memoria

Target Database

Step 1

“Base Load”

Step 2

“Stage Insert”

Step 4

“Transform”

Step 5

“Final Append”

Destination Partitioned CI Table

Ejemplo: FTDW Carga a tabla particionada

Step 3

“Cleanup” Step 6

“Cleanup”

….

Datos Carga inicial y Demo Carga Incremental

Posicionamiento DW MS

Escalabilidad

Complejidad

HA por defecto

SW-HW integración

1

2

3

PDW con

Hub-and-spoke

SQL Server 2008

4

PDW

SQL Server 2008

Fast Track

Arquitecturas de Referencia

PDW: Arquitectura

Database Servers

Du

al In

fin

iban

d

Control Nodes

Active / Passive

Landing Zone

Backup Node

Storage Nodes

Spare Database Server

Du

al Fib

er

Ch

an

nel

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

SQL

Management Servers

Client Drivers

ETL Load Interface

Corporate Backup

Solution

Data Center

Monitoring

Corporate Network Private Network

SQL

SQL

FTDW en Arquitecturas DW

αIntroducción del estado del arte

αFast Track Data Warehouse β Guía de Referencia

β Evaluación predecible

β Adaptable a necesidades

β Una de las soluciones

αApéndice: Parallel Data Warehouse β Nuevo Producto (DatAllegro)

β Para grandes de verdad: cientos de Teras

RESUMEN

No olvideis rellenar las evaluaciones en el Portal

del Summit!

Nos encontrareis en la zona de exposición en los

siguientes horarios

Javier, Jesús y Eladio

Mentors SolidQ