Review ... Probability: Denoted by P instead of , the subset Ais called an event and is called the...

download Review ... Probability: Denoted by P instead of , the subset Ais called an event and is called the sample

of 27

  • date post

    26-Apr-2020
  • Category

    Documents

  • view

    2
  • download

    0

Embed Size (px)

Transcript of Review ... Probability: Denoted by P instead of , the subset Ais called an event and is called the...

  • Review of

    Statistics A-Exam

    Qiwei Li, Ph.D. student Rice University, Houston, Texas

    January 1, 2013

  • To Kina

  • Contents

    1 Probability Theory 4 1.1 Set Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2 Measure Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

    1.2.1 σ-algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.2 Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.2.3 Measurable Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.4 Induced Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.5 Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2.6 Density . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.2.7 Conditional Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

    2 Distributions 7 2.1 Common Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Empirical Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3 Exponential Families . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.4 Location and Scale Families . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.5 Important Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

    2.5.1 Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.5.2 Chebychev’s Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5.3 Jensen’s Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5.4 Cauchy-Schwarz Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5.5 Sums of Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5.6 Important Equalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.5.7 Order Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

    3 Large Sample Theory 9 3.1 Convergence Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

    3.1.1 Almost Sure Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.2 Convergence in Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.3 Convergence in Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.4 Law of Large Numbers (LLN) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.5 Central Limit Theorem (CLT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

    3.2 The Delta Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

    4 Data Reduction 11 4.1 Sufficient Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

    4.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 4.1.2 Sufficiency Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 4.1.3 Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 4.1.4 Exponential Family Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 4.1.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

    4.2 Minimal Sufficient Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.2.2 Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.2.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

    4.3 Ancillary Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

  • 4.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.3.2 Location Family Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.3.3 Scale Family Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.3.4 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

    4.4 Complete Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.4.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.4.2 Exponential Family Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 4.4.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

    5 Point Estimation 14 5.1 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2 Methods of Finding Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

    5.2.1 Method of Moments (MOM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2.2 Maximum Likelihood Estimator (MLE) . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2.3 Bayes Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 5.2.4 Minimax Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

    5.3 Methods of Evaluating Estimators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 5.3.1 Mean Squared Error (MSE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 5.3.2 Cramer-Rao Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 5.3.3 Uniform Minimum Variance Unbiased Estimator (UMVUE) . . . . . . . . . . . . . . . . 16 5.3.4 Equivariance and Invariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 5.3.5 Adimissible Estimator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 5.3.6 Asymptotic Evaluations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

    6 Hypothesis Testing 18 6.1 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

    6.1.1 Error Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.1.2 Power Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.1.3 p-Value . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.1.4 Critical Region . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.1.5 Confidence Interval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

    6.2 Method of Finding Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.2.1 Likelihood Ratio Test (LRT) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 6.2.2 Bayesian Shelter Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 6.2.3 Uniformly Most Powerful (UMP) Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

    7 Linear Regression 20 7.1 Simple Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

    7.1.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 7.1.2 Least Squares (LS) Solution: Mathematical Solution . . . . . . . . . . . . . . . . . . . 20 7.1.3 Best Linear Unbiased Estimator (BLUE): Statistical Inference . . . . . . . . . . . . . . . 20 7.1.4 Maximum Likelihood Estimator (MLE): Statistical Inference . . . . . . . . . . . . . . . 20 7.1.5 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

    7.2 Multiple Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 7.2.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 7.2.2 Least Squares (LS) Solution: Mathematical Solution . . . . . . . . . . . . . . . . . . . 21 7.2.3 Best Linear Unbiased Estimator (BLUE): Statistical Inference . . . . . . . . . . . . . . . 21 7.2.4 Maximum Likelihood Estimator (MLE): Statistical Inference . . . . . . . . . . . . . . . 21 7.2.5 Model Selection with Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . 21

    2

  • 7.3 ANOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 7.3.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 7.3.2 Hypothesis Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 7.3.3 Coefficient of Determination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

    7.4 Important Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 7.4.1 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 7.4.2 Checking the Assumption of Regression Models . . . . . . . . . . . . . . . . . . . . . . 22 7.4.3 Testing for Lack of Fit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

    3