TMA4240 Statistikk

STATISTIKK :D
INNHOLD
Et par ting som kan bli nyttige .................................................... 2
To utvalg: estimat av 2/2 ..................................... 13
2. Sannsynlighetsregning ............................................................ 2
Sannsynlighetsmaksimeringsestimatorer ............................ 13
3. Stokastiske variable og sannsynlighetsfordelinger. ................. 2
Likelihoodfunksjonen ..................................................... 13
4. Forventning og varians ............................................................ 3
5. Diskrete fordelinger ................................................................ 4
Diskret uniform fordeling ...................................................... 4
Invariansegenskapen til
sannsynlighetsmaksimeringsestimatoren ...................... 14
Binomisk fordeling ................................................................ 4
Forventning og varians til
sannsynlighetsmaksimeringsestimatoren ...................... 14
Multinomisk fordeling ........................................................... 4
10. Hypotesetesting .................................................................. 14
Hypergeometrisk fordeling ................................................... 4
Negativ binomisk fordeling ................................................... 5
Poissonfordeling ................................................................... 5
6. Kontinuerlige sannsynlighetsfordelinger................................. 5
Uniform kontinuerlig fordeling ............................................. 5
Normalfordeling .................................................................... 5
Gammafordelingen ............................................................... 6
Lognormalfordelingen........................................................... 7
Ensidig og tosidig test.......................................................... 15
Noen vanlige tester av forventninger .................................. 15
Forventning til gjennomsnitt ved kjent varians .............. 15
Forventning til gjennomsnitt ved ukjent varians ............ 16
Differanse mellom forventninger til gjennomsnitt av to
forskjellige utvalg med kjente varianser ......................... 16
Differanse mellom forventninger til gjennomsnitt av to
forskjellige utvalg med ukjente, men like, varianser ...... 16
Weibullfordeling ................................................................... 7
Differanse mellom forventninger til gjennomsnitt av to
forskjellige utvalg med ukjente og ulike varianser ......... 16
7. Funksjoner av stokastiske variable .......................................... 7
Parret T-test ........................................................................ 17
Transformasjon av variable ................................................... 7
Parrede observasjoner ................................................... 17
Momentgenererende funksjon ............................................. 8
Parret t-test .................................................................... 17
Lineærkombinasjoner av normalfordelte variable ................ 8
Når bør man bruke en parret t-test? .............................. 17
Summer av uavhengige normalfordelte variable ............. 8
Teststyrke ............................................................................ 17
Summer av uavhengige kjikvadratfordelte variable ......... 8
Test for p med binomiske data ............................................ 18
Kvadratsummer av uavhengige variable ............................... 8
Ettutvalgs test for p med binomiske data....................... 18
Ordningsvariable ................................................................... 8
Toutvalgs test for forskjell i p med binomiske data ........ 18
8 + 9. Estimering ......................................................................... 8
Test for varians.................................................................... 18
Noen viktige estimatorer ...................................................... 9
11. Enkel lineær regresjon ........................................................ 19
Sentralgrenseteoremet ......................................................... 9
Regresjonsmodellen ............................................................ 19
t-fordelingen ......................................................................... 9
Metoder for å finne estimatorene ...................................... 19
Intervallestimering .............................................................. 10
Minste kvadraters metode ............................................. 19
Konfidensintervall .......................................................... 10
Sannsynlighetsmaksimeringsestimatormetoden ........... 20
Prediksjonsintervall ........................................................ 10
Egenskapene til estimatorene ............................................. 21
Toutvalgs estimering: estimering av forskjellen mellom to
middelverdier ................................................................. 11
Konfidensintervall og hypotesetester for ,  og 2 .......... 21
Estimat av p i binomialfordelingen...................................... 12
Ett utvalg: estimat av  .................................................. 12
To utvalg: estimat av  −  ....................................... 12
Ett utvalg: estimat av  .................................................. 13
Prediksjon med regresjonsmodellen ................................... 21
Prediksjon av én verdi .................................................... 21
Prediksjon av gjennomsnittsrespons .............................. 22
Korrelasjon .......................................................................... 22
ET PAR TING SOM KAN BLI NYTTIGE

  ( − 1)
∫   =
2

∑  ( − ̅ ) = ∑( − ̅ )2

=1
∫  2   
  (2  2 − 2 + 2)
=
3
=1
∑=1( − ̅ )
= 
∑=1( − ̅ )2

∑=1( − ̅)
= 
∑=1( − ̅ )
1
∑=1   − (∑=1  )(∑=1  )

=
1
∑=1 2 − (∑=1  )2


 ′ ()
ln(()) =

()
0.025 = 1.96

=
∑( − ̅ ) = 0
=
=1
=
=

√/
̅ − 
/√
( − 1) 2
2
̅ − 
/√
2. SANNSYNLIGHETSREGNING
Utfallsrommet S er mengden av alle mulige utfall for et eksperiment. En hendelse H er en delmengde av S.
Komplementet til H er mengden av alle elementer i S som ikke er i H. Snittet av to hendelser A og B er
mengden av alle elementer i A som også er i B. To hendelser er disjunkte hvis snittet av dem er den tomme
mengden. Unionen av to hendelser er de medlemmene av S som er medlemmer av enten A, B, eller begge.
nPr er som nCr, men innbyrdes rekkefølge i utvalget har noe å si. Så nPr = r!nCr. Permutasjoner er ordnede
utvalg, kombinasjoner er uordnede utvalg.
Du kan arrangere n objekter i linje på ! måter, og i sirkel på ( − 1)! måter.
En partisjon av et utfallsrom er en mengde 1 , 2 , … ,  slik at 1 ∪ 2 ∪ … ∪  = 
For å finne sannsynligheten for unionen av flere hendelser: trekk fra likeordens snitt og legg til odde ordens
snitt. Så for tre hendelser er ( ∪  ∪ ) = () + () + () − ( ∩ ) − ( ∩ ) − ( ∩ ) +
( ∩  ∩ ).
To hendelser A og B er uavhengige hvis og bare hvis (|) = () og (|) = (), altså hvis A ikke gir
noe ny informasjon om B og vice versa.
Vi har regelen om at ( ∩ ) = (|)(). Så vi kan også si at A og B er uavhengige hvis og bare hvis
( ∩ ) = ()(). Mer generelt har vi at
(1 ∩ … ∩  ) = (1 )(2 |1 ) … ( |1 ∩ … ∩ −1 )
Bayes teorem er (|) =
Oddsen for en hendelse er
(| )()
()
()
(′ )
=
(| )( )
= ∑
=1 (
, den siste brukes når B-ene er en partisjon av S.
| )( )
()
1−()
3. STOKASTISKE VARIABLE OG SANNSYNLIGHETSFORDELINGER.
En stokastisk variabel er en funksjon  = () som knytter reelle tall til hvert enkelttilfelle  i .  er diskret
hvis utfallsrommet har et endelig antall elementer eller like mange elementer som det finnes heltall, og
kontinuerlig hvis utfallsrommet har like mange elementer som det finnes reelle tall.

Sannsynligheten ( ≤  ≤ ) for at  ligger i intervallet (, ) er ∫ () = () − () i det
kontinuerlige tilfellet. Sannsynlighetsfunksjonen () er altså den deriverte av den kumulative
sannsynlighetsfunksjonen (). I det diskrete tilfellet er sannsynligheten ( = ) for at  har verdien  lik
(). For å være en sannsynlighetsfordeling må () alltid være større enn 0 og summere opp til 1 (enten ved
å summere over hele definisjonsmengden eller integrere over hele tallinja).
Den simultanfordelte sannsynlighetsfordelingen skrives (, ) = ( = ,  = ) i det diskrete tilfellet. I det
kontinuerlige tilfellet får man sannsynligheten for at ,  ligger innenfor et område i 2 ved å integrere
funskjonen over området. Marginalfordelingen til kun  er  () er det vi får ved å summere funksjonen over
∞
alle mulige  slik at  () = ∑ (, ) = ∫−∞ (, ) i henholdsvis det diskrete og kontinuerlige tilfellet,
og vice versa for marginalfordelingen til kun . Videre har vi at  (, ) =  (|) (). Hvis og bare hvis 
og  er uavhengige har vi dermed at  (, ) =  () (). Dette kan utvides på naturlig vis til simultane
sannsynlighetsfordelinger og marginalfordelinger til et vilkårlig antall stokastiske variable.
4. FORVENTNING OG VARIANS
∞
Forventningsverdien til en variabel er  = () = ∑ () = ∫−∞ () i henholdsvis det diskrete og det
kontinuerlige tilfellet.  er definisjonsmengden til .
∞
Forventningsverdien til en variabel () er  () = [()] = ∑ ()() = ∫−∞ ()()
Forventningsverdien til en variabel (, ) er  (, ) = [(, )] = ∑ ∑ (, )(, ) =
∞
∞
∫−∞ ∫−∞ (, )(, ) 
Hvis to variable er uavhengige er () = ()().
Forventningsverdien til en lineærkombinasjon er den tilsvarende lineærkombinasjonen av forventningsverdier.
Variansen til en variabel er
∞
() =  2 = [( − )2 ] = ∑( − )2 () = ∫ ( − )2 () = ( 2 ) − ()2
−∞

Det blir helt tilsvarende når man skal finne variansen til en funksjon av en variabel.
2
Variansen til  +  er +
= 2 2 = 2  2.
Kovariansen til to variabler X og Y er
(, ) =  = [( −  )( −  )]
∞
= ∑ ∑( −  )( −  )(, ) = ∫ ( −  )( −  )(, ) 
−∞
 
= () − ()()
Og er et mål på assosiasjonen mellom de to.
Hvis to variable ikke er korrelerte, vil kovariansen deres være 0. Men to variable kan fint være korrellerte selv
om kovariansen er 0.
Variansen til en variabel er () = (, ).
2
Variansen til en sum av to variable er +
= 2 2 +  2 2 + 2 . Hvis de to er uavhengige, blir
variansen til summen summen av variansene.
Standardavviket til en variabel er kvadratroten av variansen.
5. DISKRETE FORDELINGER
DISKRET UNIFORM FORDELING
Bruk: Når det er like stor sannsynlighet for hvert utfall i utfallsrommet.
1
Fordelingsfunksjon: () = der k er antall mulige utfall.

1
Forventning:  = ∑=1  , men denne forekommer ikke noe oftere enn noen av de andre verdiene.
Varians:  2 =

1 
∑=1(

2
− )
BINOMISK FORDELING
Bruk: Når vi har en Bernoulli-prosess med n forsøk. Kjennetegnes av 3 krav:
-
Vi gjør  uavhengige forsøk
I hvert forsøk registrerer vi om hendelsen A inntreffer eller ikke
Sannsynligheten for A er den samme i alle forsøkene, og () = .

Fordelingsfunksjon: () = ( )   (1 − )− = alle rekkefølgene dette kan inntreffe i ganger sannsynligheten

for at det inntreffer x ganger ganger sannsynligheten for at det ikke inntreffer n-x ganger.
Kumulativ fordeling: Side 12 til 17 i heftet.
Forventning: () = 
Varians: () = (1 − )
Disse utledes fra at hvert forsøk representeres av en Bernoullifordelt variabel (som har verdi 0 med
sannsynlighet (1-p) og verdi 1 med sannsynlighet p), slik at den binomisk fordelte variabelen blir en sum av
Bernoullifordelte variable.
MULTINOMISK FORDELIN G
Bruk: Når vi bytter ut andre krav i binomisk fordeling med at vi har k mulige utfall, hver med sannsynlighet
1 , … ,  .
Fordelingsfunksjon: (1 , … ,  ; 1 , … ,  ; ) =
!

 1
1 !… ! 1

…  
Forventning: ( ) = 
Varians: ( ) =  (1 −  )s
Sammenheng med andre fordelinger: Når k=2 er 1 binomisk fordelt.
HYPERGEOMETRISK FORD ELING
Bruk: Vi trekker n lodd fra en urne med N lodd, hvorav k er vinnerlodd. Antall vinnerlodd er hypergeometrisk
fordelt.
Fordelingsfunksjon: () =
 −
( )(
)
 −
,

( )

der x går fra 0 til den minste av n og k.
Kumulativ fordeling: Side 21-22 i heftet.
Forventning: () =



Varians: () =
(−)(1− )

(−1)
Sammenheng med andre fordelinger: Binomisk fordeling er når vi trekker lodd med tilbakelegging,
hypergeometrisk er når vi trekker lodd uten tilbakelegging. Når  ≫  kan vi approksimere en

hypergeometrisk fordeling med en binomisk fordeling der  = , fordi  ≈  − .

NEGATIV BINOMISK FORDELING
Bruk: Vi har en Bernoulliprosess, men nå spør vi om sannsynligheten for at hendelse A inntreffer for k’te gang
på vårt x’te forsøk.
−1 
Fordelingsfunksjon: () = (
)  (1 − ) − , der x går fra k og oppover.
−1
Kumulativ fordeling: Står ikke i heftet.
En negativ binomisk fordeling med k = 1 kalles en geometrisk fordeling.
POISSONFORDELING
Bruk: Vi har en Poissonprosess med følgende karakteristikk:
-
Prosessen har intet minne: antall hendelser i et interall er uavhengig av antallet hendelser som
forekommer i ethvert annet disjunkt intervall.
Sannsynligheten for at et enkelt utfall forekommer i løpet av et veldig kort intervall er proporsjonalt
med lengden av intervallet og avhenger ikke av antallet utfall utenfor dette intervallet.
Sannsynligheten for at mer enn ett utfall forekommer i løpet av et slikt kort intervall er neglisjerbar.
Da er antallet hendelser i løpet av et eksperiment en Poissonvariabel og er Poissonfordelt.
Fordelingsfunksjon: () =
 − ()
!
=
 −  
!
fordi () = () = 
Sammenheng med andre fordelinger: Vi kan tilnærme binomialfordelingen til en Poissonfordeling når n blir
stor, da er  = .
6. KONTINUERLIGE SANNSYNLIGHETSFORDELINGER
UNIFORM KONTINUERLIG FORDELING
1
() = {−
å  ≤  ≤ 
0 
, =
+
2
og  2 =
(−)2
12
. Vi bruker ikke denne så mye.
NORMALFORDELING
Dette er den viktigste sannsynlighetsfordelingen som finnes og brukes til nesten alt på grunn av
sentralgrenseteoremet.
Fordelingsfunksjon
() =
1
√2
exp (−
1 ( − )2
) , −∞ <  < ∞
2 2
Egenskaper
-
Kurven er symmetrisk om  = 
Fordelingen har sitt typetall ved forventningsverdien
Kurvens vendepunkter er ved  =  ± 
Normalfordelte variable kan transformeres til den standard normalfordelte variablen  med  = 0,  2 = 1 ved
å la  =
−

⇔  =  + . Verdiene til  står på s. 1 og 2, og kvantilene står på s. 3.
Vi skriver ( ≤ ) som Φ(). Phi-funksjonen har egenskapen Φ(−) = 1 − Φ().
En lineærkombinasjon normalfordelte variable er en ny normalfordelt variabel. Dette er et resultat brukes
ekstremt ofte.
Approksimasjon av binomialfunksjonen
Når  er en binomisk fordelt variabel med  =  og  = (1 − ), vil  → ∞ gjøre at fordelingen av
 − 
=
√(1 − )
går mot standardnormalfordelingen. Dette fungerer veldig bra når n er stor og p ikke er veldig nærme 1 eller 0,
men også ganske bra når n er liten og p ligger rundt ½.
GAMMAFORDELINGEN
Gammafunksjonen er definert som
∞
Γ() = ∫  −1  −  ,  > 0
0
1
For heltallige n er Γ() = ( − 1)! Forøvrig er Γ ( ) = √.
2
Gammafordelingen er gitt ved
() =

1
−1 −


  Γ()
og har () =  og () =  2 .
Når  = 1 får vi eksponensialfordelingen:
() =
1 −
  =  −

1
der  = . Denne har () =  og () =  2 .

Eksponensialfordelingen her beslektet med Poissonfordelingen på omtrent samme måte som den geometriske
fodelingen er beslektet med den binomiske fordelingen. For en Poissonfordelt variabel har vi at (0; ) =
 − . La  være tiden det tar før den første Poissonhendelsen. Sannsynligheten for at X er større enn x er den
samme som sannsynligheten for at ingen Poissonhendelser skjer innen x, så ( > ) =  − . Da er den
kumulative fordelingsfunksjonen for  gitt ved (0 ≤  ≤ ) = 1 −  − . Vi deriverer med hensyn på x og får
at fordelingsfunksjonen til x er eksponensialfunksjonen, () =  − . Her er også  den gjennomsnittlige
tiden mellom hendelser.
Når  er et annet heltall beskriver gammafunksjonen forventet tid før ’te hendelse i en Poissonprosess, så på
denne måten er gammafordelingen beslektet med Poissonfordelingen på omtrent samme måte som den
negative binomiske fordelingen er beslektet med den binomiske fordelingen.
Når  = ν/2 og  = 2 får vi kjikvadratfordelingen:
() =
1
 /2−1  −/2
2/2 Γ(/2)
Denne har () =  og () = 2.  er antall frihetsgrader.
LOGNORMALFORDELINGEN
En variabel er lognormaltfordelt hvis variabelen  = ln() er normalfordelt. Dette gir fordelingen
() =
1
√2
exp (−
1
[ln() − ]2 )
2 2
for x > 0.
1 2
2
2
Fordelingen har () = e+2 og () = e2μ+σ (  − 1)
WEIBULLFORDELING
Weibullfordelingen brukes gjerne for levetiden til komponenter når man tar hensyn til slitasje og eventuelt
herding (i motsetning til den «hukommelsesløse» eksponensialfordelingen). Fordelingen for , ,  > 0, er
(; , ) =  −1  
(; , ) = 1 −  −


Når  = 1 får vi eksponensialfordelingen.
For komponenter med Weibullfordelt levetid kan man utlede en sviktrate. Hvis  () = ( > ) er
∞
sannsynligheten for at en komponent ikke svikter i løpet av tiden , er  () = ∫ () = 1 − ().
Sannsynligheten for at en komponent svikter i intervallet (,  + Δ) gitt at den overlevde til  er
(+Δ)−()
 ()
.
Hvis vi deler på endringen i tid og lar den gå mot 0, får vi sviktraten
( + Δ) − ()
()
()
=
=
=  −1
Δ→0
Δ ()
 () 1 − ()
() = lim
Hvis  = 1 får vi eksponensialfordelingen med en konstant sviktrate. Hvis  > 1 er () en økende funksjon
som indikerer på at komponenten slites over tid, og hvis  < 1 er () en minkende funksjon som indikerer at
komponenten herdes over tid.
Fordelingen har () = 
1

−
1
Γ (1 + ) og () = 

2

−
2
2
1


(Γ (1 + ) − (Γ (1 + )) ).
7. FUNKSJONER AV STOKASTISKE VARIABLE
TRANSFORMASJON AV VA RIABLE
La  = () være en en-til-en-transformasjon av en diskret X, og  = () = −1 () = −1 ().
Sannsynlighetstettheten til Y blir da () = (()). Når X er kontinuerlig blir () = (())′(), eller
() = (())||, der  er Jacobideterminanten, når vi har funksjoner av flere variable.
Det finnes også en annen metode for å regne seg frem til (): løs () < , finn () = ( ≤ ) ved å
integrere over de x som løser ulikheten og la () =  ′ (). På grunn av produktregelen for derivasjon ender vi
opp med det samme uttrykket som før.
Når () ikke er en-til-en lager man seg et sett en-til-en-funksjoner og summerer opp løsningene. For
eksempel, når () =  2 summerer vi opp løsningene for  = √ og  = −√.
MOMENTGENERERENDE FUNKSJON
∞
Den momentgenererende funksjonen til X er (  ) = ∑   () = ∫−∞   () .
()
Vi har at [  ] =  (0), altså at forventningsverdien til   er den k’te deriverte av den
()
momentgenererende funksjonen til  evaluert i x = 0.  (0) kalles  sitt k’te moment. Det første momentet
er forventningsverdien og det andre momentet opptrer i uttrykket for varians, () = ′ (0) −  (0)2 .
Det tredje momentet er et mål på hvor skjev fordelingen er og det fjerde momentet er et mål på hvor tykk eller
tynn fordelingen er – det er ikke pensum, men det er jo artig da
Den momentgenererende funksjonen er unik, det vil si at  () =  () ⇔  () =  (), så vi kan bruke
den momentgenererende funksjonen til å finne fordelingen til stokastiske variable. Hvis vi finner den
momentgenererende funksjonen til en stokastisk variabel, og finner at den er den samme som den
momentgenererende funksjonen til en stokastisk variabel med kjent fordeling, har de to variablene den samme
fordelingen. Veldig mange teoremer i pensum utledes med momentgenererende funksjoner.
Videre har vi at
-
+ () =    ()
 () =  ()
1+⋯+ () = 1 () …  ()
-
når  < 0 ⇒ () = 0 er  (−) Laplacetransformen til ().
LINEÆRKOMBINASJONER AV N ORMALFORDELTE VARIABLE
SUMMER AV UAVHENGIGE NORMALFORDELTE VARIAB LE
Når 1 , … ,  er uavhengige normalfordelte variable med forventningsverdier 1 , … ,  og varianser 12 , … , 2
vil  = ∑=1   ha en normalfordeling med  = ∑=1   og 2 = ∑=1 2 2 , som kan vises med
momentgenererende funksjoner.
SUMMER AV UAVHENGIGE KJIKVADRATFORDELTE VARIABLE
Når 1 , … ,  er uavhengige kjikvadratfordelte variable med forventningsverdier 1 , … ,  frihetsgrader vil  =
∑=1   ha en kjikvadratfordeling med ∑=1  frihetsgrader.
KVADRATSUMMER AV UAVHENGIGE VARIABLE
Når 1 , … ,  er uavhengige normalfordelte variable med forventningsverdier 1 , … ,  og varianser 12 , … , 2
vil  = ∑=1 (
 − 2

) være kjikvadratfordelt med  =  frihetsgrader. Hvis de har samme forventningsverdi 
og samme varians  2 , forenkles dette til at  = ∑=1 (
 − 2

) er kjikvadratfordelt med  =  frihetsgrader.
ORDNINGSVARIABLE
Se eget notat om ordningsvariable her.
8 + 9. ESTIMERING
En populasjon inneholder alle observasjoner det er mulig å gjøre om en mengde. Et utvalg er en delmengde av
disse observasjonene. Hvis 1 , … ,  er  uavhengige stokastiske variable som alle har den samme
fordelingsfunksjonen () kan vi definere 1 , … ,  som et tilfeldig utvalg med størrelse  fra populasjonen
(), og den simultane sannsynlighetsfordelingen til det tilfeldige utvalget er () = (1 , … ,  ) =
(1 ) … ( ).
() vil også være bestemt av visse parametere som vi enten må kjenne på teoretisk grunnlag eller estimere
basert på utvalget. En observator, på engelsk a statistic, er en funksjon av det tilfeldige utvalget, og en
observator som gir et estimat for en bestemt parameter kalles en estimator. Verdiene til estimatorene våre blir
estimatene. En god estimator er forventningsrett og effektiv. En observator ̂ er en forventningsrett estimator
for  når (̂) = . Den mest effektive estimatoren for  er den som har minst varians.
NOEN VIKTIGE ESTIMAT ORER
2
1

Det empiriske snittet ̅ = ∑=1  er en forventningsrett estimator for . Den har varians . Den empiriske

variansen  2 =
1
−1

∑=1( − ̅)2 er en forventningsrett estimator for . Den empiriske variansen har et
annet uttrykk som kan være nyttig, nemlig  2 =
1
(−1)
[ ∑=1 2 − (∑=1  )2 ], som vi finner ved å gange ut
kvadratuttrykket. Det empiriske standardavviket  er kvadratroten av den empiriske variansen.
̅ og  2 er uavhengige (det kan vises at (̅,  2 ) = 0).
Observatoren  =
̅ −
er standard normalfordelt. Hvis hver  ikke er normalfordelt, vil  fortsatt være
/√
standardnormalfordelt dersom n er stor nok (typisk ca. 30) på grunn av sengralgrenseteoremet.
Observatoren  =
−1
2
 2 er kjikvadratfordelt med  =  − 1 frihetsgrader. Vi kan tenke oss at vi mister en
frihetsgrad ved å ha estimert  med ̅ i estimatoren av  2 .
SENTRALGRENSETEOREME T
Hvis ̅ er det empiriske snittet til et tilfeldig utvalg med størrelse  tatt fra en populasjon med
forventningsverdi  og varians  2 vil lim
̅−
→∞ /√
være standard normalfordeling.
T-FORDELINGEN
Når  er ukjent, og  ikke er spesielt stor (typ lavere enn 30), må vi bruke t-fordelingen. For å utlede
fordelingen til  =
̅−
/√
skriver vi
=
̅ − 
\√
√ 2/ 2
=

2
√( − 1) /
−1
2
=

√ 
−1
Fordelingsfunksjonen til en slik variabel er en t-fordeling med n-1 frihetsgrader og står som tabell på side 4.
Den eksakte fordelingsfunksjonen er
+1
ν+1
2 − 2
)

2
(1 + )

Γ(/2)√
Γ(
Så når vi har uavhengige variabler 1 , … ,  som alle er normalfordelte med snitt  og standardavvik , og
1
lar ̅ = ∑=1  ,  2 =

1
−1
∑2=1( − ̅)2 , vil  =
̅−
/√
være t-fordelt med  =  − 1 frihetsgrader. Når  →
∞ går t-fordelingen mot en normalfordeling. Lavere  vil gi en kurve med tykkere haler, altså større varians.
INTERVALLESTIMERING
KONFIDENSINTERVALL
Et ( − )-konfidensintervall er et intervall (̂ , ̂ ) der ̂ , ̂ er funksjoner av 1 , … ,  slik at
(̂ <  < ̂ ) = 1 − . Den grafiske tolkningen av slike konfidensintervaller blir at arealet under grafen til
sannsynlighetsfordelingsfunksjonen i intervallet vårt er 1 − .  kalles intervallets signifikansnivå.
Vi konstruerer disse funksjonene ved å begynne med en observator som knytter parameteren vi skal estimere
til en sannsynlighetsfordeling. Disse observatorene er typisk ,  eller , og vi kaller disse pivotale størrelser
fordi fordelingen deres ikke avhenger av ukjente parametre. Så sette vi opp en av disse dobbeltulikhetene med
fordelingens kvantiler, som står i tabellverket. Man begynner med å sette inn de kjente uttrykkene for hver
variabel, og så regne om til ulikheten sentreres om parameteren man lurer på.
For normalfordelingen gjelder
(−/2 <  < /2 ) = 1 − 
Kvantilene står på s. 3. Denne kan vi bruke når vi kjenner variansen og skal estimere  med ̅ , eller hvis vi skal
finne minste  slik at sannsynligheten for at estimatfeilen med sannsynlighet 1 −  ikke overskrider en viss
feilstørrelse . Omregning gir oss at || < /2 /√ med sannsynlighet 1 −  og at vi krever en  ≥
(
/2  2

) for at feilen med sannsynnlighet 1 −  ikke overskrider . Vi runder opp til nærmeste heltall for å være
sikre.
Siden normalfordelingen er symmetrisk er det relativt enkelt å lage et ensidig konfidensinterall, som er
nyttigere når vi trenger et estimate for det verdien «i verste tilfelle» kan være:
( <  ) = 1 − 
For t-fordelingen gjelder
(−/2, <  < /2, ) = 1 − 
Kvantilene står på s. 4. Denne bruker vi når vi vil utlede konfidensintervaller der vi ikke kjenner . Ensidig
intervall kan gjøres på akkurat samme måte som for normalfordelingen.
For  2 -fordelingen gjelder
2
(1−/2,
<  <  2/2, ) = 1 − 
Kvantilene står på s. 5. Denne brukes når vi skal estimere . Legg merke til at kvantilene i kjikvadratfordelingen
er forskjellig fra kvantilene i t-fordelingen og normalfordelingen fordi den ikke er symmetrisk.
PREDIKSJONSINTERVALL
Når vi ønsker å forutse verdien til en ny fremtidig måling 0 av den stokastiske variabelen , lager vi et
prediksjonsintervall som tar hensyn til både variansen i målingen 0 og variansen til forventningsverdien til 0 ,
siden denne forventningsverdien må estimeres med ̅ . 0 vil falle innenfor intervallets grenser med
sannsynlighet 1 − . For å konstruere intervallet tar vi utgangspunkt i egenskapene til observatoren  − ̅ :
( − ̅) = () − (̅) =  −  = 0
( − ̅) = () + (̅) =  2 +
2
1
=  2 (1 + )


Siden  og ̅ er normalfordelte vil også  − ̅ være normalfordelte. Ut i fra dette får vi den standard
normalfordelte observatoren
=
 − ̅
√1 +
1

hvor vi har satt inn oppdaterte verdier i det vanlige uttrykket for . Når vi ikke kjenner  bytter vi ut denne med
 og får en helt tilsvarende -observator. Disse observatorene brukes til å lage prediksjonsintervall på samme
måte som man lagde konfidensintervall.
Resultatene av en vitenskapelig undersøkelse er gjerne svært sensitiv for «dårlig» data med verdier som ligger
langt unna snittet. En outlier («vill observasjon» på norsk, ikke uteligger) er en observasjon som faller utenfor
prediksjonsintervallet man regner ut ved å bruke alle andre verdier enn observasjonen det er snakk om.
TOUTVALGS ESTIMERING : ESTIMERING AV FORS KJELLEN MELLOM TO MIDDELVERDIER
KJENTE VARIANSER
Vi har to populasjoner 1 , … ,  og 1 , … ,  med størrelser  og , middelverdier  og  og varianser 2 og
2 . Et punktestimat for forskjellen  −  mellom middelverdiene til to forskjellige populasjoner er ̅ − ̅,
som er normalfordelt med forventningsverdi  −  og varians
=
2


+
2

. Vi har derfor at
(̅ − ̅) − ( −  )
2
2
√ + 


Fra dette uttrykket utledes konfidensintervall for  −  .
UKJENTE VARIANSER
Hvis vi ikke kjenner til 2 og 2 , men antar at 2 = 2 =  2 (som vi ofte gjør i virkelige eksperimenter hvor vi
for eksempel tester en populasjon mot en kontrollpopulasjon), kan vi fortsatt lage konfidensintervaller med litt
arbeid.
-
2
(−1)
2
og
(−1)2
2
er kjikvadratfordelte med henholdsvis  − 1 og  − 1 frihetsgrader
summen av to kjikvadratfordelte variabler er kjikvadratfordelt med summen av frihetsgradene, så  =
2
(−1)
+(−1)2

er kjikvadratfordelt med  =  +  − 2 frihetsgrader
(̅ −̅ )−( − )
=
-
Hvis vi lar 2 «S pooled» være en estimator for , der 2 =
til  =
1 1
2[ + ]
 
/√
2 +(−1) 2
(−1)

-
 2 (+−2)
er t-fordelt med  =  +  − 2 frihetsgrader
2
(−1)
+(−1)2
+−2
, forenkles uttrykket for 
(̅ −̅ )−( − )
1 1
 
.
 √ +
-
Fra dette utledes et konfidensintervall for  −  .
Det viktigste å ta med seg fra dette er uttrykket for 2 , som er et vektet gjennomsnitt av  og  , og det
endelige uttrykket for .
Når 2 ≠ 2 trenger vi en t-fordeling med  =
2
(
/+2 /)
2
2
2
2
2
( /)
( /)
[ 
]+[ 
]
−1
frihetsgrader. Uttrykket for  er et
−1
2
spesialtilfelle av Welch-Satterthwaites formel,
2
(∑
=1  / )
2
(2
 / )
∑
=1  −1

, her med  = 2.  er sjelden et heltall, så det rundes
ned til nærmeste heltall. Siden  nå er estimert, får vi her et estimert konfidensintervall, så vi må bytte ut =
med ≈ i uttrykket for konfidensintervallet.
Som regel, men ikke alltid, får vi et kortere (mer presist) konfidensintervall ved færre antagelser (f.eks å ikke
anta at 2 = 2 ).
ESTIMAT AV P I BINOMIALFORDELINGE N
ETT UTVALG: ESTIMAT AV 

Hvis  er antall suksesser i en binomisk forsøksrekke vil ̂ = være en naturlig estimator av . Vi finner

verdien  til  og bruker ̂ = / til å estimere . Når  forventes å ikke være ekstremt nær 0 eller 1 kan vi via
sentralteoremet bruke at, for tilstrekkelig store , er ̂ tilnærmet normalfordelt med


̂ = (̂ ) =  ( ) =
=


2̂ = 2 =

2 (1 − ) (1 − )
=
=
2
2

Dette gir oss en ny standardfordelt observator og et nytt konfidensintervall (for enten  eller minste akseptable
verdi til ) der
=
̂ − 
√(1 − )

Det er vanskelig (men mulig) å finne et eksakt uttrykk for , så hvis  er stor nok bytter man ut  med ̂ = / i
rotuttrykket. For å være sikker, kreves det at både ̂ > 5 og (1 − ̂ ) > 5, ellers kan man ikke stole på denne
metoden.
Metoden kan også brukes når en binomisk fordeling brukes til å approksimere en hypergeometrisk fordeling,
dvs. når  ≫ .
TO UTVALG: ESTIMAT AV  − 
Vi ser på to utvalg med størrelse  og , middelverdier  og  og varianser  (1 −  ) og
 (1 −  ). Vi finner antall suksesser i hvert tilfelle, altså  og , og lager estimatorene ̂ = / og ̂ =
/ for  og  . Fra dette får vi en estimator ̂ − ̂ for  −  . Et standard resonnement gir oss
=
(̂ − ̂ ) − ( −  )
√ (1 −  ) +  (1 −  )


Hvis ̂ > 5, (1 − ̂ ) > 5, ̂ > 5 og (1 − ̂ ) > 5 gjør vi som før og bytter ut  med ̂ , og  med ̂ .
ETT UTVALG: ESTIMAT AV 
Vi ser på et utvalg med størrelse  fra en normalfordelt populasjon med varians  2 og regner ut
utvalgsvariansen  2 , som er verdien til estimatoren  2 av  2 . For å lage et konfidensintervall bruker vi at  =
(−1) 2
2
2
er  2 -fordelt med  =  − 1 frihetsgrader og bruker vanlig metode for å utlede konfidensintervallene
til  -fordelte variable.
TO UTVALG: ESTIMAT AV 2 /2
Dette er ganske slitsomt, og ikke pensum.
SANNSYNLIGHETSMAKSIMERIN GSESTIMATORER
I situasjoner der det ikke er intuitivt hva slags estimator vi bør velge, gir
sannsynlighetsmaksimeringsestimeringsprinsippet en systematisk metode for å finne estimatorer. Denne går
ut på å finne parameterverdien som maksimerer sannsynligheten for å observere det vi har observert.
Metoden tar litt tid å forstå, men er veldig enkel å bruke. En estimator for  som utledes med denne metoden
kalles sannsynlighetsmaksimeringsestimatoren til .
På engelsk kalles metoden maximum likelihood estimation, som gjør det tydelig at man ikke kan bruke
likelihood og probability om hverandre uten å være forsiktig – på norsk kunne man kanskje brukt «rimelighet».
Når en student  er lei av å snakke om lengden av ordene som brukes i dette temaet, kalles  en
sannsynlighetsmaksimeringsestimeringsprinsippfagbegrepnavngivningstilbakemeldinggivningslei student.
LIKELIHOODFUNKSJONEN
Hvis  = 1 , … ,  er et tilfeldig utvalg som vi vil bruke til å estimere en parameter , kan vi definere
likelihoodfunksjonen (; ) = (1 = 1 , … ,  =  |) = 1,…, (; ) for henholdsvis det diskrete og det
kontinuerlige tilfellet. Siden vi som regel gjør  uavhengige observasjoner forenkles uttrykket til det mer
brukbare


(; ) = (1 = 1 ) … ( =  ) = ∏ ( =  ) = (1 ; ) … ( ; ) = ∏ ( ; )
=1
=1
-notasjonen kan naturligvis bare brukes i det diskrete tilfellet siden man i det kontinuerlige tilfellet har at

( = ) = ( ≤  ≤ ) = ∫ () = 0.
Vi ønsker å finne verdien ̂ for  som maksimerer (; ), eller mer formelt ̂: ∀ ((; ̂) ≥ (; )), eller
mindre formelt toppunktet til . Noen ganger er det åpenbart hva ̂ må være, andre ganger kan vi bruke den
vanlige metoden for å finne toppunkter, altså å finne ̂ slik at
at
2
2


̂ ) = 0. Det kan hende vi også må sjekke
(; 
(; ) < 0 siden vi sjelden er interessert i å finne sannsynlighetsminimeringsestimatoren til .
Det er praktisk talt alltid lettere å finne maksimum til ln() fordi vi da opererer med en sum i stedet for et
produkt:


ln((; )) = ln (∏ ( |)) = ∑ ln(( |))
=1
=1
Siden ln() er en strengt voksende funksjon vil ln() og  ha samme maksimum.
INVARIANSEGENSKAPEN TIL SANNSYNLIGHETSMA KSIMERINGSESTIMATORE N
Hvis ̂ er en sannsynlighetsmaksimeringsestimator til  er ̂ = (̂ ) en sannsynlighetsmaksimeringsestimator
til  = (). Derfor kan ofte man bruke kjente sannsynlighetsmaksimeringsestimatorer til å regne ut nye
sannsynlighetsmaksimeringsestimatorer.
FORVENTNING OG VARIANS TIL SANNSYNLIGHETSMAKSIMERINGSESTIMATOREN
Sannsynlighetsmaksimeringsestimatoren er ikke nødvendigvis forventningsrett, og den er heller ikke
nødvendigvis den mest effektive estimatoren. For eksempel er sannsynlighetsmaksimeringsestimatoren til 
1
gitt ved ̂ = ∑=1( − ̅)2 , som ikke er forventningsrett. Den går riktignok mot å være forventningsrett og

blir tilstrekkelig effektiv når  går mot ∞. Dessuten kan det hende at det er lett å finne en forventningsrett
estimator når man har funnet sannsynlighetsmaksimeringsestimatoren. I tilfellet med  kan vi for eksempel
−1

1
∑=1( − ̅)2 slik at
bruke at (̂) =
 til å lage den forventningsrette estimatoren  =
̂ =
() =

−1
̂ =

 −1
−1 
−1
−1
 = .
10. HYPOTESETESTING
En statistisk hypotese er en påstand om en eller flere populasjoner. Når vi tester en hypotese, undersøker vi
om påstanden er tilstrekkelig sannsynlig. For å teste en hypotese, finner man først nullhypotesen 0 , som er
hypotesen vi ønsker å utfordre, gjerne hypotesen man på forhånd antar – «status quo». Så setter man opp den
alternative hypotesen 1 slik at å forkaste 0 er ekvivalent med å akseptere 1 . Konklusjonen av en
hypotesetest er nødvendigvis en av de to følgende:
-
Vi forkaster 0 til fordel for 1 fordi det finnes tilstrekkelig grunnlag for dette i observasjonene våre
Vi mislykkes i å forkaste 0 fordi det ikke finnes tilstrekkelig grunnlag i observasjonene våre
Testen gjøres ved å velge et signifikansnivå , definere en testobservator  = () (der  er datasettet vårt),
og dele opp verdiområdet til  i et forkastningsområde  og et akseptområde  slik at testresultatet med
sannsynlighet 1 −  havner i  dersom 0 er riktig. Hvis testresultatet havner i  forkaster vi 0 til fordel for
1 .
Hvis testresultatet havner i  selv om 0 er sann vil vi feilaktig forkaste 0 . Dette er en type I-feil.
Sannsynligheten for å begå type I-feil er . Hvis testresultatet havner i  selv om 0 er usann vil vi feilaktig
mislykkes i å forkaste 0 . Dette er en type II-feil. Sannsynligheten for å type II-feil kalles , som varierer med
hvor langt 0 er unna virkeligheten og først kan regnes ut når man har en spesifikk alternativ hypotese.  og 
er negativt korrelerte, så når den ene er stor er den andre liten og omvendt. Vi kan gjøre sannsynligheten for å
begå type I feil så liten vi vil ved å velge en liten nok , men sannsynligheten for å begå type II-feil øker med .
Derfor må man gjøre en subjektiv vurdering og bestemme seg for hvilken type feil man helst vil unngå når man
velger . Sannsynligheten for å begå både type I-feil og type II-feil synker med økende utvalgsstørrelse.
En p-verdi er det laveste signifikansnivået vi kan velge hvor den observerte verdien til testobservatoren gjør at
vi må forkaste 0 . Resultater oppgis gjerne som en ulikhet der p-verdien inngår, f.eks at  > 0.05. Det er ofte
interessant å finne p-verdien fordi det gir et mer nyansert beslutningsgrunnlag enn ja/nei-svaret fra
hypotesetesten. For eksempel vil en p-verdi på 6% gjøre at vi ikke forkaster nullhypotesen dersom vi har en
hypotesetest med signifikansnivå på 5%, men det kan godt hende vi likevel gjør en beslutning basert på at
nullhypotesen ikke forkastes.
Styrken til en test er sannsynligheten for å forkaste 0 dersom en spesifikk alternativ hypotese er sann, og har
verdien  = 1 − .
ENSIDIG OG TOSIDIG TEST
En test der  er ett sammenhengende område kalles en ensidig test, og er på formen
0 :  = 0
1 :  > 0
der forkastningsområdet ligger i den høyre halen til fordelingsfunksjonen til , eller
0 :  = 0
1 :  < 0
der forkastningsområdet ligger i den venstre halen til fordelingsfunksjonen til .
En test der C deles opp i to områder kalles en tosidig test, og er på formen
0 :  = 0
1 :  ≠ 0
der forkastningsområdet gjerne har like stor sannsynlighetsmasse plassert i hver hale av fordelingsfunksjonen
til .
Man velger gjerne 0 ved å velge den som kan uttrykkes med et likhetstegn, men når man gjør det i en ensidig
test kan man ikke bruke testen til å forkaste påstanden man får ved å snu ulikheten som 1 uttrykker. Men det
er gjerne påstanden som uttrykkes ved 1 vi er mest interessert i. De første eksemplene i boka gjør at dette blir
ganske klart.
NOEN VANLIGE TESTER AV FORVENTNINGER
FORVENTNING TIL GJENN OMSNITT VED KJENT VARIANS
Vi tar utgangspunkt i et utvalg 1 , … ,  fra en fordeling med ukjent middelverdi  og kjent varians  2 . Det
oppgis en 0 , og vi vil teste 0 mot 1 der
0 :  = 0
1 :  ≠ 0
Denne tosidige testen baseres på testobservatoren ̅, som for tilstrekkelig store  er tilnærmet normalfordelt
med ̅ =  og 2̅ =
2

ved sentralgrenseteoremet. Så setter vi opp et konfidensintervall for å bestemme
forkastningsområdet basert på den observerte verdien ̅ til ̅ ved å bruke den standardnormalfordelte
variabelen
=
Under 0 , altså hvis  = 0, får vi at
̅ − 
/√
 (−/2 <
̅ − 0
/√
< /2 ) = 1 − 
Så forkastningsområdet er (−∞, −/2 ) ∪ (/2 , ∞). Vi forkaster 0 dersom ̅ ligger i dette området. Med litt
regning finner vi ut at vi kan forkaste 0 dersom ̅ < 0 − /2
|̅ − 0 | > /2

√

√
eller hvis ̅ > 0 + /2

√
, altså hvis
.
Vi kan også skrive ulikheten med tanke på 0 , da får vi at 0 ikke forkastes når ̅ − /2

√
≤ 0 ≤ ̅ + /2

√
.
Denne tosidige hypotesetesten er altså ekvivalent med å konstruere et (1 − )-konfidensintervall for 0 og
forkaste 0 dersom ̅ er utenfor konfidensintervallet.
Hvis vi vil gjøre en ensidig test, er hele sannsynlighetsmassen til forkastningsområdet plassert i en hale av
fordelingen. Derfor vil vi bruke -kvantilen i stedet for /2-kvantilen. Ellers har vi akkurat samme prosedyre
som i den tosidige testen.
FORVENTNING TIL GJENNOMSNITT VED UKJENT VARIANS
Hvis vi har samme betingelser som i forrige test bortsett fra at  2 også er ukjent, vil vi ved signifikansnivå 
forkaste 0 hvis den t-fordelte testobservatoren  =
̅ −0
/√
havner utenfor akseptområdet (−/2,−1 , /2,−1 )
dersom vi har en tosidig test. Hvis vi har en ensidig test gjør vi tilsvarende det vi gjorde i forrige test.
DIFFERANSE MELLOM FORVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE U TVALG MED
KJENTE VARIANSER
Her har vi to utvalg som er tilstrekkelig store til at sentralgrenseteoremet gjelder, og ønsker å teste om det er
grunnlag for å si at det er en bestemt differanse mellom de to verdiene. Med samme notasjon som før: vi
ønsker å teste
0 :  −  = 0
1 :  −  ≠ 0
Vi bruker
=
(̅ − ̅) − ( −  )
2
2
√ + 


og gjennomfører testen på samme måte som vi gjorde tidligere.
DIFFERANSE MELLOM FO RVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE UTVALG MED
UKJENTE, MEN LIKE, V ARIANSER
Når 2 og 2 er ukjente, men vi har god grunn til å anta at 2 = 2 =  2 , gjør vi som i testen av forventning til
gjennomsnitt ved ukjent varians, men bruker  =
(̅ −̅)−0
1 1
 
 /( + )
der 2 =
2 (+1)+ 2 (+1)


+−2
og forkaster 0 hvis
observatoren havner utenfor akseptområdet (−/2,+−2 , /2,+−2 ).
DIFFERANSE MELLOM FO RVENTNINGER TIL GJENNOMSNITT AV TO FORSKJELLIGE UTVALG MED
UKJENTE OG ULIKE VARIANSER
Se på kapittelet om estimering av forskjellen mellom to middelverdier med ukjente og ulike varianser og forstå
hva som bør gjøres.
PARRET T-TEST
PARREDE OBSERVASJONE R
Parrede observasjoner sammenligner to utvalg i tilfeller der hver verdi i ett utvalg har en naturlig partner i den
andre. Et typisk eksempel på dette er om vi vil sjekke vekten til en person før og etter en diett, da vil vekten til
et individ før dietten ha en naturlig partner i vekten til det samme individet etter dietten. Her vil det være mulig
å redusere et toutvalgsproblem til et ettutvalgsproblem.
Differansene 1 , … ,  i hvert par av observasjoner vil være verdiene til det tilfeldige utvalget 1 , … ,  fra en
populasjon av differanser. For tilstrekkelig store  antar vi at populasjonen er normalfordelt med  = 1 − 2
̅ som punktestimat for  .
og en varians 2 som vi estimerer med den empiriske variansen 2 . Vi brukes 
Siden hvert par av observasjoner { ,  } ikke vil være uavhengige av hverandre har vi at 2 = 2 + 2 −
2 .
PARRET T-TEST
Konfidensintervallet for 1 − 2 baseres på variabelen  =
̅ −

 /√
og regnes ut med testobservatoren  =
(̅ −0 )
 /√
, og forkastningsområdet konstrueres med en -fordeling med  − 1 frihetsgrader. Hypotesen vår blir
0 :  = 0
1 :  ≠ 0
Ofte er 0 = 0, som når vi vil teste om en medisin eller prosedyre har noen effekt.
NÅR BØR MAN BRUKE EN PARRET T-TEST?
Hvis ( ,  ) > 0 vil en parret t-test som oftest ha større teststyrke.
Hvis ( ,  ) = 0 bør man bruke en toutvalgs t-test, som vil ha litt større styrke enn en parret t-test.
Hvis ( ,  ) < 0 vil man feilaktig forkaste 0 for ofte ved en uparret t-test, og feilaktig mislykkes i å
forkaste 0 for ofte ved en parret t-test.
TESTSTYRKE
Styrkefunksjonen for en ensidig test er
 = 1 −  = 1 − (  − |1 ) = ( 0 |1 )
Når vi har en spesifikk alternativ hypotese gir styrkefunksjonen en sammenheng mellom teststyrken ;
signifikansnivået ; avviket  − 0 mellom den sanne verdien  og parameterverdien ̂ under 0 ; variansen  2
til observasjonene; og utvalgsstørrelsen . Styrkefunksjonen kan derfor gi oss den siste av disse verdiene om vi
vet resten. Se boka for eksempler.
TEST FOR P MED BINOMISKE DATA
ETTUTVALGS TEST FOR P MED BINOMISKE DATA
Vi ønsker å teste om andelen suksesser  i et binomisk forsøk er lik en forhåndsantatt verdi 0 .
Alternativhypotesen vil være  < 0 ,  > 0 eller  ≠ 0 . Signifikansnivået vårt er , og testobservatoren er en
binomisk variabel  med  = 0 . Fra datasettet vårt finner vi antall suksesser .
Når  er stor kan vi bruke en normaltilnærming på testobservatoren og sette  =
̂−0
√0 (1−0 )/

, der ̂ = . Her

kan det hende at vi må bruke de samme tilnærmingene som vi brukte da vi estimerte  i kapittel 9. Ellers
gjennomføres testen på akkurat samme måte som før. Vi kan også finne ut ting som hvor stor  må være hvis vi
ønsker en gitt teststyrke.
Siden den binomiske fordelingen er diskret, er det sannsynligvis ikke mulig å lage et forkastningsområde som er
nøyaktig så stort at sannsynlighetsmassen til området er . Det kan derfor være nyttig å heller bruke -verdier
dersom  er liten. Hvis vi har en ensidig test regner vi ut enten  = ( ≤ | = 0 ) eller  = ( ≥ | =
0 ). Hvis vi har en tosidig test regner vi ut  = 2( ≤ | = 0 ) hvis  < 0 og  = 2( ≥ | = 0 ) hvis
 > 0 . Vi forkaster 0 dersom  < .
TOUTVALGS TEST FOR FORSKJELL I P MED BINOMISKE DATA
Vi ønsker å teste om to andeler suksesser er like (for eksempel kan vi ønske å teste om andelen røykere med
lungekreft er større enn andelen ikkerøykere med lungekreft). Her tester vi nullhypotesen 0 :  =  = 


mot alternativhypotesen 1 :  ≠  , og bruker observatorene ̂ = , ̂ = . Under 0 er (̂ − ̂ ) =


(1−)
(1−)
1
1
 −  =  −  = 0 og (̂ − ̂ ) = (̂ ) + (̂ ) =
+
= (1 − ) ( + ).

Normaltilmæring gir oss testobservatoren  =
̂ −̂
1 1
 



, men vi kjenner ikke . Derfor tilnærmer vi med
√(1−)( + )
≈
̂ −̂
1 1
 
√̂(1−̂)( + )
, der ̂ er en «pooled estimator» (litt som 2 da vi skulle beregne forkjellen mellom
middelverdiene til to populasjoner med ukjente varianser) med verdien ̂ =
̂ +̂
+
=
+
+
. Under 0
tilsvarer dette en binomisk forsøksrekke med  +  forsøk der sannsynligheten for suksess i hvert tilfelle er ̂ .
Vi forkaster 0 hvis observatoren havner i forkastningsområdet.
TEST FOR VARIANS
Når vi skal utføre en hypotesetest der nullhypotesen er at variansen  2 til en populasjon har en gitt verdi 02
mot en av de vanlige alternativhypotesene, bruker vi den samme kjikvadratfordelte observatoren som vi brukte
for å konstruere et konfidensintervall i kapittel 9. Testobservatoren vår blir derfor  2 =
(−1) 2
02
. For en tosidet
2
2
test vil forkastningsområdet være at  2 ligger utenfor intervallet (1−/2
, /2
), og for en ensidet test med
2
alternativhypotese  2 < 02 eller  2 > 02 vil forkastningsområdet være henholdsvis  2 < 1−
eller  2 > 2 .
Legg merke til hvordan kvantilene til kjikvadratfordelingen skiller seg fra normalfordelingen og t-fordelingen.
11. ENKEL LINEÆR REGRESJON
I dette kapittelet får man stor nytte av følgende identiteter:


∑( − ̅ ) = ∑  − ̅ = ̅ − ̅ = 0
=1

=1





∑  ( − ̅ ) = ∑  ( − ̅ ) + 0̅ = ∑  ( − ̅ ) − ̅ ∑( − ̅ ) = ∑( − ̅ ) ( − ̅ ) = ∑( − ̅ )2
=1
=1
=1
=1
=1
=1
som brukes til å beregne tre viktige estimatorer og deres forventningsverdi og varians.
REGRESJONSMODELLEN
Enkel lineær regresjon går ut på at vi utfører et forsøk der vi kontrollerer regresjonsvariabelen (eller
regressoren) 1 og måler responsvariabelen . Videre antar vi at forholdet mellom  og  kan approksimeres
godt med en lineær statistisk modell der vi antar at  avhenger lineært av  og at det er en tilfeldig
komponent involvert. Modellen skrives slik:
 =  +  + 
 og  er som vanlig henholdsvis konstantledd og stigningstall.  representerer den tilfeldige feilen og antas å
være normalfordelt med middelverdi 0 (altså at -verdiene er normalfordelt rundt en sanne regresjonslinjen
 =  + ) og en varians  2 som vi kan kalle feilvariansen. Vi antar også at hver  er uavhengig av andre 
og at de alle har samme varians.
Vi kan aldri finne den sanne regresjonslinjen, men estimerer den med en tilpasset regresjonslinje ̂ =  + 
der  og  er estimater av henholdsvis  og . Estimater for  og  kan man finne med to metoder (som er
ekvivalente i den forstand at vi får de samme estimatorene).
METODER FOR Å FINNE ESTIMATORENE
MINSTE KVADRATE RS METODE
Her tar vi utgangspunkt i residualene  =  − ̂ , som er feilen mellom den målte verdien og den estimerte
verdien. Jo mindre disse residualene er, jo bedre er modellen vår. Merk at residualene ikke er det samme som
den tilfeldige komponenten , som er en konseptuell greie som vi egentlig aldri observerer. Residualene kan vi
finne. Se boka for en grei figur som vise forskjellen mellom de to. Minste kvadraters metode går ut på å finne
estimater som minimerer residualenes kvadratsum , der verdien til  er gitt ved

 =
∑ 2
=1
1

= ∑( − ̂
=1

)2
= ∑( −  −  )2
=1
I multippel regresjon kontrollerer vi et sett uavhengige regresjonsvariable  = 1 , … ,  , men vi måler fortsatt
bare én responsvariabel.
Siden vi vil minimere  er det naturlig å finne  og  slik at den deriverte blir 0. Derivering med hensyn på 
gir oss:


 = −2 ∑( −  −  ) = 0

=1
fra dette følger


=1
=1
1

 = ∑  − ∑  = ̅ − ̅


Derivering med hensyn på  gir oss


 = −2 ∑( −  −  )  = 0

=1
hvor vi kan sette inn uttrykket for :




∑( − ̅ + ̅ −  )  = ∑(( − ̅) − ( − ̅ ) ) = ∑( − ̅) −  ∑( − ̅ )
=1
=1
=1
=
=1
∑=1( − ̅)
∑=1( − ̅ )
og bruker at ∑=1( − ̅ ) = 0 samt svart magi til å se at dette er det samme som
=
∑=1( − ̅ )
∑=1( − ̅ )2
Vi kan bruke dette uttrykket for  i uttrykket for  for å finne tallverdiene til estimatene. Det kan vises at både
 og  er forventningsrette.
SANNSYNLIGHETSMAKSIMERINGSESTIMATORMETODEN
Praktisk nok er estimatorene vi fant med minste kvadraters metode også
sannsynlighetsmaksimeringsestimatorene til  og .
 er normalfordelt med  =  +  og 2 =  2 , så likelihoodfunksjonen er

(1 , … ,  ; , , 
2)
=

= (1 , … ,  ) = ∏ ( ) = ∏
=1
=1

 (− 1 ) ∑ ( −− )2
−
−


2
2
=1
(2) 2 ( ) 2  2
1
√2 2

−(
1
)( −− )2
2 2


1
ln() = − ln(2 2 ) − 2 ∑( −  −  )
2

=1
Hvis vi deriverer ln() med hensyn på både  og  og setter de deriverte lik 0 får vi de samme ligningene som
vi fikk med forrige metode. Det er også rett frem å finne en estimator for  2 :


 1
1
ln() = − ( 2 ) +
∑( −  −  ) = 0
 2
2 
2( 2 )2
=1
som gir oss sannsynlighetsmaksimeringsestimatoren

1
̂ = ∑( −  −  )2

2
=1
Det kan vises at denne ikke er forventningsrett. Hvis vi regner på forventningsverdien til ̂ 2 ser vi at en
forventningsrett estimator  2 for regresjonsmodellen blir


=1
=1
1
1
 =
∑( −  −  )2 =
∑( − ̂)2
−2
−2
2
EGENSKAPENE TIL ESTIMATORENE
I tillegg til at , ,  2 er forventningsrette estimatorer har vi at
() =
() =
2
− ̅ )2
∑=1(
 2 ∑=1 2
1
̅ 2
2
=

(
+
(
))


∑=1( − ̅ )2
 ∑=1( − ̅ )2

For å utlede () vil vi være nødt til å regne ut (̅ , ) siden ̅ og  ikke er uavhengige.
=
(−2) 2
2
=
1
2
∑=1( −  −  )2 er kjikvadratfordelt med  =  − 2 frihetsgrader. Vi kan tolke det at vi
deler på  − 2 i uttrykket for  2 som at vi får noe større varians fordi vi må estimere to variable i stedet for én.
KONFIDENSINTERVALL OG HYPOTESETESTER FOR ,  OG  2
Vi kan lage konfidensintervall og teste hypoteser om  og  på akkurat samme måte som tidligere, men der vi
før ville brukt t- og  2 -fordelinger med  − 1 frihetsgrader må vi nå bruke fordelinger med  =  − 2
frihetsgrader. Testobservatorene våre vil være
=
−
/√∑=1( − ̅ )
for stigningstallet og
=
−
∑  2
√  =1 
 ∑=1( − ̅ )2
for konstantleddet.
PREDIKSJON MED REGRE SJONSMODELLEN
PREDIKSJON AV ÉN VER DI
Vi kan bruke regresjonsmodellen til å forutsi verdien 0 til 0 i punktet  = 0 der 0 ikke nødvendigvis er en
verdi vi på forhånd har målt responsen til. Vi gjør dette ved å se på observatoren 0 − ̂0 , som er normalfordelt
med
(0 − ̂0 ) = (0 ) − (̂0 ) = ( + 0 ) − (0 ) =  + 0 −  − 0 = 0
(0 − ̂0 ) = (0 ) + (̂0 )(0 ) + ( + 0 ) =  2 + ( + 0 − ̅ + ̅ )
=  2 + (( + ̅ ) + 0 − ̅ ) =  2 + (̅) + ((0 − ̅ ))
=  2 + (̅) + (0 − ̅ )2 () =  2 +
=  2 (1 +
2
 2 (0 − ̅ )2
+ 
 ∑=1( − ̅ )2
(0 − ̅ )2
1
+ 
)
 ∑=1( − ̅ )2
Vi lager prediksjonsintervallet vårt ved å bruke observatoren
0 − ̂0
=
√1 +
1 ( − ̅ )2
+
 ∑( − ̅ )2
som er t-fordelt med  =  − 2 frihetsgrader.
PREDIKSJON AV GJENNO MSNITTSRESPONS
Vi kan også finne gjennomsnittsresponsen |0 til  i  = 0 , altså hvilket gjennomsnitt vi vil få dersom vi
måler verdien til  mange ganger i punktet  = 0 . Her vil vi få lavere varians, siden vi forutsier et gjennomsnitt
i stedet for en enkelt verdi. Da ser vi på ̂0 som er normalfordelt med en middelverdi og varians som vi fant i
utledningen av middelverdien og variansen til 0 − ̂0 :
|0 = (̂0 ) =  + 0
(0 − ̅ )2
1
̂20 =  2 ( + 
)
 ∑=1( − ̅ )2
Vi lager prediksjonsintervallet vårt ved å bruke observatoren
=
̂0 − |0
1 ( − ̅ )2
√ + 
 ∑( − ̅ )2
som er t-fordelt med  =  − 2 frihetsgrader.
KORRELASJON
Nå gir vi slipp på antagelsen om at 1 , … ,  er verdier vi kan kontrollere eller måle med neglisjerbar feil. I bruk
av regresjon er det gjerne slik at både  og  begge er tilfeldige variable, og at målingene våre
(1 , 1 ), … , ( ,  ) er observasjoner fra en populasjon med simultan sannsynlighetstetthet (, ).
Korrelasjonsanalyse beregner i hvilken grad  henger sammen med  gjennom en korrelasjonskoeffisient.
2
Vi antar at marginaltettheten (|) til  er normalfordelt med middelverdi | =  +  og varians |
=
 2 for en gitt verdi  av , og at  er normalfordelt med middelverdi  og varians 2 . Dette gir den simultane
tetthetsfunksjonen
1 −−
− ((
)
1

, (, ) = | (|) () =
 2
2 
over området −∞ <  < ∞, −∞ <  < ∞.
2
+(
− 2
) )

Vi kan skrive  på formen  =  +  +  der  er en stokastisk variabel som er uavhengig av den tilfeldige
feilen . Dette gir oss  =  +  og 2 =  2 2 +  2. Uttrykkene vi får for  og  kan vi putte inn i den
simultane tetthetsfunksjonen for å få en bivariat normalfordeling med det deilige uttrykket
, (, ) =
1
2  √1 − 2

1
− 2
− −
− 2
−
((
) −2(
)(
)+(
) )




2(1−2 )
der
2 = 1 −
2
2
2 
=

2
2
kalles populasjonskorrelasjonskoeffisienten.
Verdien til  er 0 når  = 0: når regresjonslinja er flat er det ingen korrelasjon mellom  og  i populasjonen.
Siden 2 >  2 må 2 ≤ 1 slik at −1 ≤  ≤ 1. Hvis  = ±1 har vi et perfekt lineært forhold mellom  og  der
 2 = 0. Derfor vil en  som ligger nær 1 i absoluttverdi tyde på god korrelasjon eller lineær assosiasjon mellom
 og , mens verdier nærmere 0 tyder på liten eller ingen korrelasjon.
Vi kan få et estimat av  ved å bruke identiteten


2
 = ∑( − ̅) −  ∑( − ̅ )2
=1
2
=1
som gir oss
2
∑=1( − ̅ )2

=1− 

2
∑=1( − ̅)
∑=1( − ̅)2
∑ ( −̅ )2
Kvadratroten av denne,  = √∑=1(
=1
̅)
 −
2
, brukes som estimat for  og kalles
utvalgskorrelasjonskoeffisienten.
 2 kalles utvalgsdeterminasjonskoeffisienten. Denne forteller oss hvor stor andel av variasjonen i verdiene til
 som kan gjøres rede for av et lineært forhold til verdiene til . En korrelasjon 0 betyr at (100%)02 av den
totale variasjonen i verdiene til  som kan gjøres rede for av et lineært forhold til verdiene til .