! " # ! $ %$
& ' ! ( ! $ )
! $ $ $ *$ + $ , $- ! + $$. + /$ + # ) # + + # 0 $ $ ! ' $' 1/$ ! $ 2 # $ + * $ 34456 $ 3447- ! .' / !$$ $ $ /
#/$ / + ! $ + ! ' $ #/$ $ ' , $ ' ' 1 ! $ + 1 2 # $
$' ! ' / $ $ + 1 $ ' $ #/$ ! %$$ )$/ # ! $$ $
$ ' $ ! ! $ . # ! .
8 $ / + #/$ $ . ' / / # 6 $
+ + +$$ ! . # ' ' $ 9 / ' $$ 0 . ! $ + # 1 $ ! $+ /$
! $$ 0 ! / # $ $ # $$ .
/$ $ $ #/$ + $ 9 + + $
$ / # $ / + ! /$ . $ $ $ / $$
/$ * $ 34446 $ 3444- & $ $ $ + .
$ , $ / ' ! $ /$ $ $ ! . #$ # / ' ! # ' * $$ :; / + $ $ ! 5 # . $ 1' $ #/$ ! %$$ 7 ? !. + $
+ / # ' / $ .' $ $ * &@(). * $ 34456 $ 3447-- / + $ / # /
! # $# #/$ ! $$ +' A : !$$ ! #/$ *$' /. # #/$ - B : / '
$ #/$ $ #/$ 2 $ / *- ' ' * $$ :; F - F B 7 F :3 F = F B 7 F :3 F ¼
+ + # $1 B = F + + # #/$
! $ / $ $ + / # $
'$ $ $. $' $ + %' :/ @ #/$ / $1 + + '' / # ¼
2 ! $ ! $$ $ # # $ # #/$ ' ! $. $ +' A + $ #/$ &@() $ ! $ ! . / *- ! / # # . $ ! + $ $ $ / ' / / . # $ $ + $ #/$ &@() $ ! $ ! / # $$ ,#$ $$ $ 9 ! / # #/$
/ # #/$ $ ! + . $ ! $ *3444- $ 9 '# / * ½ * ¾ -- + B 2 $ ! $$ ! + $ , / ' / / #. $$ 0 %$$ + 1 / $ #/$ &@() $ + $. #/$
* $ + $ * . - % $ ' 9 $ #/$ # ! $
+ $ #/$ 0/ 0$ . $ ! ' /. # #/$ %$$ $ #/$ # # # $ $ + / . # $$ $$ ,#$ '# $ #/$ &@() $ + ! $$ +' $' A
! "#
$ $ % $ & %' $ $ " # (
%% ) ( $ % $ * + % $ $ % , - - . $ $
+ + + ! ' . / /$ $ #/$ &@()
$ ! $ $ + / # $$ ,#$ ' . ' $
$ + * $ 34456 $ 3447- + + ' ! &@() ! $$ + $ *"- / *" :;;>6 #H $ 344:- + / G # + 1$$ ! ' 9 ! $ #/$ 2 / ' / ' !$$ # . B + $ $ #/$ ! + ' / ! #/$ !$$ 1 B F + / ! ( 0 $ / . $ + '$ ! + $ ' *- ! #/$ $#' ! / B + B * G ! / #. /$ / # #/$ ' $ / $ + '$ *$. ' $ + '$- + *- ' $ $ / + .' ! .
! 1 $ $ ! 8 ' + +
# + @ + !. ! ! ' ! #/$ $ B + 8 + ! ' / # #/$ 2 / ! / # #/$ $ / ! / #/$ . , + $ + +
/ " $. & $ $
. C0' 0D % ! # $ #/$ &@() $ / # $$ $$ ,#$ $ $ + + $
! ' $ $ $ $ @ 0 ' !$$ ! #/$ $$ $ #/$ 1 *
a 1
0 1
0
b
e k(i)
e k(i)
0 1
xk(i)
c
0
e randperm(i)
xk(i)
xk(i)
i
i
J
d e randperm(i) xi
J
i
J
%' 3A ! !$$ " 0 ! $ $ * 0 $ = 7 / # #/$ - + #/$ @ ! $ $ $ ! 0 ! /0 / + / # #/$ #$ + ' + + + / (. / 1 + / # $ #/$ ! + # $ / ! 0 + *- " / # / 0 $ + * ! - + $ ! / # #/$ / # 0' 0 + ! $ $ - ! $$ + / $$ / # #/$ * $ - $
! !$$ 0 + %' 3 $ ' + $ / # ! !$$ 0 + $ $ + /. $ + %' 3 $
/ # " / 0 $$ ! ! !$$ 0 $$ ! . $ $ $ $ / . ! / # / 0 + + !
$ / # / ! ! $ # I # *344># $ + # $ " $ 1/$ '# ' # $ $' #$/$ ! ' *) $ $ :;;?6 :;;;6 #H $ 344:-
! / ! ! $ $ + 0 " 0' . 0 + 0 / $ + $ ! $' + #/$ , " . 1 # $ $
$' ! $ ! $' 6 $ /$ ! / ' /$ / ' ! G
! / #/$ # ' ! ' #/$ ! #/$ # ' ' ! ! #/$ / # #/$ ! , + + # /$ $ #. /$ / #/$ ' $' $ ! 1 /$ ' $ $
., ! ' $A 2 . + + $ ! #/$ @ + #
$ ! ' $$ %'. 3 / ! /
! / # $$ ,#$ $ $ / ! $1 / # # $ * F -J* J J- + / ! /. # #/$ % $1. + + $ #$ $ .#/$ &@() $A
% "$ & - # %
% ' $$ ! "# ( / * ' " # $ $ % % & " $ # $ "# 0 % % "$ % % # $ $ & ' "# 1
$ $ B "# 23 3 % % $ & ' " # 3 $
+ # 0 " / 0 + $ $ . ! $ / ! #/$ $ ' *$$- . ' $$ $ ! / . ' $' $ $/$ % ! + $ ! $$ +$$ '# $$ !. ! + 0 ' ' $ $#' /$ , # ! ! ! + # ' $' *I!
/ :;;=- /' ! . ' '. ' $ ! 0' 0 / ! $$ +A % ! + $ ! 0$ / $ ' ' $$ '# $ 8 ' + K# ! $ $' ' * /. $ #$ - +$$ '# + + //$ ' : ! ' + #' 1 ! / . 0 + $ $' $ ! ! ' ' $ $ ' / $ $ $$ 9 + $ ! !$$ ! / # ! ! @ # $ # / !$$ $ . $ * 5- # ' ! $$ $
2 # ! 0 # $ . *- # ! $' / * #/$ ! $' ! $' + *- # $ ! $ ' $$ . #/$ &@() $ ! %$$ + $$. )$/ ! $$ ! 0 #$/$ $$ + 9 $ $ $ # ! $ + ! $ / / # ' $ $ ! % + / / ' ' $ #/$ &@() $ ! $ $$' ' " / 0 ! ! '
! / # $$ ,#$ $ $ ' $' $$ ½ ¾
a
b
c
0.2653
0.3086
x2 0.411 1.62
-0.5683 0.4792
0.6416
x4
x2
0.4717
x4
-0.03126
0.6416 -2.892
0.4449 1.287
-0.6611
-0.8535 0.4792 x3
0.5253
x3
-0.03126
x1
x2
1.125
1.453 0.4792 x4
-1.5 -5.657
0.4449
x3
-0.03126
x1
-1.785 x1
connections between observed variables connections to/from hidden variables
%' =A $ ' $ #/$ &@() $ $ $ + $$ / # $$ ,#$ + *- / # $$ ,#$ */ $$ ,#$ - $ % " / + $ *- ' /$ ' / + $ */- *- 0 ! $ %' = # 0$ $ ! + $$ ,#$
'$ $ + $ #/$ ! / ' + $ # ! 0 ! / 0A 2 ' &@() $ ! $ $$ ' " / 0 $ 34 9 C D ! ! . >3 ! ! /$ ' ' $ ! ! . $ + $ * $ - '$ $ 2 / $' '
$1 ! !$ $' + . $ $ ' ' $ . ' # ! ./ $ # $' * $ 34446 $ 3444- $1 ! $ . / # %$$ + ! $$.$ . ! $ ' $ ! $ 2 0 . !.' ! + *) $ $ :;;?6 :;;;- . " / /$ $ /$ $ + # $$ + *= / # .
#/$ - + $$ + + / ! $$ / #/$ $ ! :444 # + %' > + $ $ $' . 1 ! . + * + , $ . 1/$ - + $ / /$ + . # $ $ ' / # #/$
) + / ! ! + . / / $ $ $ /$ ! /$ /. $ ! $/$ ' # . $ " / 0 + / ! . #/$ / ! . / #/$ + " $. ' *) $ $ :;;?6 :;;; + ! # $$ / +$ ' #$/$ ! . ' # $ " / $/$ $ ' % $ + / /$ $# $. # $ $' /$ # + .
#/$ $ + ' / $$
a 0.1861 0.6672 x1
+ / ! %$ 8 L34> ** 2: # 8 * ,% > 2 3 / %= 3 %> = 3 3/ *6+7+ +* 2: 3 , 8? * !" , @3 =A $ , B + @C%3% 0 / = 23 > 3> %C3 %
( ! ) #!*+,' > )+)* @3 B % # * "- . ) / ) ( $%/ > D2 # " "%93 2: ; # 8 * E2 =>3 3 % 3> $ $0 ( 1 " ! 2 #1!$%%3' > *) , /3> " - "2 - " $ B%3 # " *) F > 33 2= / % 4 ( . / + *&) # " $ B%3 - " * ) ) @ . #