結構方程式模型

結構方程式模型粵拼git3 gau3 fong1 cing4 sik1 mou4 jing4英文structural equation modeling,簡稱「SEM」)係一系列用嚟搵出一柞變數之間嘅關係嘅數學模型演算法,包含咗通徑分析(path analysis)等嘅多種統計技術[1][2]

一個結構方程式模型嘅量度模型; 呢個因素由 5 個實際量度到嘅變數(柞 )反映。

結構方程式模型其中一種最重要嘅用途係攞嚟分析所謂嘅隱藏變數(latent variable):喺心理學同相關領域上,研究者成日都會應付一啲「唔能夠直接量度、淨係有得由一柞變數數值反映」嘅因素;例如係智能(intelligence)噉,智能呢家嘢到咗廿一世紀初都冇得直接度,淨係有得靠受試者答智商測試(IQ test)嘅問題嗰時得到嘅分數反映;結構方程式模型就可以分析呢啲隱藏變數嘅內部結構,以及隱藏變數之間嘅關係[2]:p. 230-294

結構方程式模型喺社會科學商學上相當常用。噉係因為呢啲領域應付嘅好多時都係人類,而人類唔似得原子或者細胞噉可以俾研究者擺喺個實驗室裏面隨意操控,所以呢啲領域嘅研究成日都要應付一啲冇得直接量度嘅嘢-研究者就往往焗住要諗,有得量度嘅變數有冇可能會反映到量度唔到嗰啲變數嘅數值;結構方程式模型會話到俾研究者知「呢柞變數似唔似係反映緊同一個隱藏因素」同埋「隱藏因素 嘅數值能唔能夠預測隱藏因素 嘅」等嘅資訊,研究者可以用呢啲資訊嚟做假說檢定,驗證佢哋啲假說[3][4]

以下嘅內容假設咗讀者經已具備基本嘅概率論統計學知識。

基本概念

睇埋:心理測量學

結構方程式模型源於科學運算開始普及嘅 1960 至 70 年代[5]。呢種分析方法做嘅嘢係搵出能夠描述隱藏變數之間嘅關係嘅方程式,可以想像成迴歸分析因素分析嘅結合[6]

迴歸分析

 
一個線性迴歸模型嘅圖解;幅圖嘅兩條軸分別代表研究緊嗰兩個變數(x 同 y),每個藍點係一個個案,每個個案都喺兩個變數上有個值,條直線係一個迴歸模型。
內文:迴歸分析

迴歸分析(regression analysis)係統計模型上嘅一類技術,用嚟建立描述兩個或者以上唔同變數之間嘅關係嘅數學模型[7]:喺統計學上,研究者好多時會想用一個變數嘅數值嚟預測第啲變數嘅數值;喺最簡單嗰種情況下,個統計模型會涉及兩個連續性(continuous)嘅變數,當中一個係自變數(independent variable;IV),而另一個就係應變數(dependent variable;DV),而個研究者會用個 IV 嘅數值嚟預測個 DV 嘅數值;對個研究者嚟講,一個可能嘅做法係搜集啲數據返嚟,用啲數據做迴歸分析,整個模型(即係畫條線)出嚟,個模型就能夠幫佢預測「當 IV 係呢個數值嗰陣,假設第啲因素不變,個 DV 嘅數值會傾向係幾多」[8][9]。迴歸模型有以下呢啲[10]

 (線性迴歸;linear regression);
 (多項式迴歸;polynomial regression);

... 等等。原則上,如果有個方法可以由過往數據嗰度搵出   同埋  參數嘅數值,第時就可以靠條式大致上用 IV 嘅值估計 DV 嘅值;統計學同機械學習等嘅領域上有好多演算法可以用嚟搵出呢啲參數嘅數值[7]

因素分析

 
因素嘅想像圖;家陣研究者想量度   呢個睇唔到嘅因素(例如智能),於是就俾受試者做個測驗,有   咁多條題目,   ...  ,當中每條題目都有個誤差值   以及    簡單講係反映嗰條題目嘅得分同   有幾強相關)。
內文:因素分析

因素分析(factor analysis)係一系列用嚟將大量變數轉化成少量因素(factor)嘅統計方法。因素分析有好多種,不過做法一般都係由若干個直接觀察到嘅變數嗰度推想一個能夠解釋呢啲變數嘅變化嘅因素出嚟,而最後得出呢個因素能夠一定程度上反映嗰柞變數嘅變化[11]。舉個例說明:

  1. 想像家陣手上個數據庫有若干個被觀察咗(observed)嘅隨機變數  ,而呢柞變數嘅平均值係  
  2. 想像有  冇被觀察到(unobserved)嘅隱藏變數(latent variable)  (呢柞   係所謂嘅因素)[註 1]
  3. 喺做因素分析前,  嘅數值係未知,而因素分析嘅目的就係要搵出以下呢啲式當中嘅參數:
 ;當中
  •  
  •   係參數;
  •  誤差,平均值係 0,而變異數係一個有限數值,唔同    變異數數值可以唔同[12]

因素分析喺心理測量上極之常用:一個心理測驗會有若干條題目,而設計個測驗嘅人一般會嘗試用統計模型模擬個測驗嘅因素結構(factor structure);舉個例說明,而家有一個智商測驗,測驗有 50 條題目,當中頭 25 條題目量度邏輯能力,而尾嗰 25 條題目量度語言能力,即係話呢個測驗理論上有兩個因素-邏輯能力同語言能力;而頭嗰 25 條題目理論上應該會係邏輯能力( )嘅函數而非語言能力( )嘅函數-由量度邏輯能力嗰 25 條題目當中是但攞一條嘅分數   嚟睇, ,而  ,當中    係數值有方法估計嘅系數(coefficient)[註 2][13][14]

結合例子

結合上述講嘅嘢,以下呢個就係一個結構方程式模型:呢個模型涉及 7 個直接量度得到嘅變數,由圖下方嗰 7 個方形代表;跟住有兩個隱藏變數(圓形)-智能(intelligence)同學力表現(academic performance),當中智能由 4 個 scale(指標)代表,學力表現由尾嗰 3 個變數代表(基本上就係因素分析做嘅嘢);跟住個結構方程式模型仲搵出咗智能同學力表現呢兩個隱藏變數之間嘅關係(基本上就係迴歸分析做嘅嘢),發現智能(自變數)可以預測學力表現(應變數);講明智能同啲指標之間嘅關係嘅方程式(由智能去指標嘅箭咀)嘅就係所謂嘅量度模型(measurement model),而講明智能同學力表現之間嘅關係嘅方程式(由智能去學力表現嘅箭咀)就係所謂嘅結構模型(structural model)。每個箭咀掕住嘅數字反映段關係有幾強,數值愈接近 1 關係就愈勁[6]

建立模型

事前數據處理

一個協方差矩陣
       
         
         
         
         
睇埋:卡隆巴系數

要建立結構方程式模型,第一步要做嘅嘢係要手上有一個數據庫,數據庫入面包含樣本裏面每個個體喺每個可觀察變數上嘅數值,而且每個個體之間都係獨立同分佈(iid)嘅;跟住研究者可以由呢啲數據嗰度得出柞數據嘅協方差矩陣(covariance matrix),即係有咗柞變數嘅變異數同埋佢哋之間嘅協方差等嘅數值,當中「兩個變數之間嘅協方差」( )係指以下嘅數值:

 ,當中
  •     呢兩個變數之間嘅協方差;
  •   係第   個個案嘅   數值;
  •   係第   個個案嘅   數值;
  •   係啲個案喺   上嘅平均值
  •   係啲個案喺   上嘅平均值。

呢個數值反映兩個變數之間嘅統計相關-如果兩個變數有強嘅相關,即係佢哋傾向一齊高或者一齊低,  數值會大;好似係右圖嗰個協方差矩陣噉,就表示緊      之間嘅變異數(喺對角線嗰啲數值)同埋每對變數之間嘅協方差[15]。有好多用嚟做結構方程式模型嘅演算法都係以協方差矩陣嚟做輸入[註 3][16]

估計模型參數

睇埋:最大似然估計

喺得到數據之後,就要嘗試估計出量度模型(measurement model),即係「隱藏變數」同「觀察到嗰啲變數」之間嘅方程式。喺結構方程式模型當中,分析者要指明個模型係乜嘢樣嘅-有幾多個隱藏變數、邊個指標變數反映邊個隱藏變數... 等等。然後分析者就要揀用邊種技術嚟估計個模型啲參數(啲箭咀掕住嘅數值)。喺廿一世紀初嘅統計學界,最大似然估計(maximum likelihood estimation)係其中一種最常用嘅做法[17]:最大似然估計會先搵出一個機會率函數(probability function),呢個函數會反映「觀察到手上數據嘅數值」( )同「模型參數」( )之間嘅關係,而最大似然估計演算法嘅目標係要搵出   嘅數值應該要係幾多先可以令  (已知模型參數係   噉嘅樣,觀察到手上呢柞數據嘅機會率)嘅數值有咁大得咁大[18][19]

  可以表達成[20]

  [註 4]

當中   係指「第 1 個個案喺變數   上嘅值係   咁多」嘅機會率,而   就係樣本大細

最佳化

喺攞到機會率函數等嘅資訊之後,個程式就要做最佳化(optimization):假想而家有個演算法,初始化嗰陣個演算法將   設做隨機嘅數值,然後部電腦可以計「如果   係噉嘅樣,得到   呢柞數值」嘅機會率,跟住個演算用梯度下降法(gradient descent,SGD),即係考慮    之間嘅導數,嚟睇吓   向邊個方向變最有可能會提升  ,跟住就郁手改變   值,再計個新嘅   值出嚟,重複,如是者慢慢噉達到最大嘅  [21]

簡單講,梯度下降法呢個過程就好似爬山噉:想像下圖嘅 X 軸Y 軸(打橫平面)係個模型嘅兩個參數 ),而 Z 軸(打戙)就代表  ,梯度下降法會隨機噉將初始數值擺喺是但一點,然後[21]

  1. 睇吓自己身處嗰點周圍每個方向有幾斜,
  2. 揀最能夠令自己向上爬嗰一個方向,移去嗰個方向,
  3. 重複,直至某啲條件達到(例如   超過咗某個特定數值)為止。

順帶一提,梯度下降法並唔係唯一一種結構方程式模型可以用嘅最佳化技術。

結構模型

睇埋:通徑分析

有咗量度模型之後,分析者手上就會有柞隱藏變數嘅預估數值(「用量度模型預估、每個個案喺柞隱藏變數上嘅數值」)[註 5],睇返

 

條式嘅話,估計量度模型嘅過程俾分析者知道模型參數( ),所以就能夠估計每個個案嘅   值。跟住佢就有得用呢啲   值嚟建立結構模型(structural model)-又用返最大似然估計等嘅方法,建立「表示柞   之間嘅關係」嘅數學模型(就好似迴歸模型噉)[22]

確定性因素分析

內文:確定性因素分析

結構方程式模型嘅量度模型係所謂嘅確定性因素分析(confirmatory factor analysis)。既然要造量度模型嚟搵出一柞變數一齊反映緊嘅隱藏因素,就暗示咗呢柞變數之間會有返咁上下強嘅相關-啲變數之間嘅協方差數值會有返咁上下大;喺一般嘅探索性因素分析(exploratory factor analysis)當中,研究者唔會作出任何事先假設,而係會由手上嘅數據嗰度,俾啲演算法自己嚟估計個模型(條   式係點),頂櫳會指定隱藏因素嘅數量。相比之下,做得量度模型就假設研究者經已諗好咗個模型係點:研究者要憑手上嘅理論知識,推斷個模型應該大致上係點嘅樣-包括「有幾多個隱藏因素」、「邊個可量度變數反映邊個隱藏因素」... 呀噉,然後造量度模型嘅演算法就會作出大量嘅運算,睇吓研究者提出嘅模型「同數據反映嘅嘢有幾夾」(睇下面適合度)-喺度嘗試「確定」個模型係咪啱使[2][23]

確定性因素分析會得出所謂嘅因素負荷量(factor loading),因素負荷量係喺每個量度咗嘅變數同個隱藏因素之間有嘅一個數,值喺 0 到 1 之間,係嗰個變數同個隱藏因素之間嘅統計相關;如果一個變數嘅因素負荷量大,就表示佢同個隱藏因素有強嘅統計相關,而如果一個變數嘅因素負荷量細,噉就表示佢同個隱藏因素之間嘅統計相關弱[24]。例如用返正話個模型做例子:

每個隱藏因素都有個箭咀指住反映佢嘅變數,而箭咀掕住嘅數字就係嗰個隱藏因素同嗰個指標變數之間嘅因素負荷量,例如「scale 1」呢個變數係「智能」呢個隱藏因素嘅指標,兩者之間嘅因素負荷量係 0.7;而「high school GPA」(高中成績)係「學力表現」呢個隱藏因素嘅指標,兩者之間嘅因素負荷量係 0.75。如果一個指標變數嘅因素負荷量有返咁上下低,通常研究者就會覺得噉表示個變數根本反映唔到個隱藏因素,會考慮將嗰個變數由個模型嗰度攞走。

模型評估

適合度

內文:適合度

淨係攞到個模型係唔夠嘅。手上有咗個模型之後,分析者仲要睇吓個模型嘅適合度(goodness of fit / model fit):適合度係指一個統計模型有幾合乎觀察到嘅數據;例如用返頭先嗰個 50 條題目兩個因素嘅智商測驗嚟做例子,喺設計好啲題目之後,個設計者就要收數據(搵受試者做個測驗),收完做因素分析,睇吓啲受試者喺個測驗上嘅得分係咪真係好似佢預想嘅噉,望落似係由兩個隱藏因素話事-要睇吓「個測驗有兩個因素,當中頭嗰 25 條題目反映第一個因素,尾嗰 25 條題目反映第二個因素」呢一個統計模型嘅適合度如何[25][26]

適合度指標(fit indices)就係由統計學工作者設計、一啲用嚟衡量一個統計模型嘅適合度嘅指標數值;廿一世紀嘅統計學界有好多種適合度指標,而用統計技術做研究嘅人會按照自己嘅情況選擇用乜嘢指標衡量手上嘅統計模型[25][27]。廿一世紀初統計界常用嘅適合度指標有以下呢啲[28]

  • 卡方檢定(Chi-squared test,χ2[註 6]:呢種做法將「個模型係正確嘅」當做  虛無假說),並且攞「個模型嘅協方差矩陣」同「實際觀察到嘅協方差矩陣」做卡方檢定,如果卡方檢定嘅數值(χ2)愈大,就表示兩個矩陣之間嘅差異愈大-研究者就愈有理由相信個模型係錯嘅[29][30]
  • 近似值根均方誤差(Root Mean Square Error of Approximation,RMSEA):一個數值愈低愈好嘅適合度指標;RMSEA 最細嘅可能數值係 0,而一般認為,RMSEA 數值喺 0.1 或者以上嘅話個模型嘅適合度就算係低到唔可以接受[31]
  • 標準化根均殘差(Standardized Root Mean Residual,SRMR):另一個數值愈低愈好嘅適合度指標;一般認為,SRMR 嘅數值最好係喺 0.1 以下[2],亦都有統計學家主張 SRMR 數值要喺 0.08 以下個模型先可以算係有充足嘅適合度[29]
  • 比較適合指數(Comparative Fit Index,CFI):一個主要反映數據當中嘅統計相關嘅大細嘅適合度指標,所以數值係愈高愈好;一般嚟講,CFI 嘅數值過到 0.95,個模型就算係可以接受[29]

... 等等。

修改指數

內文:修改指數

如果啲適合度指標唔靚,分析者就可能要諗個模型需要點樣執(改吓啲變數之間嘅箭咀),先可以得出適合度指數靚嘅模型。修改指數(modification indices)係用嚟做呢樣嘢嘅一種指數數值。有好多用嚟做結構方程式模型嘅軟件喺建立完個模型之後會俾出一啲修改指數:喺最基本上,修改指數反映「邊條箭咀應該攞走」同「邊兩個變數之間應該要加箭咀」等嘅資訊,即係例如個程式喺建立個模型嗰陣,順手計埋「如果呢兩個變數之間嘅箭咀攞走,χ2 會點樣變」同埋「如果呢兩個變數之間加個箭咀,χ2 會點樣變」等嘅嘢,所以分析者如果需要執個模型,就可以靠睇啲修改指數嚟做決定[32]

喺廿一世紀初嘅統計學界,「修改指數要點樣應付」係一個有相當爭議性嘅課題。心理學社會學等領域嘅分析者好多時都係「完全跟從修改指數做事」嘅,但有唔少統計學界嘅人士都覺得噉做有問題-有好多理論家都覺得,研究呢家嘢係應該由理論主導嘅,而數值有返咁上下大嘅修改指數的確有可能係源自隨機性嘅誤差,所以佢哋認為,分析者喺決定係咪跟從一個修改指數嗰時,應該仲要諗埋「攞走呢個箭咀」或者「加呢個箭咀」喺理論上算唔算係合理[33]

多組分析

睇埋:調節效應

結構方程式模型可以用嚟做多組分析(multigroup analysis)。多組分析泛指「將受試者分做幾組,每組都由佢哋嘅數據嗰度估個統計模型出嚟,並且比較唔同組喺個模型上有乜差異」。舉個簡化例子說明,研究者認為變數   同變數  實驗組當中會成正比,不過喺對照組當中會冇相關(即係有個調節效應;moderation effect),於是佢就將柞數據斬開做兩份,實驗組一份、對照組一份,然後再分開噉同兩組各建立一個喺結構上相同嘅迴歸模型 ),再睇吓呢兩組嘅   係咪有預期中嘅差異-如果佢個假說係正確,噉個   喺實驗組當中應該會係統計上顯著嘅正數,喺對照組當中就會統計上唔顯著[34]

量度不變特性

內文:量度不變特性

量度不變特性(measurement invariance)係做多組分析嘅結構方程式模型嗰陣會用到嘅概念。想像家陣有個隱藏變數  (智能或者性格呀噉),     呢三個指標變數反映,而一份喺美國做嘅研究發現,呢三個指標變數嘅因素負荷量分別係     咁多;跟住研究者想知呢個發現係咪可以普遍化去美國以外嘅地區,於是就喺歐洲日本再做研究攞數據,而家想像

  •   表示由喺美國得到嘅數據造出嚟嘅   量度模型、
  •   表示由喺歐洲得到嘅數據造出嚟嘅   量度模型、同埋
  •   表示由喺日本得到嘅數據造出嚟嘅   量度模型、

問題係,呢三個   喺柞   嘅數值上會唔會有差異?呢個就係量度不變特性關注嘅問題:如果話一個量度方法(例如係智商測試等嘅心理測驗)具有量度不變特性,即係話喺分析緊嗰幾組之間,個量度所度緊嘅概念嘅結構(柞  )並冇差異;一般嚟講,量度不變特性俾人認為係用 SEM 做多組分析嘅必要條件-如果一個隱藏變數冇量度不變特性,就表示有關「個隱藏變數度緊乜」嘅理論唔具有普遍性,冇得做多組分析[35]

約束分析

睇埋:約束 (數學)

約束(constraint)喺統計學上係指喺建立一個統計模型嗰陣,指定個模型一定要滿足某啲條件,喺 SEM 多組分析上成日會用:想像家陣有個分析者將柞數據分咗做實驗組同對照組兩份,佢想知隱藏變數   同隱藏變數   之間嗰個箭咀(「 」當中個「 」)喺兩組之間有冇差異,佢可以

  • 首先俾個程式完全自由噉建立一個結構模型先,得出一個 χ2 值;
  • 跟住佢作出約束,要求個程式喺「假設兩組嘅嗰一個   數值一樣」嘅情況下建立一個結構模型,又得出一個 χ2 值,
  • 如果呢個 χ2 值明顯大過[註 7]打前嗰個,就表示「假設兩組嘅嗰一個   數值一樣」會搞到個結構模型嘅適合度明顯變差-噉個分析者就有理由相信「兩組嘅嗰一個   數值有差異」,可以作出「『屬實驗組定對照組』呢個變數會對    之間嘅關係有調節效應」嘅推論[36]

統計功效

喺廿一世紀初,結構方程式模型嘅統計功效(statistical power)係一個頗受關注嘅課題。一個假說檢定過程(例如係建立一個結構方程式模型嘅過程)嘅統計功效係指「如果  備擇假說)係真確,個測試過程會成功拒絕到  虛無假說)」嘅機會率,即係[37]

 

一般嚟講,個樣本,統計功效就會愈高。有好多統計學家都喺度爭論「到底樣本大細( )要係幾多,一個結構方程式模型先會有可接受嘅統計功效」[38][39]。廿一世紀初嘅統計學界有用電腦模擬研究呢個課題:研究者會用演算法產生一柞數據,再用呢啲數據嚟行結構方程式模型,行若干次,睇吓樣本大細等嘅變數會點樣影響  ;一般認為,只要   嘅數值

  • 大過 200 [40]
  • 係要估計嘅參數數量嘅最少 10 倍[41]、而且
  • 係變數數量嘅最少 10 倍[42]

噉呢個結構方程式模型就可以算係具有可接受嘅統計功效[43][44]

註釋

  1.  」意思係「   呢個入面」。
  2. 可以睇吓迴歸分析(regression analysis)。
  3. 又有做法會事先將數據庫入面每個數據嘅數值減以相應嘅平均值,噉   就會簡化變成  
  4. 喺實際應用上,考慮咁多極細嘅數值可能會引起算術下溢(指要處理嘅數值細過部電腦能夠表示嘅最細值),所以「要點樣計  」呢家嘢有一定嘅學問。
  5. 順帶一提,通徑分析(path analysis)基本上就係冇量度模型、齋用觀察到嘅變數嚟建立結構模型嘅 SEM。
  6. 卡方檢定喺樣本大細大過要估計嘅參數數量( )嗰陣先會有用,而且當樣本大細大得滯嗰陣,卡方檢定會變得靠唔住。
  7. 點樣算係「明顯大過」都有學問。

軟件

  • LISREL
  • R 程式語言當中都有軟件包做結構方程式模型。
  • SPSS 當中嘅軟件包「AMOS」專係整嚟做結構方程式模型嘅。

睇埋

文獻

一般文獻

  • Bowen, N. K., & Guo, S. (2011). Structural equation modeling. Oxford University Press.
  • Elliott, M. R. (2003). Causality and how to model it (PDF). BT technology journal, 21(2), 120-125.
  • Kaplan, D. (2008). Structural Equation Modeling: Foundations and Extensions (2nd ed.). SAGE. ISBN 978-1412916240.
  • Kline, Rex (2011). Principles and Practice of Structural Equation Modeling (3rd ed.). Guilford. ISBN 978-1-60623-876-9.

社科文獻

  • Bagozzi, Richard P; Yi, Youjae (2011). "Specification, evaluation, and interpretation of structural equation models". Journal of the Academy of Marketing Science. 40 (1): 8–34.
  • Hox, J. J., & Bechger, T. M. (1998). An introduction to structural equation modeling. Family Science Review, 11, 354-373.
  • Hu, Li‐tze; Bentler, Peter M (1999). "Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives". Structural Equation Modeling: A Multidisciplinary Journal. 6: 1–55. doi:10.1080/10705519909540118. hdl:2027.42/139911.
  • MacCallum, Robert; Austin, James (2000). "Applications of Structural Equation Modeling in Psychological Research". Annual Review of Psychology. 51: 201–226. doi:10.1146/annurev.psych.51.1.201. PMID 10751970. Retrieved 25 January 2015.
  • Quintana, Stephen M.; Maxwell, Scott E. (1999). "Implications of Recent Developments in Structural Equation Modeling for Counseling Psychology". The Counseling Psychologist. 27 (4): 485–527. doi:10.1177/0011000099274002.
  • Tarka, P. (2018). An overview of structural equation modeling: its beginnings, historical development, usefulness and controversies in the social sciences (PDF). Quality & quantity, 52(1), 313-354.

  1. Kaplan, D. (2008). Structural Equation Modeling: Foundations and Extensions (2nd ed.). SAGE. p. 79-88.
  2. 2.0 2.1 2.2 2.3 Kline, Rex (2011). Principles and Practice of Structural Equation Modeling (Third ed.). Guilford.
  3. Hancock, Greogry R (2003). "Fortune Cookies, Measurement Error, and Experimental Design". Journal of Modern Applied Statistical Methods. 2 (2): 293–305.
  4. Salkind, Neil J. (2007). "Intelligence Tests". Encyclopedia of Measurement and Statistics.
  5. Westland, J. Christopher (2015). Structural Equation Modeling: From Paths to Networks. New York: Springer.
  6. 6.0 6.1 Hox, J. J., & Bechger, T. M. (1998). An introduction to structural equation modeling. Family Science Review, 11, 354-373.
  7. 7.0 7.1 Linear Regression with example. Towards Data Science.
  8. Seber, G. A., & Lee, A. J. (2012). Linear regression analysis (Vol. 329). John Wiley & Sons.
  9. YangJing Long (2009). "Human age estimation by metric learning for regression problems". Proc. International Conference on Computer Analysis of Images and Patterns: 74–82.
  10. Regression in Machine Learning. Towards Data Science.
  11. Thompson, B.R. (2004). Exploratory and Confirmatory Factor Analysis: Understanding Concepts and Applications. American Psychological Association.
  12. Child, Dennis (2006), The Essentials of Factor Analysis (3rd ed.), Continuum International.
  13. Mayes, S. D., Calhoun, S. L., Bixler, E. O., & Zimmerman, D. N. (2009). IQ and neuropsychological predictors of academic achievement. Learning and Individual Differences, 19(2), 238-241.
  14. Kline, P. (2014). An easy guide to factor analysis. Routledge.
  15. Rice, John (2007). Mathematical Statistics and Data Analysis. Belmont, CA: Brooks/Cole Cengage Learning.
  16. Covariance Based Structural Equation Modelling.
  17. Maydeu-Olivares, A. (2017). Maximum likelihood estimation of structural equation models for continuous data: Standard errors and goodness of fit (PDF). Structural Equation Modeling: A Multidisciplinary Journal, 24(3), 383-394.
  18. The Basics of Structural Equation Modeling (PDF).
  19. Rossi, Richard J. (2018). Mathematical Statistics : An Introduction to Likelihood Based Inference. New York: John Wiley & Sons. p. 227.
  20. A Gentle Introduction to Maximum Likelihood Estimation for Machine Learning.
  21. 21.0 21.1 Hill Climbing Algorithms (and gradient descent variants) IRL.
  22. Lee, S. Y., & Zhu, H. T. (2002). Maximum likelihood estimation of nonlinear structural equation models. Psychometrika, 67(2), 189-210.
  23. Preedy, V. R., & Watson, R. R. (2009) Handbook of Disease Burdens and Quality of Life Measures. New York: Springer.
  24. Factor Loadings. Salkind, N. J. (2010). Encyclopedia of research design (Vols. 1-0). Thousand Oaks, CA: SAGE Publications, Inc. doi: 10.4135/9781412961288.
  25. 25.0 25.1 Singh, R. (2009). Does my structural model represent the real phenomenon?: a review of the appropriate use of Structural Equation Modelling (SEM) model fit indices. The Marketing Review, 9(3), 199-212.
  26. Fit Indices commonly reported for CFA and SEM (PDF).
  27. MacCallum, Robert; Austin, James (2000). "Applications of Structural Equation Modeling in Psychological Research". Annual Review of Psychology. 51: 201–226.
  28. Xia, Y., & Yang, Y. (2019). RMSEA, CFI, and TLI in structural equation modeling with ordered categorical data: The story they tell depends on the estimation methods. Behavior research methods, 51(1), 409-428.
  29. 29.0 29.1 29.2 Hu, L., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1-55.
  30. Deciding Between Competing Models: Chi-Square Difference Tests (PDF). Introduction to Structural Equation Modeling with LISREL.
  31. Browne, M. W.; Cudeck, R. (1993). "Alternative ways of assessing model fit". In Bollen, K. A.; Long, J. S. (eds.). Testing structural equation models. Newbury Park, CA: Sage.
  32. Loehlin, J. C. (2004). Latent Variable Models: An Introduction to Factor, Path, and Structural Equation Analysis. Psychology Press.
  33. MacCallum, Robert (1986). "Specification searches in covariance structure modeling". Psychological Bulletin. 100: 107–120.
  34. Sarstedt, M. , Henseler, J. and Ringle, C. (2011), "Multi-group analysis in partial least squares (PLS) path modeling: alternative methods and empirical results", Advances in International Marketing, Vol. 22 No. 1, pp. 195-218.
  35. Vandenberg, Robert J.; Lance, Charles E. (2000). "A Review and Synthesis of the Measurement Invariance Literature: Suggestions, Practices, and Recommendations for Organizational Research". Organizational Research Methods. 3: 4–70.
  36. Takayama, Akira (1985). Mathematical Economics (2nd ed.). New York: Cambridge University Press. p. 61.
  37. Hoenig; Heisey (2001). "The Abuse of Power". The American Statistician. 55 (1): 19–24.
  38. Quintana, Stephen M.; Maxwell, Scott E. (1999). "Implications of Recent Developments in Structural Equation Modeling for Counseling Psychology". The Counseling Psychologist. 27 (4): 485–527.
  39. Westland, J. Christopher (2010). "Lower bounds on sample size in structural equation modeling". Electron. Comm. Res. Appl. 9 (6): 476–487.
  40. Boomsma, A. (1985). Nonconvergence, improper solutions, and starting values in LISREL maximum likelihood estimation. Psychometrika, 50(2), 229-242.
  41. Bentler, P. M., & Chou, C. P. (1987). Practical issues in structural modeling (PDF). Sociological methods & research, 16(1), 78-117.
  42. Nunnally J.C. (1967). Psychometric theory. New York, NY: McGraw-Hill.
  43. Wolf, E. J., Harrington, K. M., Clark, S. L., & Miller, M. W. (2013). Sample size requirements for structural equation models: An evaluation of power, bias, and solution propriety (PDF). Educational and psychological measurement, 73(6), 913-934.
  44. Chou, C. P.; Bentler, Peter (1995). "Estimates and tests in structural equation modeling". In Hoyle, Rick (ed.). Structural equation modeling: Concepts, issues, and applications. Thousand Oaks, CA: Sage. pp. 37–55.