靠紅綠燈指示器評估績效的問題

依賴時間點評估績效會誤判系統變異性

使用紅色、琥珀色、綠色的數據分析方法被廣泛應用且無處不在。 慣用語 '紅色、琥珀色、綠色' 是指使用基於圖形數據顯示 數值是位於目標值的正確側(綠色)還是錯誤側(紅色) 的數據值的顏色編碼的。 通常使用琥珀色或黃色來表示介於“正確”和“錯誤”之間的數據值。

圖1. 每月計算不想要事件數。
圖1. 每月計算不想要事件數。水平線:可接受上限。紅條:不可接受的值。綠條:可接受的值。(長條圖)

圖 1 顯示了某種類型的精神照護中不想要的事件的月計數。 水準線表示 10.5 的目標值。 即我們不希望每月發生超過10起事件。 紅色條顯示高於目標的月份。 綠色條顯示低於目標的月份。

圖1中的數據顯示形式正確(綠色勝於紅色)。 然而,它未能傳達一個非常重要的資訊,同時暗示一個虛假的資訊。 圖1並沒有說明在多大程度上機會是造成每月計數之間觀察到的差異的原因。 相反,它表明紅綠的不同,只是因為可分配的原因而產生紅色和綠色的結果。 這通常會導致對紅色結果採取行動,而綠色結果則不予理會甚至慶祝。 在最糟糕的形式中,紅色、琥珀色、綠色甚至不與時間系列配合使用, 而只是顯示最後一個數據點(周、月或季度)。 但是,如果紅色和綠色結果都是同一隨機過程的產物, 則此策略毫無意義。

圖2. 管制圖數據從圖1取得,顯示隨機原因變化。
圖2. 管制圖數據從圖1取得,顯示隨機原因變化。CL、中線(平均值):UCL,上(管制線)限。

使用管制圖可以最好地說明這一點, 管制極限表示數據中隨機變化的限制(圖2)。

圖 2 中的管制圖顯示每月事件數與隨機原因變化一致, 因為所有數據點都在管制線之間 (下管制線為負值,未顯示)。 也就是說,沒有理由相信超出10.5目標值的3個月具有特殊原因 — 它們與圖表上其餘月份的流程一樣典型。 因此,改進策略應針對整個過程,調查影響所有事件的共同原因, 而不是尋找特殊原因。

此外,在沒有特殊原因的月數上單獨採取行動可能的 至少有兩個原因是有害。 首先,基於隨機原因變異卻以斷斷續續的方式應用的操作, 造成實際上增加變異。 其次,這樣的策略將不可避免地在組織內部造成混亂和挫敗感, 因為它行不通,而且一再要求員工更改程序和工作習慣,結果卻不見改善。 結果卻不見改善。

改進策略

一般原因和特殊原因變化之間的區別至關重要, 因為這兩種類型的變異需要不同的改進策略。

系統共同原因變異(穩定系統)

特殊原因變化Special Cause Variation

一般來說,如果存在特殊原因,應首先進行調查,並查明其根本原因, 以便在實施共同原因改進策略之前穩定這個流程。

關鍵文獻

  1. Anhøj J, Hellesøe AMB. The problem with red, amber, green: the need to avoid distraction by random variation in organisational performance measures BMJ Qual Saf 2017;26:81-84.