PDSA結果的保真度

評估改善措施執行的忠實度。

保真度 (Fidelity) 就是意向結果與實際結果之間的匹配程度。

循序漸進:

執行改善的保真度需要被評估因為可用來說明評估調查改善之結果。假如評估調查是否定的結果,一種可能性是我們正確的實施了無效的對策。另一種可能性則是可能有效的變革對策並沒有被充分的實施。此時,保真度就可以幫助我們確定專案遇到的是哪種可能性。

保真度監測作業里程碑

表1、初期Plan-Do-Study-Act(PDSA)實施循環週期之假想結果
週期 樣本 表格正確完成 定性回饋 行動
1 便利抽樣 2/6=33% 難以理解內容
找不到表格
將表格內容改得更清楚
將表格放在容易查找的地方
2 便利抽樣 4/8=50% 難以理解內容 將表格內容改得更清楚
3 便利抽樣 7/10=70% 找不到表格 將表格放在容易查找的地方
4 便利抽樣 8/10=80% 完成表格很耗時 將表格內容改短一點
達成第一里程碑;進行立意抽樣
5 立意抽樣 0/4=0% 不知道有表格 增加人員對表格的認識
6 立意抽樣 8/10=80% 難以理解內容
完成表格很耗時
將表格內容改得更清楚
將表格內容改短一點
7 立意抽樣 9/10=90% 不知道有表格 增加人員對表格的認識
達成第二里程碑;準備繪製趨勢圖
參考文獻: Etchells E, Woodcock T. [2]

評估對策實施的保真度

  1. 依照變革理論選擇保真度評估方式
    • PDSA層層級保真度評估方式
    • 專案級保真度評估方式
  2. 為每次評估決定一個可接受的最低保真度建議將可接受的最低保真度設為70%。如果保真度小於70%,則任何變革的效果都將被減弱,就會很難做到更大範圍的推廣,且評估的需求樣本數可能會變得非常的大(如表1所示)。如果最低保真度小於70%,則下一步行動,應該是要透過持續監測保真度,來找出實施的障礙,並且改善它。武斷主觀的可接受最低保真度為70%。
  3. 訂定抽樣策略
    • 取得剛好足夠進行下一步的資料
    • 充分運用實際相關主題專業來選擇最合適樣本。
    初期階段:便利抽樣樣本

    在初期階段使用小樣本的隨意抽樣來進行變革的測試及改善。這些便利抽樣樣本可以包括那些接受理想狀態、對變革熱心的支持者。努力朝向實現兩次連續便利抽樣樣本(Convenience sample)都超過可接受最低保真度的第一個里程碑邁進。如果連這個簡單的里程碑都沒有辦法實現,大範圍推廣是不可能成功的。變革對策應該進行改進,或是放棄該對策。

    下一個階段:立意抽樣(或稱主觀判斷抽樣)

    達成第一個里程碑後,開始進行立意抽樣,這些樣本能反映出更具代表性的系統表現成果。立意抽樣可以利用相關專業知識來確保實施的變革測試範圍更廣,包括可以預期實施困難的情況。第二個里程碑是實現兩次連續立意抽樣樣本(Purposive sample)都超過可接受最低保真度。

    在小樣本調查中,資料的品質是很重要的。
    確保資料品質的五個重要步驟是:(1)定義樣本收案條件;(2)訂定排除標準;(3)說明每個循環/抽樣的調查期間;(4)持續記錄排除紀錄;以及(5)確保資料蒐集完整。旨在持續納入符合條件的病人。理想的抽樣方式是隨機抽樣,但很遺憾通常隨機抽樣不太符合實務作業。
    [小樣本量]
  4. 選擇實際樣本數
    假設可用於評估的資源是有限的。若每個週期實際分配到可以抽樣的病人最多10位。可接受最低保真度為70%,則每個週期最少必須成功抽樣7/10人。如果一個週期內有4個病人未成功抽樣,則該週期即判定為無法達成要求的7/10成功數,必須停止循環,並進行定性(質性)調查,做必要的調整。
  5. 繪製運行圖(趨勢圖)
    趨勢圖是進一步增強團隊對於專案(或對策)實施保真度信心的有效方法。Provost及Murray[3]建議一個趨勢圖最少需要有10個資料點,其中每個資料點需要至少10個觀察值,且採用一致的抽樣方法。請勿將步驟4的資料拿來繪製趨勢圖,因為在步驟4當中,其對策變革、實施方法及抽樣方法都在不斷的進行調整。第三個里程碑是實際保真度之中位數超過可接受最低保真度的穩定趨勢圖。
    運行圖具有一些簡單的穩定性規則。如果違反任何一個規則,則該趨勢圖即判定為不穩定狀態。
    • 規則 1 ─ 位移:連續6個資料點超過或低於中線(不包括在中線上的點)。
    • 規則 2 ─ 趨勢:連續5個資料點往上或往下。
    • 規則 3 ─ 擾動:資料點太常或太不常跨過中線。
    [運行圖(趨勢圖)]
    趨勢圖無法將實施保真度的變異程度量化。要將實施保真度變異程度進行量化,需要使用更大樣本數及更長期間抽樣的管制圖。如果有充足的資料及資源,那麼可以在專案更早期的時候,就投入使用管制圖。否則,我們建議在達成「實際保真度之中線超過可接受最低保真度的穩定趨勢圖」這個里程碑前,不要貿然進行更大範圍的推廣或評估。

  6. 專案級衡量指標(方法)

    表2
    保真度 樣本
    100% 100
    95% 110
    90% 123
    85% 139
    80% 156
    75% 179
    70% 204
    60% 278
    50% 400
    40% 625
    30% 1,111

    說明(表2):實現保真度對評估調查(指正在進行的變革)所需樣本量的影響。
    保真度:指實施逼真度(%)
    樣本:指評估調查(指正在進行的變革)所需的樣本大小
    專案級衡量反映變革也可以發展成最終目標並在運行圖表步驟中測試。這種額外的衡量工作可以:
    • 增強變革理論是正確的信心。如果執行是可以接受的,那麼專案級的衡量應該也可找到其他改進的趨勢,但是還沒有好到能期望表現出統計顯著性差異。
    • 如果出現意外惡化,則應重新審視變革理論、實施方案和測量方法。

    規劃第四個里程碑的樣本大小:評估調查(Evaluative study)。樣本大小估計需要估計保真度,以及估計其他專案級衡量值的基準值。以許多專案來說,變革是針對提供者的,但變化的影響卻是衡量患者的。例如,在藥物調節範例中,更改的目標是醫生填寫表格,但下游影響(藥物錯誤和可預防的不良藥物事件)對患者進行測量。在這種情況下,樣本大小估計需要變革(醫師填寫表格)目標與下游(患者端)度量值之間的相關性(表 2)。

    在進行評估調查之前,優化實施的保真度很重要。實現保真度低會導致較小的效果影響,這意味著需要更大的樣本來檢測變革的影響(表 2)。假設檢測效果的估計樣本大小為 100 名患者。此範例估計假定實現的保真度為 100%。如果實現的保真度僅為 70%,則檢測相同效果所需的樣本大小將翻倍至 204。如果實現的保真度為70%,並且只有100名患者登記,那麼該研究將產生負面結果。其推論是,保真度的微小提高可以減少所需的樣本大小,並增加效果的展示機會。將實施保真度從 70% 提高到 80%, 可將所需的樣本大小從 204 減少到 156。

    關鍵文獻

    1. Etchells E, Ho M, Shojania KG. Value of small sample sizes in rapid-cycle quality improvement projects.
      BMJ Quality & Safety 2016; 25(3): 202-206. [BMJ Qual Saf]
    2. Etchells E, Woodcock T. Value of small sample sizes in rapid-cycle quality improvement projects 2: assessing fidelity of implementation for improvement interventions.
      BMJ Quality & Safety 2018; 27(1): 61-65. [BMJ Qual Saf]
    3. Provost LP, Murray SK. The Health Care Data Guide: Learning from Data for Improvement
      San Francisco, California: John Wiley and Son, 2011: 48-9. [www.amazon.com]
    4. Perla RJ, Provost LP, Murray SK. The run chart: a simple analytical tool for learning from variation in healthcare processes.
      BMJ Quality & Safety 2011; 20: 46-51. [BMJ Qual Saf]