Mar. 30, 2020

如何評量辦訓的成效

談談TTQS系統的優化方向-III 分類：教育訓練2010/04/30 23:53        

上期談到Design的評核，對評核委員來說，要看的不該只是表面的一些講義、學員問卷調查資訊而已，課程設計過程的元素是否具備，才是評估設計程序完備與否的要項。前面提到過，以目的來評估手段的適切性，往往是最簡便、有效的方法，以Review的內容來反向檢視Design程序，是最符合邏輯的做法。今天就來談談評分卡中最需要檢討的項目--Review。

不知道是有意、還是無意的，計分卡的設計，似乎告訴辦訓人員，Review並不重要，重要的是計畫與設計(因為Review的配分最低，而且子項目也擺錯)。要論技巧性的問題，Review比起計畫與設計要難得多，也更能看出辦訓的持續改善是否落實的最佳手段；要論邏輯的判斷，從Review手法的應用與論點的陳述，也最能反應其系統化思考。

Review不是一份報告，卻是透過報告來彰顯整個系統執行過程的有效性最好方法，將結案報告視為Review的Output也可算是一個合理的說法，但有了報告不能代表就是做好Review。特別是報告的內容，大概是目前為止最常見到的問題，就是內容太草率、沒有深度，不然就是沒有內容。如果評核委員無法從報告內容看出Review的重點，那也就看不到Output了，更遑論對整個體系的總體檢。

教育訓練報告應該要有兩種，評核委員必須懂得從這兩份報告來判斷體系與實際運作的連結性與一致性，這兩份報告分別為「課程結案報告」與「教育訓練定期報告(一般為月報)」。為何需要兩份報告？這就是Review檢討的重點所在，每份報告各自有其不同的任務與意義，不要將其混為一談。結案報告是屬於微觀面的檢討，重點在於檢討從課程的設計、執行、結果與持續改善(ADDIE)。而定期報告責是一份宏觀的報告，旨在檢討從計劃到結果的體系檢視(PDDRO)。

為何結案報告只看設計與執行？那是因為教育訓練計劃完成後，個別課程的實施，是從設計開始的。如果教育訓練計畫正確的話，在課程設計的時候，並不需要再追溯回去看Plan的連結。但教育訓練的明確性、連結性、系統性與有效性，則必須透過定期報告來檢視，才可能看到體系運作的有效性與是否具備持續改善的力量。

 以此論點來看，這兩份報告的內容是否該有基本上的差異？答案是肯定的，問題是評核委員能否看得出來這兩份報告要彰顯的目的與意義，以報告的內涵來評估體系的完整性，給於客觀、有公信力的分數？可惜，三年多來還沒看到有委員或是專家針對此一部分，深入去研究與理解，給於一個更有說服力的論點，讓負責教育訓練或是企業經營者，也能有效的針對辦訓做一個投資報酬率的評估。

報告不是重點，重點是報告的內涵，因為報告是Review步驟的產出，如果這部分無法交代清楚，那意味著整個體系都是虛晃一招，應付了事。常見報告出現問題的部分大至上有幾點，簡單說明如下：

結案報告只看到Data，或是簡單的Information。只看到整理，欠缺分析的程序

結案報告的目的與意義不夠清晰，所以內涵就不易呈現

沒有深度的分析，自然無法看到課程的PDDRO程序的檢視資訊

不知為何做結案報告與定期報告，定期報告成了預算報告，而非辦訓報告

連問題都無法說明清楚，如何奢談持續改善

一份沒有深入分析的報告，自然難以看到問題的深度，看到大部份的報告只看到問卷的統計，連分析都談不上。問卷的內容，只是表面的東西，而且統計上平均值本身就是一個管理上最需要注意的指標。這種報告，一般稱之為Status report，重點在於呈現出辦訓的狀況而已，至於好與不好，似乎只能從平均點數做出粗淺的判斷。持續改善的重點在於對於體系的運作過程，是否都能發揮應有的期待，如果沒有達到預期的效果，那就意味著過程中還有不夠完善的部分，這些就是持續改善的部分。

評核委員在評核系統的持續改善(要得四、五分基本上要能看到持續改善的做法，如果連這部份都交代不清，如何談得上持續改善，嚴格來說，以TTQS的現況，根本不可能有金牌得主才對)，如果出現上述的報告內容，評核委員如何給分？給多少分？這才是系統優化的方向。有好的方向，才能促使辦訓人員知道該如何提升辦訓的價值與手法，這才是國際化體系該有的態度。

至於計分卡內容部分，10a~d的部分是屬於Review階段的任務，透過事後的檢討，才可能發覺到學員遴選、講師遴選、教材開發等等的好壞。這些項目放在Do，會讓人有不知執行課程的過程的管理意義在哪裡。