統計的意義在分析

May. 12, 2020

細談企業教育訓練(課程Review-I)

把滿意度統計好,得到一個結果,4.0分以上,好,4.0分以下,不好,就這樣給課程下了一個結論,不覺得太草率了。這根本稱不上統計,只能說是整理而已,簡單說明一下就會清楚。一般的問卷大致上會有三大塊,課程的內容、講師的風評與行政的措施等。這三個部分各有其評估的目的,但大部分人資都把這些數據混為一談,混在一起求得平均值,結果這樣的分析根本看不到問題。

打個比喻,有個課程,學員對講師的風評很高,平均有4.8的分數,但對於課程內容的評點就沒有這麼高,只有4.2點;對行政單位的評點為4.0點,整體的總平均是4.3分,看起來就是這麼一回事,其實不然,這個平均值不代表任何的訊息,只是一個數字而已,沒有告訴任何的問題所在。

如果是那樣的分數,是否意味著講師無論在授課風格、講授技巧、等充分得到學員的肯定。然課程內容卻只有4.2分,也意味著這個課程的針對性不夠,或是沒有讓學員感受到高度的滿意。要仔細Review的話,應該可以看到一些問題的所在。

或許講師技巧好,卻沒有把課程交代清楚,這種情形最常出現在急就章找講師的時候會發生;另外一種情形可能是課程的需求與目標沒有訂清楚,課程內容沒有足夠的針對性,才會出現對講師滿意,對課程普通的反應。這些才是Review的重點,也是持續改善的元素。再說,一般對於行政措施大多滿意度不會很高,拿這個分數來評估課程的內容與講師的授課技巧,一點意義都沒有,此其一。

還有一種情形是,某些項目很高,但其中有一個項目很低,結果分數被平均了下去,自然看不到問題的真面目,也代表著Review沒有到位。另外很多的企管公司設計的問卷,本身就問題多多,也不知道問卷的目的為何,就只是填個滿意度,簡直就是浪費時間。譬如說:一個推廣式的研討會,會後當然免不了來個滿意度調查,但調查的內容的項目常會出現『這個研討會有沒有滿足你的目的』等類似的問題,不知這個問題設計的原意何在。如果要知道來的人是否目標對象,那這樣的問題根本無法達到預期的目標;如果對象本來就很清楚,那這個問題的目的應該是要確定主題選定的適當性,這才是Review的重點。

另外也有這種情形,整個班上大多數滿意度都很高,但可能有一位很不滿意,用這樣的數據來平均的話,就代表這位人資不懂統計。這種情形意味著數據中有異常,應該排除異常,先看眾數,再個別來分析異常的背景與原因。很可能這位仁兄與其他的學員在經歷或是職位上有差距;也可能是這位學員曾經上過同樣的課程(在別地方),才會出現了無新意的感覺,這就是Review要掌握的訊息。(學員遴選不當)

個人有過這樣的經驗,那是1996年的故事,一家企管公司幫個人在上海開兩個採購管理的課程,一個是供應商管理;另一個是採購績效評估,前者對象為採購,後者對象是以主管為目標。因為是連續上,有兩位學員遠從山西到上海,路途迢迢的搭了十七個小時的火車,要就一次全報名了。但個人當時就要求企管公司,採購績效管理的課必須要是主管級的人員才接受。這兩位學員只是採購的菜鳥,但公司願意出錢,也就勉為其難的報了名,企管公司當然不好拒絕。課程上完後,企管公司慌慌張張的跑過來說到:『老師!這個課是出了甚麼問題嗎,怎麼比前面的課的滿意度差了許多。』

我笑笑的問她:『是不是有人的分數特別低?』她回去翻了一下,果然是那兩位學員的分數特別低,因為她們兩位都只是新手,採購績效這樣的東西,根本無法消化,所以對課程的評點,自然不高,但對講師的評點還是維持。像這種案例,這兩份數據屬於例外數據,應先排除,再進行分析,才有統計學上的意義。

個別分析的時候,主要的是要判斷其中與期待值產生偏差的原因,再以回溯管理的精神,檢討當初課程設計上,是否哪些部分沒有盡善,這就是持續改善的意義。綜合起來,滿意度調查的部分,首先要個別評估講師、課程與行政。講師的部分是在評估講師遴選的合適性;課程評估的目的,除了評估設計的品質外,還要評估學員遴選得妥當性,與利益關係人參與的有效性。而行政措施的評估,是給人資部門在服務的品質上的改善建議。

試問,如果培訓單位或是企管公司的客服人員,連這點統計分析的能力都沒有的話,那這個Review的第一步就踏不出去了,更遑論接下去還有一堆的東西要檢討。每個問卷的題目,都有其設計上的目的,也就是到底想要得到甚麼資訊,才會出現問卷的內容,因此要真正分析的話,是應該逐項評估,才可能看出問題的癥結。

譬如說:有兩個題目,各為『課程是否解決我的問題』,與『課程對工作有沒有幫助』,看似差不多,仔細分析的話,這兩個題目想要知道的內涵是不同的。『課程是否解決了我的問題』,是在評估課程需求的掌握度是否充分;『課程對工作是否有幫助』則在評估課程的知識性與實務性,有不同的構面需要去檢討。