《国中基测量尺及等化程序缺失》由会员分享，可在线阅读，更多相关《国中基测量尺及等化程序缺失（35页珍藏版）》请在金锄头文库上搜索。
1、 1國中基測尺及等化程序缺失 妙香研究員 國中基測尺及等化程序缺失 妙香研究員 中央研究院統計科學研究所 中央研究院統計科學研究所 日期: 96 5 月 22 日 日期: 96 5 月 22 日 2摘 要 摘 要 基測實施，公眾隱約可感受到基測計算方式可模糊前段及後段學生差距； 一般大眾在艱澀學如同黑箱作業下，無法判斷中段學生差距是否也被模糊。由分 發結果而言，中段學生差距之模糊可造成公、私學校分發差，帶地使家長承擔 同對等的經濟負擔。此負擔限短則三長則七。眾所周知，三的私高中職、 五專學雜費至少20-30萬,而四私大學學雜費、生活費是一筆可觀目。試想台 灣己成型的社經結構，就私學校所須費用對
2、中、低收入家庭而言，無疑是雪上 加霜。 鑑於一般大眾無法針砭基測尺分計算方式是否影響考生及家長權，本文檢 驗及分析基測尺分是否滿足程序正義的計算方式。此程序正義包括三個照基準 點:一為正確的學應用；二為內部計分程應與公佈於大眾的計分遊戲規則相 符相合；三為擇優政策隱含的名次排擠效應的資訊應該透明化。 本文主要的發現:心測中心在計算尺分的過程中，存在著一些尋常的地 方：一是各個考科在計分過程中的最高分並非設定在 60 分，且各個科目在各個 相同；二是第二次測驗尺並無等化(equating)步驟，只是單純進分結 (linking)。 關鍵詞: 尺分，化，IRT-等化，結，強真分，均等測標準誤尺分
3、型態。 3一、序言 一、序言 日前部分縣市教育局長指出國民中學學生基本學測驗(簡稱基測)的尺分 打擊弱勢學生，呼籲教育部全面檢討基測計分方式，教育部長杜正勝也表示檢討基測 方案的時候。 國中基測雖然已經實施，大眾及教育人員無法解尺分的計算方法。 如，為何在某些基測科目答對一題或10多題，尺分是1分。另一方面，雖然有 許多學者及家長質疑尺分的算法、意義、及公平性，尺分的算法、意義、及公平性，但在無法驗證其計算方式情 況下，只能將質疑埋沒心中。 基測自90實施以，師大心與測驗發展中心(以下簡稱心測中心)只公佈答 對題與尺分之對照表，而將考生的試卷原始分分佈為國家機密，對外公 佈。換言之，當原始分分
4、佈為國家機密，對外公 佈。換言之，當考生的原始分分佈原始分分佈能為時，驗證工作是很難進的。 回溯90基測開始實施時，基測推動工作委員會以一序專文及答客問闡釋基 測分的意義及學基礎，要求大眾相信基測尺分轉換及等化過程之公信。 基 測成績作為高中、高職及五專分發依據，是可影響30幾萬國中考生的未教育環境品 質及經濟負擔，因而基測成績計算過程應該透明化的，且可受驗證的。 基測實施，公眾隱約可感受到基測計算方式可模糊前段及後段學生差距； 一般大眾在艱澀學如同黑箱作業下，無法判斷中段學生差距是否也被模糊。由分 發結果而言，中段學生差距之模糊可造成公、私學校分發差，帶地使家長承擔 同對等的經濟負擔。此負擔
5、限短則三長則七。眾所周知，三的私高中職、 五專學雜費至少20-30萬,而四私大學學雜費、生活費是一筆可觀目。試想台 灣己成型的社經結構，就私學校所須費用對中、低收入家庭而言，無疑是雪上 加霜。 鑑於一般大眾無法針砭基測尺分計算方式是否影響考生及家長權，筆者檢 驗及分析基測尺分是否滿足程序正義的計算方式。此程序正義包括三個照基準 點:一為正確的學應用；二為內部計分程應與公佈於大眾的計分遊戲規則相 符相合；三為擇優政策隱含的名次排擠效應的資訊應該透明化。 二、研究背景導言 二、研究背景導言 研究心研究心。筆者在92中央研院統計所科普演講，曾指出三項點。其一為： 心測中心對尺分及等化學的宣導文是過於
6、誇大的；其二為：1-60分尺分 作為基測子學科共同尺的學限制；其三為：基測題庫品質優及等化程序正確 與否帶地使擇優政策美意為名次排擠效應。 筆者因而向國科會科教處申請計畫(妙香)先發展心測中心原本想用的四 或五的beta-binomial模式(妙香及謝育泰)，繼而檢驗其他方面質疑之 處。筆者亦向基測學小組申請研究資；抽樣資為90-93考生之二次基測成4績，樣本人各約三萬多筆，是依據全國18個考區按比隨機抽樣的。此外，筆 者亦向基測學小組申請90-93第一次及第二次基測整體統計資。 在從事這項研究的過程中，最讓筆者感到困惑的部份是：一直無法依循心測中心 對外公佈的尺計分方式(請閱考文獻:8)，重
7、新建各基測中心所公佈的 尺分。一開始，筆者花許多的時間重新檢視所有與基測尺以及計算公式 的相關公開文件，也研其建構的所有考文，無法找出問題的所在。直 到交叉比對抽樣資的統計特性與申請的整體資的統計特性後，赫然發現的是， 並非筆者對於心測中心的計分方式的解有誤，而是在其內部計算尺分的過程 中，存在著一些尋常的地方：一是各個考科在計分過程中的最高分並非設定在 60 分，且各個科目在各個相同；二是第二次測驗尺並無等化(equating)步 驟，只是單純進分結(linking)。而這些尋常的地方，沒有看到心測中心 有任何的公開明。筆者並願意就此認定這其中存在著弊端 ，但其事實上是影 響到所有考生的權，
8、筆者也會在本文中對此影響的部份做一個明。 與本文相關的基測特色導引與本文相關的基測特色導引。基測一施測次，考生可報考次或一次；考生 次測驗分可擇優使用，作為登記分發入學高中、高職、五專之依據。在此一提， 基測自實施以，其宣稱門檻功用已呈死體化 ，無法運作；基測一如往昔招 巨獸 ，其成績仍是用區分考生相對能的表現，仍是扮演分發排序考生的功用。 基測為包含五個科目的一套測驗(test battery)，科目內容包含國文、英文、學、 自然、社會等學科。各科目測驗題等，少則 31 題 (學)多則 66 題(社會)。心 測中心以 1-60 分的尺分取代尺分取代學科試卷的原始分作為考生測驗成績，因此分發
9、入學依據是依照五學科尺分總分尺分總分(5-300)作作排序的。心測中心為配合基測一次 的施測作業，對五學科建學科題庫，以編組該所需的二本試卷題本(two forms of the same subject test)。心測中心只對第一次基測建原始分-尺分尺分對照表。 第二次基測的原始分透過測驗等化技術對應至第一次基測的尺分尺分對照表。(詳 閱考文獻 1-7) 本文探究方向本文探究方向。心測中心宣導其 1-60 分的尺分尺分是反映均等測標準誤尺 分型態，均等測標準誤尺 分型態，是仿照 The ACT Assessment 建尺的方法，具有分準具有分準特性。心測中 心宣導其題庫是存放着優試題及正確
10、試題資訊(試題難)，因此所需的 前後二次學科試卷題本的平均難是相近的 。 心測中心宣導其 IRT-等化程序使次基 測結果仍然是客觀、公平、可以互相比較。本研究針對此三方面的宣導文探究下主 題: 1)考生的基測成績通知單的尺分的計算是正確的嗎? 2)各考科的 1-60 分的尺分代表對尺分代表對分發總分影響影響是一樣的嗎? 3)心測中心的等化程序是真正的 IRT-等化程序嗎? 4)擇優政策是否於只報考第一次基測的考生? 5)心測中心真的有建構題庫嗎? 5筆者重述探究主題的資源有二：A) 心測中心所公佈的 90-93 試題研究 報告及整體統計資，亦即全國考生第一次、第二次基測的統計資，包括計算尺 分
11、所需的值，考生的尺分(公告的與內部作業的)；以及 B) 90-93 抽 樣資，各約三萬多筆。 三、 基測尺分計算方式的灰色地帶及其效應 三、 基測尺分計算方式的灰色地帶及其效應 3.13.1 基測尺分建示意圖 基測尺分建示意圖 基測各子學科試卷題等，少則 31 題 (學)多則 66 題(社會)；各子學科試 卷題本的題型皆為四選一的選擇題，試題給分方式為:答對 1 分，答錯 0 分。因此考 生的試卷答對題即為考生的原始分。以五學科原始分加總作為分發入學依 據，則題最少的學學科相對地對分發總分影響最小，這對學成績好的考生是 公平的。 心測中心在第一次基測考完後，採用化(scaling)方法將子學科
12、的原始分轉換 為 1-60 的尺分，如圖一所示。1X、2X、3X、4X、5X分別代表基測子學科 的原始分(92 基測為)： 原始分 54321XXXXX社會自然學英文國文總分 0-48 0-45 0-31 0- 58 0-63 (0-224分) *s *s *s *s *s(轉換函) 尺分 1-60 1-60 1-60 1-60 1-60 (5-300分) 圖一、基測學科尺建置示意圖 由示意圖所示，子學科的原始分透過*s函皆轉換為1-60分的尺分。由示 意圖所示，者會認為子學科對尺分總分(5-300)的影響是一致的，是一樣的， 因為五學科對尺總分相對的比重是一樣的。其實然，其實然，因為考生的基
13、測成績通知單 的尺分是規規矩矩地按照心測中心所宣稱的公式計算的，嚴重的是*s函 會使子學科尺分的標準差是一樣的。 63.2 心測中心的均等條件測標準誤尺分 3.2 心測中心的均等條件測標準誤尺分 心測中心引經據典宣稱1-60分的尺分是均等測標準誤的尺分型態，是 採用Kolen (1992)的計算程序，將考生的基測原始分轉換為尺分。我們先解 均等條件測標準誤尺分的統計內涵及The ACT (1989)作法。 The ACT的均等測標準誤的尺分型態的均等測標準誤的尺分型態 。 均等條件測標準誤尺分轉換 統計內涵有三，一為以的強真分(Lord, 1965；1968)的compound binomia
14、lbeta 模式(1)描述考生原始分(X)分配 =badgxXxX)()Pr()Pr(, (1) )Pr(xX =: compound binomial distribution )(g: four-parameter beta distribution ：proportional true score，10 其二，透過正弦反函(2)將原始分轉換為 arcsin分(c(x)： 2/112/11)1/() 1(SIN)1/(SIN5 .)()(+=nxnxnxcxc (n:題) (2) 其三，是是非線性方法建原始分至尺分之轉換: sxsxcx非線性線性非線性:)(， 而)(xc至尺分的線性轉換公式如下： )()()()(* * s csXcxcExcss+=， ,* ss:指定值 (3) (給定值) 鑑於基測中心對公式鑑於基測中心對公式(3)作作違反測概測概的調整調整，筆者特在此就公式(3)作 進一步的明。 公式(3)雖是標準化形式，卻是平均值與測標準誤測標準誤之相對轉換: ,* ss相對)(),(cEXc，其中
