大學(xué)生寫作的環(huán)流性測量指標有效性研究

大學(xué)生寫作的環(huán)流性測量指標有效性研究

1.低語言特征對二語寫作回流性的影響慈濟定義分為狹義和廣泛。狹義的流利性維度單一,是一個與時間相關(guān)的構(gòu)念,如詞匯提取速度(Snellingsetal.2004)、寫作速度(Chenoweth&Hayes2001)、限時作文中單詞和語言結(jié)構(gòu)的數(shù)量(Wolfe-Quinteroetal.1998)以及無意識自動程序技能(Ellis1996)等等。廣義的流利性涉及維度較多,既涉及時間性,也涉及語言運用能力,甚至還包括內(nèi)容充分性等多個方面。流利性是二語發(fā)展中的重要語言特征,反映了寫作者在發(fā)展和組織思想以及綜合運用語言知識等方面的能力。自上世紀70年代開展二語習(xí)得發(fā)展指標研究以來,二語寫作流利性逐漸引起人們的關(guān)注。概括起來,二語寫作流利性研究大致分為兩大類:一是通過測量流利性檢驗教學(xué)干預(yù)效果,如Robbetal.(1986)使用流利性指標檢驗錯誤反饋的有效性,徐浩、高彩鳳(2007)和Ong&Zhang(2010)用它來探討不同類型學(xué)習(xí)任務(wù)對語言運用的影響;二是測量二語寫作流利性的發(fā)展變化,如Henry(1996)研究了不同語言水平寫作者寫作樣本中的流利性特征。盡管二語流利性文獻逐年增多,但是針對寫作流利性研究并未受到足夠重視,而且現(xiàn)有的研究未能很好地解決流利性測量指標的有效性問題,如這些指標能在多大程度上預(yù)測寫作質(zhì)量,它們對語言水平是否具有區(qū)分力。為此,本研究擬對二語寫作流利性測量指標的有效性進行初步探討。2.成品指標和過程指標基于對流利性的不同理解,流利性測量指標可分為成品指標和過程指標兩大類(Latif2009)。前者是根據(jù)文本語言特征提取的參數(shù),后者則是采用有聲思維或觀察法從寫作過程中提取的指標。2.1頻數(shù)指標的有效性成品指標主要由頻數(shù)測量、比率測量和總體量表測量組成。頻數(shù)測量。這方面的測量涉及詞匯和句子層面,以及考慮了準確性后的頻數(shù)計算等三個方面,如單詞數(shù)(Storch2009;陳慧媛、吳旭東1998),動詞數(shù)(Harley&King1989);句子總數(shù)(Rosenthal2007),T單位(Storch2009)和子句或從句總數(shù)(Ishikawa1995);以及無錯誤T單位或子句單詞總數(shù)(Hirano1991;Ishikawa1995)。上述頻數(shù)指標的特點是具體、易操作,考慮了流利性的句子層面和詞匯層面,其中有些指標還同時考慮了量和質(zhì)方面的特性。在頻數(shù)指標的有效性研究方面過去的研究得出了不一致的結(jié)果。Storch(2009)發(fā)現(xiàn),單詞數(shù)和T單位總數(shù)隨著語言水平和寫作水平的提高呈增長勢頭,且不同階段之間的差異均達到顯著性水平。Rosenthal(2007)發(fā)現(xiàn),隨著語言水平的提高,單詞數(shù)、句子數(shù)量均呈線性增長趨勢,但僅單詞數(shù)達到了顯著水平。頻數(shù)指標不僅取決于語言水平,而且受寫前準備、體裁、話題、時長、寫作者態(tài)度等多方面因素的影響。因此,需要結(jié)合這些因素對頻數(shù)指標的有效性做更深入的探討。比率測量。比率測量是對頻數(shù)進行標準化處理后的測量,不受文本長度影響,相比頻數(shù)測量應(yīng)能更好地體現(xiàn)語言的發(fā)展特征或區(qū)分不同的語言水平。已有的比率指標包括寫作速度或每分鐘單詞量(Ong&Zhang2010);句子、T單位或子句的平均長度(Homburg1984;Yau1991;Ishikawa1995;Larsen-Freeman2006;Storch2009;徐浩、高彩鳳2007);T單位和子句中復(fù)合名詞性短語長度(Yau1991);無錯誤T單位和子句平均長度(Larsen-Freeman1983;Kawata1992;Ishikawa1995)等。研究表明,每分鐘單詞量、句子和子句長度在區(qū)分發(fā)展水平上相對穩(wěn)定,而T單位長度以及無錯誤T單位和無錯誤子句長度的區(qū)分力較為明顯但并不可靠,可能受到一些未知因素的影響?？傮w量表測量。除頻數(shù)和比率測量外,有人認為應(yīng)使用總體量表才能更好地測量流利性。如Taroneetal.(1993)認為,流利性并不完全意味著寫作者能寫多快,而是多大程度接近本族語者;流利性指標應(yīng)包含語言地道性、語言標準程度、長度、易讀和習(xí)慣性等5個方面。Ballatoretal.(1999)認為,總體測量的假設(shè)是篇章整體大于部分之和,在進行總體測量時無需對流利性的不同方面進行獨立評判,只需考慮整體效果以評價流利程度;且不同體裁應(yīng)有不同標準。2.2語段/量表研究者使用的過程指標主要有語段長度、語塊和處理負荷等指標。語段(burst)是指句中各停頓之間的文字部分,測量的是一種句內(nèi)流利程度。句子一般由一個或多個語段構(gòu)成,句子的寫作被認為是經(jīng)過多次語段構(gòu)思/評判及停頓完成的。研究者大多通過有聲思維法(如Friedlander1989)和攝像觀察法(如Bosher1998)確認語段。另一個過程指標是語塊(chunk),指寫作中每次不間斷寫出的詞語數(shù)量。語塊意味著詞匯流(wordflow),詞匯流越順暢表明流利性越好(如Kelly1986;Latif2009)。此外,近年來,有學(xué)者(如Matsunoetal.2007)使用鍵盤活動記錄程序(如INPUTLOG)以測量寫作處理負荷值(valueofprocessingloads),低負荷值表明寫作容易度高或流利性強。研究表明,過程指標能較好地反映寫作流利性特征。2.3過程指標和量表測量本研究擬采用成品指標的頻數(shù)測量和比率測量(見表1),但不包括動詞數(shù)、名詞性短語長度和總體量表,因為動詞數(shù)和名詞性短語長度僅僅考察單個詞性而沒考慮其他詞性。本研究關(guān)注的是流利性文本特征,因而不包括過程指標。過程指標能較好地揭示二語寫作過程,但指標單一且不易應(yīng)用于大樣本研究,不適用于總體了解流利性文本特征。本研究也不使用總體量表測量,因為它雖然涵蓋了流利性,但所涉及的維度較多,遠遠超出流利性范疇。另外總體量表雖然使用起來方便,但主觀性強,實施起來很難保證評判者內(nèi)信度和評判者間信度。3.學(xué)習(xí)方法3.1是否有理想的大力值,指的標準關(guān)系,即指水平間的關(guān)系基于上述討論,本文擬使用文本分析方法通過探討流利性指標與寫作質(zhì)量和語言水平間的關(guān)系,以檢驗流利性指標的有效性。具體研究問題如下:1)英語寫作流利性指標與寫作質(zhì)量之間是什么關(guān)系?2)英語寫作流利性指標對寫作質(zhì)量的預(yù)測力有多大?3)英語寫作流利性指標對語言水平的區(qū)分力有多大?3.2材料和網(wǎng)絡(luò)等本研究采用了多體裁、熟悉話題、多任務(wù)限時作文語料,同時事先告知受試,語料作文的評分將作為受試的平時成績處理,以獲得他們的重視和合作。全部語料由我國某重點大學(xué)英專四個年級寫作課堂472篇作文中隨機抽出的240篇組成。為保證各年級之間的可比性,每個年級隨機抽取60篇,題為“EducationasaLifelongProcess”的論說文和題為“TheImpactofInterneton...”的說明文各30篇。兩篇作文的收集前后相距一周,并由四個年級的寫作任課教師承擔(dān)。每次作文任務(wù)要求受試在50分鐘內(nèi)寫出不少于300字的作文,無上限要求。3.3確定成績的確定全部作文經(jīng)編碼并打亂順序后由三名批閱人按照專八英語作文評分標準進行平行評分。結(jié)果出來后進行了信度分析,信度系數(shù)介于0.864-0.871之間。最后,取平均成績作為最終成績。全部流利性指標的確認由人工和電腦程序分析完成。對于無法使用程序分析的T單位、子句、無錯誤T單位和無錯誤子句等指標,由一名研究者和一名寫作教師分頭確認。然后對確認結(jié)果進行相關(guān)分析(系數(shù)達到.92),最后找到分歧點進行協(xié)商,直至意見完全一致。全部數(shù)據(jù)的分析首先使用描述統(tǒng)計以了解流利性指標的總體趨勢,然后使用相關(guān)分析和回歸分析探討流利性指標與寫作質(zhì)量的關(guān)系,最后使用方差分析方法以檢驗流利性指標對不同語言水平的區(qū)分力。4.研究結(jié)果4.1對寫作質(zhì)量的影響表2結(jié)果顯示,頻數(shù)指標中作文長度(W)、無錯誤T單位單詞總數(shù)(WEFT)和無錯誤子句單詞總數(shù)(WEFC)與寫作成績之間的相關(guān)系數(shù)達到了顯著性水平;全部比率指標與寫作成績之間也呈顯著正相關(guān)。這表明作文長度、考慮了準確性的頻數(shù)指標(WEFT和WEFC),以及頻數(shù)指標標準化之后的測量均與寫作質(zhì)量關(guān)系密切。換言之,受試在作文長度、無錯誤T單位單詞總數(shù)和無錯誤子句單詞總數(shù)等頻數(shù)指標,以及比率指標的全部變量上得分越高,寫作成績也越高。另外,句子總數(shù)(S)、T單位總數(shù)(T)和子句總數(shù)(C)與寫作成績均未發(fā)現(xiàn)顯著相關(guān)關(guān)系。從相關(guān)系數(shù)來看,各變量對寫作成績的影響程度由大到小依次為:無錯誤子句單詞總數(shù)(WEFC)、作文長度(W)和寫作速度(W/M)、無錯誤T單位單詞總數(shù)(WEFT)、子句長度(W/C)、T單位長度(W/T)、句子長度(W/S)、無錯誤子句長度(W/EFC)和無錯誤T單位(W/EFT)。4.2多因子句長度對寫作成績的影響從上述相關(guān)分析結(jié)果可知,作文長度和考慮了準確性的頻數(shù)指標以及全部比率指標對寫作成績產(chǎn)生不同程度的影響。為了進一步探討流利性指標對寫作質(zhì)量的預(yù)測力,我們以頻數(shù)和比率各變量作為自變量,寫作成績?yōu)橐蜃兞?采用多元逐步回歸分析法進行檢驗?。結(jié)果如表3和表4:由表3和表4可知,頻數(shù)測量的無錯誤子句單詞總數(shù)(WEFC)和作文長度(W)兩個變量,以及比率測量的子句長度(W/C)共三個變量進入了回歸模型。由標準化回歸系數(shù)可知這些自變量對寫作成績因變量的影響程度,它們的標準化回歸系數(shù)分別為.339、.421和.222,說明當(dāng)作文長度和子句長度得到控制時,無錯誤子句單詞總數(shù)每增加1個單位,寫作成績也相應(yīng)增加.339個單位;當(dāng)控制無錯誤子句單詞總數(shù)和子句長度時,作文長度每增加1個單位,寫作成績也相應(yīng)增加.421個單位;當(dāng)無錯誤子句單詞總數(shù)和作文長度得到控制時,子句長度每增長1個單位,寫作成績也相應(yīng)增加.222個單位。R2和校正后R2分別為.499和.486,說明無錯誤子句單詞總數(shù)、作文長度和子句長度一共能解釋寫作成績48%以上的方差。頻數(shù)和比率中的其他變量未進入回歸方程,說明它們不能預(yù)測寫作成績。4.3各年級變量在頻率和比率測量上的方差分析為弄清楚流利性指標對語言水平的區(qū)分力,本研究以年級水平定義語言水平,分析不同流利性指標在年級水平上是否存在差異。表5和表6分別是不同年級水平在頻數(shù)測量和比率測量上的描述統(tǒng)計結(jié)果。表5結(jié)果表明,寫作成績由低年級向高年級呈遞增趨勢。頻數(shù)測量在年級水平上呈現(xiàn)一定的變化規(guī)律,即句子數(shù)量(S)、T單位數(shù)量(T)和子句數(shù)量(C)呈遞減趨勢;無錯誤T單位數(shù)量(WEFT)和無錯誤子句數(shù)量(WEFC)總體上呈遞增趨勢,但屬非線性增長,即三年級在這兩個指標上均低于二年級;在作文長度(W)方面,低年級卻普遍高于高年級。表6結(jié)果顯示,在寫作速度方面(W/M)各年級變化不大;句子長度(W/S)和子句長度(W/C)從低年級到高年級呈線性增長趨勢,T單位長度(W/T)也基本上呈增長趨勢,盡管三年級略低于二年級;在無錯誤T單位(W/EFT)和無錯誤子句(W/EFC)方面,各年級變化較大且規(guī)律不明顯。圖1和圖2直觀地呈現(xiàn)了各年級分別在頻數(shù)測量和比率測量方面的變化情況。上述結(jié)果表明,流利性指標在年級水平上發(fā)生了變化,但并未揭示各年級水平之間的差異是否達到顯著性水平,因此需要進行方差分析。我們在分析之前對各變量進行了方差齊性檢驗,以滿足方差分析的要求。結(jié)果發(fā)現(xiàn),W、S、T、C和W/M等5個變量未達到方差齊性要求,其余7個變量的方差均為齊性。對于前者,我們使用非參數(shù)檢驗方法(Kruskal-Wallistest),對于后者則采用參數(shù)檢驗方法(One-WayANOVA)。表7匯報的是以頻數(shù)測量和比率測量為因變量,年級水平為分組變量進行的方差分析統(tǒng)計結(jié)果。結(jié)果顯示,除作文長度(W)和寫作速度(W/M)兩個變量以外,其余10個變量在年級水平上均存在著顯著性差異,也即這些變量對于語言水平均具有顯著的區(qū)分力。為進一步檢驗這10個變量在不同年級水平上的具體差異,我們還進行了多重比較分析。頻數(shù)測量的多重比較分析發(fā)現(xiàn),除作文長度(W)外,一年級在句子總數(shù)(S)、T單位總數(shù)(T)、子句總數(shù)(C)、無錯誤T單位總數(shù)(WEFT)和無錯誤子句總數(shù)(WEFC)等頻數(shù)測量變量上與其他三個年級存在顯著性差異。在不考慮準確性的句子總數(shù)(S)、T單位總數(shù)(T)和子句總數(shù)(C)三個頻數(shù)指標上,一年級均顯著地多于其他三個年級,而在涉及準確性的無錯誤T單位總數(shù)(WEFT)和無錯誤子句總數(shù)(WEFC)兩個頻數(shù)指標上卻顯著地低于其他年級。此外,二年級至四年級在這兩個變量上均存在顯著差異。這些結(jié)果可概括為,當(dāng)不涉及準確性時,頻數(shù)變量可有效地區(qū)分大一學(xué)生和其他年級學(xué)生;當(dāng)涉及準確性時,頻數(shù)變量可有效地區(qū)分各年級學(xué)生。比率測量的多重比較分析結(jié)果表明,在句子長度(W/S)、T單位長度(W/T)和無錯誤T單位長度(W/EFT)上,一年級均顯著低于其他年級。在子句長度(W/C)和無錯誤子句長度(W/EFC)上變化較大,一年級在子句長度上均顯著低于其他年級,二年級和三年級均顯著低于四年級;一年級在無錯誤子句長度上顯著低于四年級,但高于三年級?;二年級和三年級均顯著低于四年級。這些結(jié)果可概括為,比率變量可有效區(qū)分大一學(xué)生和其他年級學(xué)生;其中基于子句的比率測量能有效區(qū)分不同年級的學(xué)生。5.討論5.1對寫作成績的效應(yīng)本研究的目的之一是通過探討流利性頻數(shù)測量和比率測量與英語寫作成績之間的關(guān)系,確認有效的流利性指標。首先,本研究發(fā)現(xiàn),所有的比率測量變量與寫作成績呈顯著正相關(guān),其中每分鐘單詞數(shù)(W/M)和子句長度(W/C)與寫作成績之間的相關(guān)強度明顯大于其他語言單位長度。這一結(jié)果與過去大多數(shù)研究結(jié)果一致,說明寫作速度和子句長度兩個比率測量的效應(yīng)較為穩(wěn)定。但在T單位長度(W/T)、無錯誤T單位長度(W/EFT)和無錯誤子句長度(W/EFC)方面,本研究發(fā)現(xiàn)它們對寫作成績具有顯著的效應(yīng)。這一結(jié)果與不少研究結(jié)果不同,如Wolfe-Quinteroetal.(1998)發(fā)現(xiàn)這三個長度比率測量沒有顯著效應(yīng)的研究達12項之多。本研究之所以與上述研究結(jié)果不同,原因很可能是他們使用的是同質(zhì)受試,且多為低水平寫作者或國際學(xué)生,而本研究使用的是水平相對較高的英語專業(yè)、包括四個年級語言水平跨度較大的受試。據(jù)此我們推斷,對于低語言水平寫作者,T單位長度、無錯誤T單位長度和無錯誤子句長度等比率測量對于寫作質(zhì)量的效應(yīng)可能不明顯,但對于高水平寫作者則效應(yīng)明顯。其次,本研究還發(fā)現(xiàn)頻數(shù)指標中句法流利性測量(S、C和T)與寫作成績之間無顯著相關(guān)關(guān)系,這一結(jié)果與過去的研究結(jié)果比較一致(如Homburg1984;Ishikawa1995)。據(jù)此,句法流利性指標可能不是有效的流利性測量。本研究的詞匯流利性測量(W、WEFT和WEFC)與寫作成績之間的相關(guān)系數(shù)達到了顯著性水平。可見,詞匯流利性測量比句法流利性流量更能反映寫作成績。本研究對寫作任務(wù)數(shù)量、時間、態(tài)度和場地等因素進行有效控制之后,研究結(jié)果有效地支持了詞匯流利性測量與寫作質(zhì)量之間的關(guān)系?？梢?只要控制好外在影響因素,頻數(shù)指標中的詞匯流利性測量也是有效的流利性指標。第三,多元回歸分析發(fā)現(xiàn),頻數(shù)和比率流利性測量中能有效預(yù)測寫作成績的變量有三個:作文長度(W)、無錯誤子句單詞總數(shù)(WEFC)和子句長度(W/C)。這說明,除作文長度外,相對于T單位,子句是更有效的流利性測量指標。本研究多元回歸分析的結(jié)果確認了對寫作質(zhì)量有較強效應(yīng)的流利性測量指標。5.2其他分類指標本研究的另一個目的是確認對語言水平具有區(qū)分力的流利性指標。方差分析未能發(fā)現(xiàn)作文長度對語言水平的區(qū)分力,這意味著高水平寫作者的作文未必比低水平寫作者的作文長。這一結(jié)果與過去的一些發(fā)現(xiàn)不同(如Larsen-Freeman1983;Rosenthal2007;Storch2009)。一種可能是本研究寫作任務(wù)不是自由寫作或課外作文,而是限時作文,而且任務(wù)指示中有長度暗示,在有限的時間內(nèi),高年級學(xué)生更注意寫作質(zhì)量,而低年級學(xué)生注重作文字數(shù)的多少;另一種可能是所謂的“高限效應(yīng)”(ceilingeffect),即在心理學(xué)看來,高限效應(yīng)與任務(wù)難度有關(guān),如果任務(wù)對于所有受試來說沒有挑戰(zhàn)性,不同水平的受試表現(xiàn)不出差別,即出現(xiàn)高限效應(yīng)。本研究在設(shè)計寫作任務(wù)時,為了避免出現(xiàn)無話可說的現(xiàn)象,特意選擇了兩個熟悉的話題:終身教育的重要性和網(wǎng)絡(luò)對生活的影響。這兩個話題是各類語言考試中經(jīng)常出現(xiàn)的話題,對于受試者來說不具挑戰(zhàn)性。也許正因如此,才出現(xiàn)了高限效應(yīng)。另外,寫作速度在本研究中也不具區(qū)分力,這是因為本研究為限時作文,也未讓受試在作文上標明具體的起始和結(jié)束時間,寫作速度變量就是由限定時間除以作文長度轉(zhuǎn)換而來。相應(yīng)地,作文長度沒有區(qū)分力時寫作速度亦然。除上述兩個變量外,本研究中其他流利性指標均對語言水平具有不同程度的區(qū)分力。研究結(jié)果有如下特點:第一,頻數(shù)變量在區(qū)分大一學(xué)生和其他年級學(xué)生時作用明顯。本研究發(fā)現(xiàn),句子(S)、T單位(T)和子句數(shù)量(C)三個變量從低年級到高年級基本上呈線性增減趨勢且有顯著效應(yīng)。這與這些研究所使用的受試性質(zhì)比較單一有關(guān),如果受試語言水平跨度不夠大,就難以發(fā)現(xiàn)其顯著效應(yīng)。而本研究與過去研究的一個很大不同之處在于,我們使用的是英語水平相對較高且差異跨度較大的英專學(xué)生。據(jù)此,我們推論,句子、T單位和子句數(shù)量用來測量低水平寫作者的流利性可能不恰當(dāng),但對于水平相對較高且跨度大的受試有較好的區(qū)分力。此外,本研究還發(fā)現(xiàn),與準確性相關(guān)的頻數(shù)變量(WEFT和WEFC)區(qū)分力更強,它們既可以區(qū)分相鄰的不同年級,也能區(qū)分不相鄰的年級水平,且基本上呈遞增趨勢。這一結(jié)果與前人的研究比較一致(如Hirano1991;Ishikawa1995)。對于這一結(jié)果,Wolfe-Quinteroetal.(1998)認為,隨著受試者語言能力的提高,他們產(chǎn)出正確長句的能力會得到相應(yīng)的提高,因而正確的T單位或子句單詞數(shù)量也會相應(yīng)地增加。這一解釋也符合本研究受試的現(xiàn)狀。第二個特點是全部比率變量均能有效區(qū)分一年級和其他年級,而且基于子句的比率測量能有效區(qū)分不相鄰的年級水平。首先,在句長(W/S)方面,本研究發(fā)現(xiàn)一年級到四年級的跨度為16.48-20.3個單詞,而且句長與語言水平之間是一種線性關(guān)系。Kawata(1992)對這種線性關(guān)系的解釋是成熟的寫作者能寫出越來越長的T單位,因此句子也就相應(yīng)變長了。盡管如此,我們?nèi)圆荒茉诰溟L與寫作能力之間劃等號。在一定階段(如中高級階段)內(nèi),句長與寫作能力可能的確存在線性關(guān)系,但在初級階段,學(xué)習(xí)者可能不知道如何斷句,寫出了大量的并列句或連續(xù)句,這種情況下的句長并不代表流利性強。因此針對不同寫作水平學(xué)習(xí)者,需要區(qū)別對待句長的效應(yīng)。其次,在T單位和子句長度方面,本研究發(fā)現(xiàn),隨著語言水平的提高它們也在逐漸變長,雖然不完全呈線性方式。過去的研究中,有的發(fā)現(xiàn)了它們在語言水平上的顯著性差異,也有的未發(fā)現(xiàn)顯著性差異(如Wolfe-Quinteroedal.(1998)綜述的研究)。但無論結(jié)果如何,有兩點可以肯定,一是眾多研究發(fā)現(xiàn)的共性是這兩個測量與語言水平之間呈線性關(guān)系。即使有些研究達不到顯著水平,可能是測試或數(shù)據(jù)的效度存在問題、數(shù)據(jù)時間的間隔太短,或者樣本量不夠大等原因造成的。二是雖然T單位和子句都有效地測量流利性發(fā)展趨勢