數(shù)字參考服務質(zhì)量評估體系建立初探

數(shù)字參考服務質(zhì)量評估體系建立初探郭晶（上海交通大學圖書館上海200030）摘要隨著圖書館網(wǎng)上實時參考服務的迅速崛起，為了保障其順利可持續(xù)發(fā)展，有關(guān)數(shù)字參考服務質(zhì)量評估標準的研究日益受到關(guān)注。文章根據(jù)國內(nèi)外圖書館利用實時軟件技術(shù)進行咨詢服務涉及到的有關(guān)質(zhì)量評價環(huán)節(jié)，從與之緊密相關(guān)的服務系統(tǒng)、服務過程、回答質(zhì)量、用戶滿意程度、服務統(tǒng)計、成本測度和服務開放程度等七個方面考慮，提出了三級服務質(zhì)量評估指標體系，并列出了具體指標項目。同時，根據(jù)層次分析法等評估方法，對數(shù)字參考服務質(zhì)量評估的實際操作進行了探討。關(guān)鍵詞數(shù)字參考服務質(zhì)量評估三級評估指標體系層次分析法（AHP）OnthedevelopmentofthedigitalreferenceservicequalityevaluationsystemGuojing(ShanghaiJiaoTongUniversitylibrariesShanghai200030)AbstractWiththerapidriseofthelibraries’real-timereferenceservicesontheweb,thestudyonthequalityevaluationstandardsfordigitalreferenceserviceshasbeengivenmoreandmoreattentionforitsfuturestabledevelopment.Basedonthequalityevaluationprocesscurrentlyinvolvedinthereferenceservicesbyreal-timesoftwaretechnologyinthelibrariesathomeandabroadandtakingintoconsiderationsevenrelatedaspectsofservicesystems,serviceprocess,answersquality,usersatisfactorydegree,servicestatistics,costmeasurementandserviceopeningdegree,thispaperbringsforwardathree-levelindicatorsystemforservicequalityevaluationandsetsoutadetailedindex.Atthesametime,thispaperdiscussestherealoperationonthedigitalreferenceservicequalityevaluationbasedontheanalyticalhierarchyprocess.Keywordsdigitalreferenceservices；qualityevaluation；Three-levelmeasurementindicatorsystem；AnalyticalHierarchyProcess（AHP）前言Email 隨著數(shù)字圖書館的發(fā)展和應用，以計算機網(wǎng)絡(luò)通訊和實時技術(shù)為依托的網(wǎng)上咨詢服務越來越多地出現(xiàn)在圖書館的門戶網(wǎng)站上。這種數(shù)字參考服務（digitalreferenceservice，或稱虛擬參考服務virtualreferenceservice、實時服務real-timeservice等），與傳統(tǒng)參考服務的最大區(qū)別就是能依靠先進的網(wǎng)絡(luò)工具和服務系統(tǒng)，在網(wǎng)上再現(xiàn)傳統(tǒng)咨詢服務的場景，與遠程用戶進行更為便捷的實時交流。從廣義講，這種基于web的數(shù)字參考咨詢服務主要有五種形式（參見圖1）：email信箱、BBS留言板或留言簿，在線填寫的web表單，F(xiàn)AQ（frequentlyaskedquestions，常見問題解答）以及實時解答。咨詢內(nèi)容主要是利用圖書館或網(wǎng)上資源時遇到的問題，有的也包括讀者薦書、意見和資源導航等。有的圖書館還提出了服務承諾，請讀者監(jiān)督。EmailWeb表單BBS圖書館主頁Web表單BBS圖書館主頁實時解答FAQ用戶用戶戶實時解答FAQ用戶用戶戶咨詢員圖1圖書館數(shù)字參考咨詢服務形式網(wǎng)上咨詢服務在整合了上述多種形式后，以其方便、快捷、全面的特征逐漸成為圖書館咨詢服務的主導形式，其中，實時的數(shù)字參考服務又是最具代表形式和發(fā)展最受關(guān)注的網(wǎng)上服務項目。同時，數(shù)字參考服務的順利進行依賴于有效的質(zhì)量評估機制，但目前對其服務質(zhì)量評估的策略遠遠不能滿足發(fā)展要求，因而，建立一套行之有效的數(shù)字參考質(zhì)量評估體系顯得尤為重要。本文以國內(nèi)外相關(guān)領(lǐng)域的研究和圖書館的實踐為基礎(chǔ)，探討了針對數(shù)字參考服務的質(zhì)量評估體系建立及具體實現(xiàn)方法。1研究現(xiàn)狀圖書館服務的質(zhì)量評估標準研究最早可追溯到20世紀80年代，但有關(guān)數(shù)字參考服務的評價則集中在90年代后期，國外圖書情報領(lǐng)域做了大量工作。著名的VRD項目組的syracuse大學信息研究所在原來為美國國家教育部設(shè)計的AskERIC服務的基礎(chǔ)上，于1998年提出了“questioninterchangeprofile（QuIP）”，該標準是一個合作化數(shù)字參考系統(tǒng)共享與交換提問和回答信息的元數(shù)據(jù)描述標準，提供了一種跨平臺、跨媒介地交換信息的通用表達方法。1999年，美國國會圖書館啟動的knowledgeBit項目，經(jīng)過大量各類型圖書館與項目的討論、測試，形成關(guān)于數(shù)字參考處理管理的通用標準數(shù)據(jù)格式。2001年，ERIC和AnswerBaseCorporation將該項目的研究成果作為“數(shù)字參考管理標準（digitalreferencemanagementstandard）提交給美國國家信息標準組織（NISO）。1潘衛(wèi).數(shù)字參考服務:發(fā)展與思考.大學圖書館學報,2002(4):63～691VRD項目組也于2000年10月提出了“數(shù)字參考服務的質(zhì)量因素（第4版）1潘衛(wèi).數(shù)字參考服務:發(fā)展與思考.大學圖書館學報,2002(4):63～69國內(nèi)相關(guān)研究不是很多，已有的成果主要在近一兩年，如金更達先生的《圖書館服務質(zhì)量評價實現(xiàn)探討》2金更達.圖書館服務質(zhì)量評價實現(xiàn)探討.大學圖書館學報,2002(3):49～54[3]http://www.iso.ch/iso/en/ISOOnline.openerpage，2003-03-162，提出了基于用戶“期望——感知”的評價模型。目前，相關(guān)的國際標準和存在的評估模式只針對整個圖書館及信息服務等宏觀角度，而缺少專門為數(shù)字參考服務制訂的實際可行的標準。如美國國家標準局制訂的ANSI/NISOZ39.7/1995，詳見<<LibraryStatistics>>中“Serviceandactivitymeasures”一節(jié)；另外，國際標準化組織ISO(InternationalOrganizationforStandardization)也于1998年制訂了相關(guān)標準，如ISO11620:1998（Informationanddocumentation——Libraryperformanceindicators：信息與文獻——圖書館績效指標）,其中關(guān)于參考咨詢服務的評估指標主要在館際互借和用戶滿意度兩方面。[4]郭晶林皓明.關(guān)于圖書館利用chat軟件進行實時咨詢服務的探討.大學圖書館學報,20022金更達.圖書館服務質(zhì)量評價實現(xiàn)探討.大學圖書館學報,2002(3):49～54[3]http://www.iso.ch/iso/en/ISOOnline.openerpage，2003-03-16[4]郭晶林皓明.關(guān)于圖書館利用chat軟件進行實時咨詢服務的探討.大學圖書館學報,2002(6):49～53[5]/conferences/VRD2001/，2002-11-03[6]7:8080/virtual/skin/myd.htm，2003-05-092數(shù)字參考服務質(zhì)量評估三級指標體系 根據(jù)目前圖書館基于web形式的數(shù)字參考服務現(xiàn)狀，尤其是利用實時軟件技術(shù)進行咨詢服務涉及到的有關(guān)質(zhì)量評估環(huán)節(jié)，[7]陳偉.正確認識層次分析法(AHP).人類工效學,2000(2):32～35[7]陳偉.正確認識層次分析法(AHP).人類工效學,2000(2):32～352.1七種數(shù)字參考服務測度標準及指標=1\*GB2⑴服務系統(tǒng)測度對用于數(shù)字參考服務的各系統(tǒng)平臺的軟硬件標準進行測度，以考慮是否適應用戶需求和實時服務發(fā)展的趨勢，包含的指標主要有系統(tǒng)性能和執(zhí)行標準兩方面。=2\*GB2⑵服務過程測度 針對整個咨詢問答過程所涉及到的各個環(huán)節(jié)，從服務初始到服務結(jié)束的評價以及相關(guān)的用戶認證及服務政策等內(nèi)容，包含的指標有服務程序、服務人員、服務政策、服務對象。=3\*GB2⑶回答質(zhì)量測度 該指標主要針對咨詢問題的回答程度和效果，進行回答質(zhì)量測度，包含的指標有回答質(zhì)量、答案價值、回答語言。=4\*GB2⑷用戶滿意程度 對接受服務的用戶進行滿意度問卷調(diào)查，是普遍使用、易于執(zhí)行的一項評估指標。目前常見的問卷調(diào)查形式主要針對這一過程的測度標準設(shè)計，主要考慮的指標有：咨詢員操作情況及效果、用戶使用情況及效果。=5\*GB2⑸服務統(tǒng)計測度根據(jù)用于數(shù)字參考服務的相關(guān)系統(tǒng)進行服務的跟蹤統(tǒng)計報表等信息，能比較直觀地反映出服務的效果。包含的統(tǒng)計指標有：實時咨詢系統(tǒng)統(tǒng)計、其它服務系統(tǒng)如常見問題庫和學習中心使用情況統(tǒng)計。=6\*GB2⑹成本測度 根據(jù)經(jīng)濟學指標，確定數(shù)字咨詢服務所涉及到的各項支出收益情況。由于傳統(tǒng)咨詢服務對成本測度考慮不多，所以這項指標還有待于進一步完善。目前可考慮的指標主要有：單項參考服務成本、整個數(shù)字參考服務成本及與圖書館其他服務成本的關(guān)系。=7\*GB2⑺服務開放程度 服務開放程度簡單說主要是指服務的影響范圍和合作情況。對于一項數(shù)字參考服務來講，其服務時間越長，服務人群越廣，服務影響面越大，評價結(jié)果就越好。2.2三級服務質(zhì)量評估指標體系及具體指標項目 表1列出了評價數(shù)字參考服務常用的具體指標，指標的確定綜合了國內(nèi)外有關(guān)研究及實踐，并根據(jù)目前上海交通大學圖書館使用情況，具有一定的普遍性和可操作性，并且可以隨著應用的深入進行補充。為了便于評估，確定的指標本著實用并易于比較評價的原則，在具體操作時，可以根據(jù)實際情況和需要，選擇其中的一項或幾項指標進行橫向或縱向比較。表1三級服務質(zhì)量評估指標體系及具體指標項目一級指標二級指標三級指標（具體評估項目）備注A服務系統(tǒng)測度A1系統(tǒng)性能A11穩(wěn)定性A12兼容性A13易用性A14可擴展性A2執(zhí)行標準A21各項系統(tǒng)指標是否為國家標準A22各項系統(tǒng)指標是否為國際標準A23問答記錄（知識庫記錄）形式是否符合元數(shù)據(jù)等標準A24有無合作組織問題交換標準B服務過程測度B1服務形式B11Email電子郵件咨詢B32專業(yè)技能；鍵盤技能；處理多重咨詢?nèi)蝿盏哪芰Γ豢焖俨闄z技能；處理不同用戶的能力；網(wǎng)上信息搜索能力；知識積累和更新能力B12BBS留言版B13Web咨詢表單B14FAQ問題庫B15實時解答B(yǎng)2服務程序B21服務易獲取性B22響應時間B23服務程序的清晰通明度B24用戶認證制度B3服務人員B31解決問題的范圍B32工作人員培訓及考核B4服務政策B41服務定期的總結(jié)與評價B42制訂合理的服務政策B5服務對象B51用戶信息私密性B52用戶認知程度C回答質(zhì)量測度C1回答質(zhì)量C11答案正確性C32是否建立了統(tǒng)一的常用短語庫（反應庫）C12交互性C2答案價值C21引導啟發(fā)性C22教育性C23影響力C3回答語言C31規(guī)范性C32統(tǒng)一性C33語種多樣性D用戶滿意程度D1咨詢員操作情況及效果D11回答準確性D12回答反應速度，用時長度D13服務態(tài)度D2用戶使用情況及效果D21技術(shù)易用性D22用戶信心度D23用戶接受程度D24服務效果E服務統(tǒng)計測度E1實時咨詢系統(tǒng)E11登陸用戶信息統(tǒng)計E11按天、月、IP地址進行統(tǒng)計分析E12用戶滿意度調(diào)查報表E2其它服務統(tǒng)計E21知識庫使用統(tǒng)計E22學習中心課件統(tǒng)計F成本測度F1單項參考服務成本F11執(zhí)行一項咨詢服務的支出收益情況F2整個數(shù)字參考服務成本F21維持數(shù)字參考服務所需的設(shè)施開銷F22該支出對圖書館其他支出的影響G服務開放程度G1服務范圍G11服務時間長度G12服務地域范圍G2合作情況G21是否為地區(qū)合作組織成員G22是否為全球合作組織成員。3評估操作方法探討 目前針對數(shù)字參考服務質(zhì)量評估工作主要采取的是問卷調(diào)查法及統(tǒng)計報表分析法，這類方法簡便易行，但定性的成分所占比例較大，影響了評估結(jié)果的科學性。如果能和基于數(shù)學方法計算的定量方法結(jié)合起來，有利于評估結(jié)果的客觀和準確。本文列舉兩種評估方法，在實踐中可根據(jù)實際情況結(jié)合起來使用。3.1網(wǎng)上問卷調(diào)查及統(tǒng)計報表分析法 該方法以定性評估為基礎(chǔ)，根據(jù)專家論證和相應的質(zhì)量標準，確定調(diào)查內(nèi)容，并發(fā)布在網(wǎng)上供用戶填寫。經(jīng)過一段時間的數(shù)據(jù)積累，生成統(tǒng)計報表，再對報表進行分析。表2和表3分別是上海交大圖書館在實時解答后發(fā)送的用戶滿意度調(diào)查問卷（具體選項未列出）和統(tǒng)計報表，[8]陳洪云李貴春.層次分析法(AHP)在教學實驗室評估標準中的應用.天津師大學報,2000(3):28～31[8]陳洪云李貴春.層次分析法(AHP)在教學實驗室評估標準中的應用.天津師大學報,2000(3):28～31表2制訂用戶滿意度調(diào)查問卷內(nèi)容示例問卷調(diào)查內(nèi)容對應三級指標體系的具體項目您覺得這項服務使用起來如何？D21技術(shù)易用性您對我們的回答滿意嗎？D11回答準確性；D13服務態(tài)度您認為我們對提問的反應速度如何？D12回答反應速度，用時長度您喜歡用這種實時的聊天形式咨詢問題嗎？D23用戶接受程度您認為這項服務對您利用圖書館有幫助嗎？D24服務效果您還會再次使用這項服務嗎？D22用戶信心度表3用戶滿意度調(diào)查問卷統(tǒng)計報表9王眾托.系統(tǒng)工程引論.北京:電子工業(yè)出版社,1984作者簡介：郭晶，女，助理館員，上海交通大學圖書館咨詢部工作。聯(lián)系方式:jguo@調(diào)查表非常滿意比較滿意感覺一般很不滿意有效問卷量使用方便與否89%8%3%0%124人回答滿意與否75%17%4%4%123人提問反應速度74%11%7%8%125人此方式喜歡與否92%8%0%0%113人有無幫助90%10%0%0%110人以后是否會用93%0%7%0%127人 根據(jù)表3所列出的統(tǒng)計報表數(shù)字，可以清楚地了解用戶對服務內(nèi)容的反饋信息，從統(tǒng)計比率可以看出，用戶對整體服務效果還是認可的。同時，通過統(tǒng)計分析，為評價并改善現(xiàn)有服務提供了依據(jù)。3.2層次分析法（AnalyticalHierarchyProcess，簡稱AHP） 根據(jù)三級質(zhì)量評估指標體系和AHP的建模要求，把一級指標作為目標層，二級指標作為準則層1，三級指標作為準則層2，可以建立相應的評估模型，該方法適于評價參考服務的整體質(zhì)量或其中幾項指標的質(zhì)量標準，也適于不同單位數(shù)字參考服務質(zhì)量情況的比較。下面以服務系統(tǒng)的評估為例，建立模型并給出相應的求解過程（參見圖2）：AHP模型的求解由以下三個步驟組成：本文發(fā)表在《上海交通大學學報》本文發(fā)表在《上海交通大學學報》2003年增刊=1\*GB2⑴計算單一目標下同層各元素的單權(quán)重：計算自上而下逐層進行，如設(shè)上層為B，其下層為C，本文以C層為例說明單權(quán)重的計算方法。設(shè)B層目標的總權(quán)重為b1、b2…bm，其下層目標為C1、C2…Cn，相對于上層bk（k=1、2……m）的單權(quán)重表示為C1(k)，C2(k)…Cn（k）（k=1、2……m）。設(shè)C層目標中的前S個與B層中目標的Bk有關(guān)系，在Ci～Cj個目標中，由有關(guān)專家評價出Ci目標相對于Cj目標的相對重要性，記為Cij，評價結(jié)果用1～9自然數(shù)來表示，評估標準如下：若認為Ci比Cj同等重要，則取Cij=1，Cji=1； 若認為Ci比Cj稍重要，則取Cij=3，Cji=1/3；可擴展性C4系統(tǒng)性能B1服務系統(tǒng)的評估可擴展性C4系統(tǒng)性能B1服務系統(tǒng)的評估A目標層問題交換標準C8是否為國家標準C5是否為國際標準C6知識庫記錄形式是否符合元數(shù)據(jù)等標準C7執(zhí)行標準B2準則層2易用性C3兼容性C2穩(wěn)定性C1準則層1圖2運用AHP建立服務系統(tǒng)的評估模型問題交換標準C8是否為國家標準C5是否為國際標準C6知識庫記錄形式是否符合元數(shù)據(jù)等標準C7執(zhí)行標準B2準則層2易用性C3兼容性C2穩(wěn)定性C1準則層1若認為Ci比Cj明顯重要，則取Cij=5，Cji=1/5； 若認為Ci比Cj重要得多，則取Cij=7，Cji=1/7； 若認為Ci比Cj絕對重要，則取Cij=9，Cji=1/9； 若屬于上述判斷之間，則可取2，4，6，8和1/2，1/4，1/6，1/8，確定了Cij后，就能構(gòu)造一個兩兩比較判斷矩陣：參考文獻9參考文獻 Bk—C：BkC1C2…CsC11C12…C1sC2