摘 要 本文對2013—2018年我國新創(chuàng)辦的科技期刊進行評價分析。根據(jù)評價目的、期刊發(fā)展的趨勢和我國科技期刊發(fā)展的背景，并結(jié)合專家咨詢，設(shè)計了辦刊隊伍、期刊影響力、學(xué)術(shù)支撐體系、出版服務(wù)能力四個維度34項指標(biāo)的科技新刊問效評估指標(biāo)體系，討論了部分重點評估指標(biāo)設(shè)置的依據(jù)和意義;通過年檢資料、問卷、實地調(diào)研、樣刊閱讀、公開數(shù)據(jù)查閱、相關(guān)數(shù)據(jù)庫檢索等手段采集了目標(biāo)新刊的指標(biāo)數(shù)據(jù)，并運用簡單的線性加權(quán)匯總評價方法對目標(biāo)新刊進行綜合評價。

　　關(guān)鍵詞 新創(chuàng)辦科技期刊;評價體系;期刊評價;期刊出版管理

　　為了深化新聞出版領(lǐng)域供給側(cè)結(jié)構(gòu)性改革，運用好、發(fā)揮好出版行政審批政策“把入口、用杠桿”的作用，持續(xù)優(yōu)化產(chǎn)業(yè)和產(chǎn)品結(jié)構(gòu)，推動新聞出版業(yè)高質(zhì)量發(fā)展，中宣部傳媒監(jiān)管局設(shè)立了“新聞出版資源配置情況分類問效評估(科技期刊類)”課題項目，對新創(chuàng)辦科技期刊的辦刊效果和評價體系開展專項研究。本文涉及的科技新刊評價體系設(shè)計及應(yīng)用是這項課題研究的重點內(nèi)容之一。課題組在分析以往研究成果以及當(dāng)前我國科技期刊發(fā)展的現(xiàn)狀和問題的基礎(chǔ)上，結(jié)合專家意見，對科技新刊的評價體系進行了設(shè)計，并嘗試用其對2013—2018年我國新創(chuàng)辦科技期刊[1]進行具體的評價實踐。

　　1科技期刊綜合評價簡要回顧

　　期刊評價是期刊界的一個熱門話題，近十年來，國內(nèi)學(xué)者年均發(fā)表該類研究論文超過200篇，涉及評價目的、評價方法、評價指標(biāo)體系設(shè)計、各類評價指標(biāo)的作用和關(guān)系分析等。關(guān)于科技期刊綜合評價指標(biāo)體系的結(jié)構(gòu)及其具體應(yīng)用，國家期刊出版行政管理部門先后頒發(fā)過兩個文件。20世紀90年代，國家科學(xué)技術(shù)委員會頒發(fā)的《關(guān)于頒布五大類科技期刊質(zhì)量要求及評估標(biāo)準(zhǔn)的通知》(國科發(fā)信字[1994]148號)，將學(xué)術(shù)期刊質(zhì)量標(biāo)準(zhǔn)分為政治質(zhì)量、學(xué)術(shù)質(zhì)量、編輯質(zhì)量和出版質(zhì)量4項;2020年6月，國家新聞出版署印發(fā)的《報紙期刊質(zhì)量管理規(guī)定》，把報紙、期刊質(zhì)量劃分為內(nèi)容質(zhì)量、編校質(zhì)量、出版形式質(zhì)量、印制質(zhì)量4項。此外，2000年，為了配合中國科學(xué)院知識創(chuàng)新工程試點工作,擇優(yōu)支持重點學(xué)術(shù)期刊，中國科學(xué)院自然科學(xué)期刊編輯研究會牽頭研制一套“自然科學(xué)學(xué)術(shù)期刊評價指標(biāo)體系”，通過17項靜態(tài)指標(biāo)與2項動態(tài)指標(biāo)相結(jié)合,考察學(xué)術(shù)質(zhì)量與編輯出版質(zhì)量[2]。學(xué)術(shù)界對科技期刊綜合評價指標(biāo)體系的設(shè)計，也有不少討論。

　　龐景安等建立的“科技期刊綜合評價指標(biāo)體系”包括經(jīng)營管理水平、編輯水平和學(xué)術(shù)水平3個方面共19項評價指標(biāo)[3];鄧清燕認為，科技期刊綜合評價指標(biāo)體系應(yīng)該包括整體標(biāo)準(zhǔn)、編輯標(biāo)準(zhǔn)、學(xué)術(shù)標(biāo)準(zhǔn)和出版標(biāo)準(zhǔn)4個方面[4];邱均平等建立的科技期刊評價體系則包括技術(shù)性、效益性和標(biāo)準(zhǔn)化3個方面9項指標(biāo)[5];張積玉認為，評估標(biāo)準(zhǔn)的設(shè)計應(yīng)多維度、綜合化，既要重視政治質(zhì)量、學(xué)術(shù)質(zhì)量,還必須考慮編輯質(zhì)量、出版質(zhì)量，考察辦刊條件和出版保障體系[6];趙惠祥等從信息的傳播擴散、信息承載、載體狀況、運作經(jīng)營狀況4個方面將評價體系分解為影響力指標(biāo)、文獻指標(biāo)、載體指標(biāo)、管理指標(biāo)4類[7];葉繼元認為，學(xué)術(shù)期刊的質(zhì)量評價涉及編輯質(zhì)量、學(xué)術(shù)質(zhì)量、出版質(zhì)量、發(fā)行質(zhì)量等方面[8]。

　　新創(chuàng)辦學(xué)術(shù)期刊評價是期刊評價研究的一個薄弱環(huán)節(jié)，理論成果比較少，具體實踐幾乎是空白。趙新力等在問卷調(diào)查的基礎(chǔ)上，設(shè)計了創(chuàng)刊的必要性、辦刊基礎(chǔ)和條件、主編背景評估、主創(chuàng)人員評估、辦刊方針、市場定位及經(jīng)營方式六個維度18個評價指標(biāo)，通過專家打分，結(jié)合評估質(zhì)量控制模型，進行新刊評估的嘗試[9]。這項工作是課題組已發(fā)現(xiàn)的我國最早探討新刊評價的研究工作，其目的是規(guī)范創(chuàng)刊的可行性論證，強化審批管理。葉繼元等探討了將其團隊提出的“全評價”體系用于新刊評價的可行性[10]。他們的“全評價”體系概括起來是“六位一體”和“三個維度”，6個要素是評價主體、評價客體、評價目的、評價方法、評價標(biāo)準(zhǔn)及指標(biāo)和評價制度，各要素之間相互作用、相互影響。

　　“三個維度”即形式、內(nèi)容和效用，分別對應(yīng)形式評價、內(nèi)容評價和效用評價。此項工作的主旨是呼吁期刊評價機構(gòu)關(guān)注新刊的遴選，目的是促進新創(chuàng)期刊的健康發(fā)展，評價方法以定性評價法為主、定量評價法為輔。但該文作者僅作理論探討，尚未付諸實踐。耿海英針對新刊評價設(shè)計了吸引力、管理力和影響力3個一級指標(biāo)，再細分成6個二級指標(biāo)和11個三級指標(biāo)，目的也是進行核心期刊的遴選[11]。

　　對于學(xué)術(shù)質(zhì)量評價，耿海英也主張以定性評價為主、定量評價為輔。定性評價主要依靠同行評議，同行評議除了通過網(wǎng)絡(luò)問卷形式讓不同層次的專家進行打分之外，最重要的是將各學(xué)科領(lǐng)域的專家召集起來集中對期刊進行評審。耿海英用此指標(biāo)體系對2013—2017年內(nèi)或新辦或者更名的164種人文社科類學(xué)術(shù)期刊、按照三個學(xué)科大類分別進行了評價嘗試;最后評出18種核心期刊，其他146種為入庫期刊。指標(biāo)權(quán)重、計分標(biāo)準(zhǔn)、同行評議的過程未具體說明。目前的研究中，對國外新刊評價的研究，所獲寥寥。

　　2新創(chuàng)辦科技期刊評價指標(biāo)體系設(shè)計

　　2.1 評價目的

　　評價目的是期刊評價工作的基礎(chǔ)和出發(fā)點，是期刊評價工作的龍頭，決定著其他要素的選擇[12]，任何期刊評價都必須基于一定的評價目的，才能設(shè)計出相應(yīng)的期刊評價標(biāo)準(zhǔn)、指標(biāo)和方法[11]134，評價目的不同，評價標(biāo)準(zhǔn)和評價工具的使用自然也會有差異[13]。業(yè)內(nèi)學(xué)者一般認為，我國期刊評價工作的目的大體上有三種：其一，各級管理部門組織的優(yōu)秀期刊評選，對期刊出版導(dǎo)向、內(nèi)容質(zhì)量、出版質(zhì)量、管理質(zhì)量的綜合評價;其二，核心期刊遴選，確定某學(xué)科較集中刊載原創(chuàng)論文的學(xué)術(shù)期刊，主要以文獻計量學(xué)指標(biāo)為根據(jù);其三，學(xué)術(shù)質(zhì)量評價，以期刊論文的學(xué)術(shù)水平、期刊所建立的學(xué)術(shù)品牌和學(xué)科領(lǐng)域口碑為依據(jù)。

　　學(xué)術(shù)質(zhì)量評價與核心期刊評價，以及影響因子排序有較強的關(guān)聯(lián)，但并不等同，更注重品牌的作用和專家口碑，需要定量評價與定性評價的有機結(jié)合。期刊評價根據(jù)評價結(jié)果的使用目的不同，也可以這樣劃分三類：第一類，出版管理者視角的評價，評價結(jié)果作為出版管理的輔助手段，這種評價具有顯著的中國特色;第二類，文獻情報服務(wù)者視角的評價，結(jié)果作為核心期刊遴選的依據(jù)，揭示學(xué)科領(lǐng)域論文分布規(guī)律;第三類，學(xué)術(shù)共同體視角的評價，用以輔助學(xué)術(shù)評價、學(xué)科建設(shè)和學(xué)術(shù)行為(如投稿依據(jù)、業(yè)績考核和審稿標(biāo)準(zhǔn)的把握)。本課題進行期刊評價研究的主要目的是綜合考察最近6年新創(chuàng)辦科技期刊的出版經(jīng)營績效，檢驗期刊出版資源配置的階段性效果，以期為今后科技期刊資源配置提供參考數(shù)據(jù)，顯然屬于第一類評價的范疇。

　　2.2 評價方法

　　第一類評價，需要定性評價與定量評價的結(jié)合，往往還要進行辦刊過程與結(jié)果的雙重考察;第二類評價，主要基于文獻計量學(xué)指標(biāo)的定量評價，一般無須考察辦刊過程;第三類評價主要是定性評價，注重歷史積淀、學(xué)術(shù)體驗和專業(yè)口碑，一般不會考察辦刊過程。本課題的工作屬于第一類期刊評價，宜采取定性評價與定量評價結(jié)合的方法。對新刊的定性評價與定量評價，都有相當(dāng)?shù)睦щy——創(chuàng)刊時間短，定量評價難以獲取足夠的文獻計量學(xué)數(shù)據(jù)支持;而以同行評議為基礎(chǔ)的定性評價以往就有失敗的案例[2]。新刊因創(chuàng)刊時間短，在業(yè)內(nèi)尚未建立廣泛共識，且受到學(xué)科差異、專家個體差異，以及組織工作難度等方面的制約，專家調(diào)查方法更難以獲得可靠的定性評價結(jié)果。課題組處理一些難以量化的指標(biāo)的策略是，在專家咨詢的基礎(chǔ)上，根據(jù)新刊的特征和評價目的，確定價值體系，由課題組掌握統(tǒng)一的尺度，對各項定性指標(biāo)進行評價和打分。

　　2.3 評估指標(biāo)體系的研制思路和過程課題組此項工作與以往的新刊評價工作有很大不同。從評價目的上說，以往新刊評價工作有兩類，其一，為創(chuàng)刊審批論證設(shè)立評價指標(biāo)，以完善科技期刊審批制度，增加審批的科學(xué)性;其二，對新刊的質(zhì)量進行評價，指導(dǎo)期刊數(shù)據(jù)庫關(guān)注新刊、遴選新刊。在當(dāng)前我國科技期刊發(fā)展越來越體現(xiàn)國家戰(zhàn)略的時代背景下，本項研究必須關(guān)注我國科技期刊發(fā)展的現(xiàn)狀、問題、任務(wù)和目標(biāo)，考察新刊在整體上與國家戰(zhàn)略的符合度和可持續(xù)發(fā)展能力，新刊評價指標(biāo)體系在可操作性的前提下，要體現(xiàn)時代性、科學(xué)性、導(dǎo)向性與合理性，要能夠為出版行政管理部門今后更加有效地配置期刊出版資源、強化目標(biāo)管理提供依據(jù)�；�于上述目��，課題組認為采用多指標(biāo)屬性的簡單的線性加權(quán)匯總評價方法比較合適。這種方法也被一些業(yè)內(nèi)專家認為是在期刊總體評價中最好的方法[14]。

　　2.4 評估指標(biāo)體系的構(gòu)建

　　本課題指標(biāo)體系的構(gòu)建采取專家咨詢與課題組研究總結(jié)相結(jié)合的辦法。課題組基于自己的研究、辦刊和創(chuàng)刊實踐、前人研究成果及國家戰(zhàn)略要求，結(jié)合專家意見，形成了指標(biāo)體系初稿。以初稿為基礎(chǔ)，組織專家會議討論最終完成科技新刊問效評估指標(biāo)體系，共設(shè)置4個一級指標(biāo)、12個二級指標(biāo)、34個三級指標(biāo)。4個一級指標(biāo)分別為：辦刊隊伍、期刊影響力、學(xué)術(shù)支撐體系和出版服務(wù)能力，權(quán)重依次為40%、30%、20%、10%;二三級指標(biāo)的權(quán)重，為使三級指標(biāo)有足夠的區(qū)分度，總分設(shè)定為400分。34項指標(biāo)得分之和為期刊評估得分。

　　2.5 指標(biāo)賦值

　　2.5.1客觀指標(biāo)賦值本文的客觀指標(biāo)指可以通過設(shè)定一定規(guī)則計算分值的指標(biāo)，在34個三級指標(biāo)中，共有12個指標(biāo)得分通過數(shù)據(jù)計算得到。這些指標(biāo)是：編輯部職數(shù)、刊期、年發(fā)文量、發(fā)文密度、國外數(shù)據(jù)庫收錄、國內(nèi)數(shù)據(jù)庫收錄、SCI影響因子、CSCD總被引、中國知網(wǎng)CI值、辦刊投入、本領(lǐng)域Top10%作者比例和本領(lǐng)域Top5%機構(gòu)供稿比例。表2給出指標(biāo)數(shù)值計算的幾個示例(其他指標(biāo)可據(jù)此類推)。記分規(guī)則實際上也是課題組關(guān)于期刊發(fā)展價值觀的體現(xiàn)，這里明顯體現(xiàn)了對期刊做優(yōu)、做大、做強的鼓勵。

　　2.5.2 主觀指標(biāo)賦值主觀指標(biāo)的賦值難度較大，受問卷質(zhì)量、訪談質(zhì)量、評分人主觀因素等方面的影響。嚴格地說，部分主觀指標(biāo)，如主辦單位學(xué)術(shù)實力、主編和編委活躍度、學(xué)科重要性等都需要借助學(xué)科領(lǐng)域?qū)＜业脑u判;一些指標(biāo)需要進行大量的研究和深度考察才能得出可靠的結(jié)果，如編委會結(jié)構(gòu)合理性、分工合理性、發(fā)展規(guī)劃與刊群建設(shè)，以及出版服務(wù)能力等。本課題研究受經(jīng)費與時間限制，依據(jù)問卷、實地訪談，以及公開數(shù)據(jù)，由課題組成員討論形成基本共識后，由兩位成員各自獨立完成打分，再取平均值。

　　32013—2018年新創(chuàng)辦科技期刊評價結(jié)果

　　3.1 數(shù)據(jù)采集

　　2013—2018年創(chuàng)刊的科技期刊共計151種，課題組通過問卷、實地調(diào)研，輔以年檢資料、樣刊閱讀、公開數(shù)據(jù)查閱、相關(guān)數(shù)據(jù)庫檢索等，共采集95種目標(biāo)期刊的指標(biāo)數(shù)據(jù)，占總數(shù)的62.9%。

　　4討論

　　4.1 關(guān)于指標(biāo)評價維度、指標(biāo)權(quán)重與賦值

　　課題組根據(jù)評價目的在評價指標(biāo)體系中選取辦刊隊伍、期刊影響力、學(xué)術(shù)支撐體系和出版服務(wù)能力四個維度，從過程、結(jié)果、可持續(xù)發(fā)展能力等方面對目標(biāo)新刊進行綜合評價。之所以設(shè)置出版服務(wù)能力和可持續(xù)發(fā)展能力多項考察指標(biāo)，意欲體現(xiàn)中國科技期刊發(fā)展和管理的時代要求，也希望引起從業(yè)人員對我國科技期刊發(fā)展薄弱環(huán)節(jié)的重視。這些指標(biāo)在以往的評價體系中并不突出。對目標(biāo)期刊的具體評價工作由課題組根據(jù)問卷、實地調(diào)研等方法采集到的數(shù)據(jù)來完成。一些難以定量化的指標(biāo)的賦值可能會受到種種因素的影響，如課題組成員的學(xué)科背景、對主辦單位固有印象、實地調(diào)研中各刊講解人表述的差異等。

　　4.2 部分重點評估指標(biāo)設(shè)置的依據(jù)和意義

　　4.2.1 辦刊隊伍

　　課題組和專家一致認為，人是最關(guān)鍵的要素，這種觀點不僅得到許多研究工作的支持[15-19]，也得到課題組問卷和個案分析的印證。我們在“辦刊隊伍”中設(shè)置了3個二級指標(biāo)，分別是主編、編委會和編輯部，而主編的權(quán)重等于編委與編輯部之和。特別指出，我們對主編的“辦刊專注度”賦予了9個三級指標(biāo)中的最高權(quán)重。主編有名望和學(xué)術(shù)活躍度高還不夠，還必須對辦刊傾注熱情，投入精力，不能只當(dāng)掛名主編。我們在實地調(diào)研中獲得了不少主編專注于辦刊的實例，最終評估結(jié)果表明，這些期刊也取得了不錯的效果。比如《納微快報》《中國科學(xué)：材料科學(xué)(英文版)》《光子學(xué)研究》等。科技期刊沒有科學(xué)家的熱情投入是很難開展工作的。

　　科技期刊論文投稿刊物：中國科技期刊研究(雙月刊)創(chuàng)刊于1990年，是由中國科學(xué)院主管、中國科學(xué)院自然科學(xué)期刊編輯研究會主辦的面向全國的我國第一個綜合研究科技期刊的刊物。

　　5結(jié)語

　　新刊評價是一個難題，也沒有受到業(yè)內(nèi)足夠重視，相關(guān)研究成果比較少，實操層面的工作幾乎是空白。課題組完成的科技類新創(chuàng)辦期刊的評價實踐還有待于進一步研究和完善。盡管此項評價體系是對新創(chuàng)辦科技期刊的階段性運營效果的評價，沒有專門涉及創(chuàng)刊必要性的考察，但我們認為，此項研究對期刊出版行政管理部門進行科技期刊創(chuàng)刊的前置審批，具有一定的參考價值。雖然本課題研究的基本任務(wù)是評價科技新刊個體的經(jīng)營業(yè)績，但課題組從課題設(shè)置的目的和我國科技期刊發(fā)展的需要出發(fā)，把視野延伸到了與其相關(guān)的期刊集群、發(fā)展環(huán)境和運轉(zhuǎn)支撐體系的效果評價，深度考察科技期刊的可持續(xù)發(fā)展能力。在注重結(jié)果考察的同時，進一步研判發(fā)展趨勢，以期對期刊出版行政管理部門有效地配置資源提供更有針對性的決策參考。

　　參考文獻

　　[1] 朱蔚，胡升華，周洲，等.2013—2018年我國新創(chuàng)辦科技期刊統(tǒng)計分析[J].中國科技期刊研究，2020，31(5)：598-604.

　　[2] 自然科學(xué)學(xué)術(shù)期刊評價指標(biāo)體系研究課題組.自然科學(xué)學(xué)術(shù)期刊綜合評價指標(biāo)體系研究[J].中國科技期刊研究，2001，12(3)：165-168.

　　[3] 龐景安，張玉華，馬崢.中國科技期刊綜合評價指標(biāo)體系的研究[J].中國科技期刊研究，2000，11(4)：217-219.

　　作者：胡升華 朱 蔚 周 洲 王志欣 彭 斌