歐盟框架計劃監督評估實踐與啟示研究
責編：gltian ｜2024-09-03 16:51:18監督評估是推動重大科技計劃科學、高效、有序實施的制度保障，是提高科技資源投入產出效率、提升科技管理水平、保障國家戰略目標實現的重要手段。歐盟框架計劃在實施過程中建立了相對完善的監督評估體系，國內學者對歐盟框架計劃的監督評估實踐及體系演變開展了一系列研究。在監督評估實踐做法方面，李秀菊等聚焦歐盟框架計劃的科學與社會行動計劃，對其中期評估的目的與方法、過程與標準、評價結果等進行了分析，對中國科普相關科技計劃的評價提出了啟示建議。程如煙對“地平線歐洲”計劃事前評估的方法和主要結論進行闡述，提出了對中國科技計劃事前評估的啟示建議。陳敬全針對2011年以前的歐盟框架計劃評估活動，圍繞法律基礎、組織實施方式、評估對象、評估方法和評估案例等做了介紹和分析。在監督評估體系構建及演變方面，曲瑛德等以“地平線2020”計劃的年度監測與中期評價資料為基礎，剖析了其監測評價體系的內在機制、核心特征，并據此提出了對“雙一流”建設成效評價的啟示。陶蕊等對歐盟第七框架計劃之前的框架計劃評估歷程、評估類型、組織模式等進行分析，剖析了歐盟框架計劃評估體系的發展歷程。上述研究均為針對某一項具體評估或者較早期的評估開展分析，本文選取了近年來歐盟委員會開展的第七框架計劃事后評估、“地平線2020”計劃中期評估及“地平線歐洲”計劃事前評估，圍繞評估目的與框架、方法與實踐等開展系統分析，總結了歐盟框架計劃監督評估體系的特點，為中國重大科技計劃監督評估體系的設計提出了相應建議，以供決策參考。
一、評估目的與框架
1.1 將推動歐盟框架計劃順利實施作為核心目的
作為歐盟乃至全球投入規模最大的科技計劃，歐盟框架計劃監督評估工作歷來備受關注，其總體目標在于為管理層提供關鍵信息和建議，優化計劃的執行和管理，確?？蚣苡媱濏樌麑嵤┖透咝绦校槲磥砜萍加媱潓嵤┨峁┙涷灪徒梃b?！暗仄骄€歐洲”計劃事前評估是伴隨歐盟委員會提出該計劃建議同時開展的，其重要目的在于對計劃實施情況做出預判，為計劃立項決策提供科學依據。“地平線2020”計劃中期評估的目的在于推動該計劃后續兩年的階段計劃順利實施，并為后續框架計劃實施提供參考意見。第七框架計劃事后評估旨在向歐洲議會、歐洲理事會以及各成員國、研究界、公眾和其他利益相關方通報該計劃取得的成效影響，并為改進“地平線2020”實施和制訂未來框架計劃提供意見。
1.2 通過邏輯框架厘清計劃內在邏輯關系
“地平線歐洲”計劃事前評估、“地平線2020”計劃中期評估及第七框架計劃事后評估均通過變革理論梳理了計劃實施的邏輯關系，并基于邏輯框架設置了有針對性的評估內容?！暗仄骄€2020”計劃的中期評估，從計劃的宏觀發展目標出發，分析了計劃實施的投入及活動、成果、成效和影響，并通過線性關系明晰了計劃實施各環節的因果關系，同時，通過邏輯框架也將這些要素與歐洲經濟社會對科技創新的需求以及外部政策環境進行聯系（見圖1）。具體而言，該計劃通過經濟支持和非經濟支持，設立各類項目（課題），預期產出人才、知識、產品和政策等不同方面成果，發揮提升科技創新能力、促進跨部門與跨學科協同、推動成果轉化以及提升企業創新競爭力等作用，并最終產生長期的科技影響、經濟影響和社會影響。在此邏輯框架指導下，評估組建立了與“地平線2020”計劃相適應的評估指標體系，明確了評估重點內容，提升了評估的針對性，保障了評估質量。
1.3 根據管理需求設定評估內容
科技計劃在實施前、實施過程中以及實施結束后，對科技管理決策的要求各不相同。因此針對事前、事中、事后等不同評估時間節點，歐盟框架計劃的評估者設計了與之相對應的評估內容及指標體系，以確保對框架計劃的有效監督和持續改進。
在科技計劃啟動實施前，需綜合考慮計劃實施的必要性、可行性及預期效益等因素，決策是否對該計劃予以立項，因此，歐盟框架計劃的事前評估內容一般側重于計劃的政策相關性、經濟社會發展需求相符性以及預期可能產生的經濟社會效益等?！暗仄骄€歐洲”計劃事前評估，一是對該計劃目標定位及任務部署與歐盟戰略需求相符性進行了評估，將計劃的戰略目標及任務布局與歐盟面臨的科技創新需求及經濟、社會發展問題進行了對應分析；二是對“地平線歐洲”計劃與“地平線2020”計劃相比采取的改進措施進行了評估，包括該計劃如何改進以及改進措施將產生的歐盟附加值等；三是采用宏觀經濟模型對預期產生的經濟社會效益進行了分析，結果表明，以“地平線2020”計劃實施結束后產生的經濟影響作為基線，“地平線歐洲”計劃實施預計將產生0.04%～0.10%的國內生產總值（GDP）增長，到2027年左右將創造超10萬個工作崗位、2035年左右將產生超20萬個工作崗位。
科技計劃實施過程中，需綜合考慮實施進展情況及科技、經濟、社會發展趨勢的變化等，考慮是否對目標定位、任務部署及管理機制等進行適時調整，因此歐盟框架計劃中期評估的評估內容一般涵蓋計劃實施與科技、經濟及社會發展趨勢的相關性，計劃組織管理情況，目標實現程度，經濟社會效益等?！暗仄骄€2020”計劃的中期評估內容包括：一是該計劃正確解決問題的情況，根據新的科技和經濟社會發展趨勢做出相應調整的情況，以及與利益相關者需求相符情況；二是計劃組織管理架構的有效性，組織管理及資金分配的效率，計劃實施的成本效益；三是計劃實施產生的科技效益（促進科技創新能力提升及科技創新融合等）、經濟效益（創新成果轉化與擴散等）、社會效益（解決社會需求及為制定政策提供科學支撐）和目標實現程度等；四是計劃實施的協同性，即計劃任務部署協同性、與歐盟其他科技計劃的協同性、與歐洲地區或國家其他計劃的協同性等；五是“地平線2020”計劃實施相比國家和地區原有水平產生的歐盟附加值。
除了實施中期節點的大型評估活動，在實施過程中也需要實時監測計劃的組織管理及實施進展情況，因此需要開展年度監測工作。“地平線2020”計劃的年度監測維度包括：一是計劃的項目立項情況，即立項數量、資助金額、申報數量及成功率等；二是計劃整體運行情況，包括項目進度、與其他資助計劃的協同和倫理安全審查情況等；三是計劃實施進展情況，重點監測該計劃三大戰略優先領域、4個單列計劃和14個交叉領域的關鍵指標變化情況；四是對開放創新的典型案例進行分析；五是對利益相關者開展年度調查。
歐盟框架計劃通常會在計劃實施結束2～3年后開展事后評估，評估重點放在計劃實施情況及其對于科學、經濟、社會發展趨勢產生的持續影響上，并對后續框架計劃實施提出相應建議。歐盟第七框架計劃事后評估包括：一是對該計劃與第六框架計劃的銜接情況，科學知識、人才、技術創新等成果產出情況，計劃資金分配、參與主體、國別分布及監督評估等組織管理情況進行評估；二是對科學影響進行評估，包括計劃實施產出的基礎設施應用情況、研究人員獲益情況、歐盟科技競爭能力提升情況、人才引進及在歐洲內部流動情況、國際科技合作情況、歐盟國家科技創新體系優化情況等；三是對經濟影響進行評估，包括對歐洲宏觀經濟及就業增長、歐洲經濟競爭力、歐洲工業基礎和歐洲中小企業競爭力的影響；四是對社會影響進行評估，包括公民在計劃實施中扮演的角色、男性和女性科研人員的從業公平情況、社會挑戰解決情況等。
1.4 充分運用評估結果改善管理
歐盟建立了較為完善的監督評估結果應用機制，并切實將評估結果應用到了改進后續框架計劃的實施中。一是歐盟委員會針對歷次監督評估結果均做出了反饋。例如，第七框架計劃的事后評估報告提出應提升框架計劃管理效率。針對此條建議，歐盟委員會在回復中指出，他們認同該條建議，并將在后續“地平線2020”計劃實施中采取一系列措施提升管理效率。并提出了增加專業機構數量、設立專門部門提供管理咨詢服務、不同子計劃采用同樣的管理辦法等的具體措施。二是評估結果為科技計劃調整提供了重要的決策支撐。“地平線歐洲”計劃在設計過程中，充分吸收了“地平線2020”中期評估建議。綜合“地平線2020”計劃中期評估報告和《拉米報告》，歐盟委員會對“地平線歐洲”計劃提出了8點建議，包括要加大研發投資力度，部署任務導向型項目，加大研究基礎設施投入，加強國際合作，加強第三國參與等，上述意見在“地平線歐洲”計劃的頂層設計過程中均被納入考慮，且被充分采納。
二、評估方法與實踐
歐盟框架計劃評估中，注重結合計劃本身的復雜性、創新性等特點，科學選用評估方法，包括問卷調查、案卷分析等定性評估方法，文獻計量、技術就緒度（Technology Readiness Level，TRL）評價等定量評估方法，以及基線與標桿分析法、關鍵影響路徑分析等綜合評估方法，評估方法的合理選用一定程度上確保了評估證據的全面客觀，也為保證監督評估質量提供了堅實基礎。
2.1 利用已有數據信息，提供評估實證基礎
歐盟框架計劃的監測評估體系相對完善，其過程中積累的數據信息為開展案卷研究提供了有利條件。第七框架計劃事后評估過程中收集并分析了152篇關于第七框架計劃的評估報告、研究報告及專題分析報告等，評估報告包括年度監測報告、年度評估報告、第七框架計劃中期評估報告及對健康、農業、環境和能源等不同學科領域的評估報告，研究報告包括不同專家學者對第七框架計劃投入產出、地域分布、科學及經濟社會影響的研究分析等，專題分析報告則主要包括由歐盟委員會開展的關于中小企業創新發展、國際合作、公私伙伴關系等的分析報告，評估中對這些報告進行了深入研究分析，并從中提取、總結了與評估議題和結論相關的信息。歐盟框架計劃監督評估通過充分發掘和利用已有數據積累，為評估工作提供了堅實的證據基礎，并提高了評估的銜接性。同時，充分利用現有數據也避免了重新收集和整理信息等煩瑣工作，減輕了評估工作量，減少了對科研人員的影響，確保了評估的高效性。
2.2 通過問卷調查法，收集不同利益相關者觀點
歐盟框架計劃在實施過程中，不僅涉及多個國家和地區，還牽動了眾多利益相關者，包括政府部門、工業界、學術界、科研人員以及廣大社會公眾等。采集利益相關方的觀點對于評估計劃實施成效至關重要，而調查問卷作為一種高效的評估方式，尤其是借助互聯網工具，極大地降低了成本并提升了效率，且覆蓋了不同利益相關者?！暗仄骄€2020”計劃中期評估采用了線上問卷調查的形式，對計劃的相關性、有效性、效率和一致性等問題進行了全面調查。調查共收到來自全球69個國家的3483份回復及近300份意見書，參與者中既有直接參與計劃的個人或機構，也有積極表達觀點的社會公眾。值得注意的是，由于利益相關方的多元性，同一問題可能呈現出不同的觀點。在“地平線2020”計劃中期評估的問卷調查中，私人營利組織與其他利益相關者群體就某些問題表達了相反的意見。評估組在公眾咨詢結果摘要中，客觀公正地呈現了這兩種對立的立場，確保了評估結果的全面性和公平性。這種廣泛采集利益相關方的評估信息并在報告中充分反映不同觀點的方式，不僅有助于增加評估的可信程度，還能為政策制定者提供更為全面和深入的參考依據。
2.3 運用文獻計量法，提升產出和成效評估的客觀性
在歐盟框架計劃實施背景下，文獻計量法用于幫助識別和跟蹤計劃產出科研成果的國際影響力、科研合作的效果以及對科技創新的促進作用等?！暗仄骄€2020”計劃中期評估對Scopus數據庫中2005—2014年歐盟、美國、中國、日本及韓國的科學文獻數量、質量及被引用情況進行了分析。第七框架計劃事后評估也采用了文獻計量法對Web of Science數據庫中2002—2012年的文獻進行分析，對計劃支持的所有項目產出的論文總數、平均每個項目產出的論文數量、論文被引用情況等進行統計分析，并與第六框架計劃及同時期其他計劃進行了比較研究。文獻計量法通過提供基于數據和統計的客觀評估方法，為評估學術產出及其質量帶來了更為科學、系統和標準化的視角，但文獻計量指標僅是評估體系中的一個組成部分。為了獲得更為全面且深入的評估結論，需要將其與同行評議等定性分析手段相結合，從而確保評估的全面性和準確性。
2.4 采用技術就緒度評價法，增強對技術評估的精細度
歐盟框架計劃執行過程中，對于項目（課題）的技術就緒度實施了精細化管理。例如，歐盟創新基金的能源項目，設定了明確的技術就緒度要求，通常要求申請資助項目達到TRL7～8級的水平。這一要求意味著項目必須具備一定的技術成熟度和驗證度，才能獲得資助。然而，在“地平線2020”計劃的實施過程中，一些利益相關者表達了擔憂，他們認為該計劃可能過于偏向資助技術就緒度較高的項目，這種傾向可能會對基礎研究和原創性創新發展產生不利影響。為了解決這一問題，并確保計劃能夠均衡地支持各類科研活動，“地平線2020”計劃中期評估特別對資助項目的技術就緒度分布進行了細致的分析，以回應利益相關者的關切。技術就緒度評價分析結果用于確?！暗仄骄€2020”計劃能夠充分考慮科研活動的多樣性，平衡對高技術就緒度項目的支持與對基礎研究和創新初期階段項目的資助，從而進一步優化資金分配，并促進歐洲科研生態系統的健康發展。
2.5 設定關鍵影響路徑，提高對影響評估的科學性
為確保政策制定者和廣大公眾能夠定期、深入地了解“地平線歐洲”計劃對歐洲科學、經濟和社會產生的廣泛影響，開展影響評估前，預先設定了關鍵影響路徑，并沿路徑開展分析。關鍵影響路徑具體分為科學影響、社會影響和經濟影響3條，每條路徑又分為3條子路徑（見圖2），均按照短期（通常為計劃實施1年后）、中期（通常為計劃實施3年后）和長期（通常為計劃實施5年后）制定了定量指標。例如，科學影響分為“產出高質量知識”“人才培養”“知識傳播和開放科學”3條子路徑，其中“產出高質量知識”的短期影響指標為“計劃實施產出的出版物數量”，用于直接反映科研活動的產出效率；中期影響指標為“出版物的引用情況”，是評估科研成果學術影響力和專業認可度的重要指標；長期影響指標為“出版物在世界排名首位高被引出版物中所占比例”，用于反映科研成果的可持續性價值和國際競爭力。此外，社會影響路徑包括“解決歐盟政策優先事項和應對全球挑戰”“帶來社會效益”“提升歐洲社會對科研重視程度”3條子路徑，經濟影響路徑包括“基于創新產生的經濟增長”“創造就業機會”“撬動研發投資”3條子路徑，針對這6條子路徑，歐盟委員會也分別制定了短期、中期和長期的評估指標。經過關鍵影響路徑的研究設定，歐盟委員會清晰界定了框架計劃影響評估的關鍵維度。通過構建一套短期、中期、長期影響的定量指標體系，賦予了影響評估可量化的特征，提升了影響評估的科學性。此外，指導評估過程實時關注計劃實施情況，并有針對性地采集相關信息，提升評估的時效性和有效性。
2.6 通過基線與標桿分析法，提升評估實施進展的準確性
在“地平線2020”計劃的中期評估中，評估者采用了第七框架計劃的成果產出和社會經濟影響作為“地平線2020”計劃實施的基線。通過這種對比分析，可以更清晰地衡量“地平線2020”計劃在實施過程中的成效和進步。同樣，在“地平線歐洲”計劃實施的初期階段，歐盟委員會委托獨立專家團隊進行深入研究，為該計劃實施影響路徑中的每一個指標都設定了明確的基線和標桿。例如，出版物數量的基線被定義為沒有框架計劃干預情況下的預期數量，而標桿則是“地平線2020”計劃實施下的出版物數量。通過設定基線與標桿，可以清晰觀察到關鍵指標的變化情況，使得評估工作更加具有針對性和可比性，有助于準確評價“地平線歐洲”計劃的實施效果。
三、啟示與建議
伴隨歐盟框架計劃實施所建立的較為系統完善的監督評估體系，為確保該計劃的順利推進和高效實施發揮了至關重要的作用。其中，全流程監督評估的體系化安排、評估方法的科學使用及監督評估結果的有效應用尤其值得學習借鑒。
3.1 完善監督評估體系，開展全流程監督評估活動
建議中國在重大科技計劃實施過程中，依據實施階段，系統安排部署評估活動，構建適合中國科技計劃實施的監督評估體系。一是圍繞科技計劃實施的整個生命周期，根據不同實施階段，開展重大科技計劃實施方案評估、階段計劃評估、年度指南評估、年度監測評估、階段監督評估以及事后影響評估等評估活動，確保計劃實施關鍵節點的管理決策都有評估結論支撐。二是繪制邏輯框架，梳理科技活動實施邏輯關系，并有針對性地設置評估指標，提升評估結果應用的針對性，提高評估質量。三是根據重大科技計劃實施階段的不同管理需求，設計評估的重點內容，對于事前評估，應著重考慮目標科學性和可考核性、任務部署合理性及對目標的支撐程度、組織管理機制完善性和有效性、預期效果影響等。年度監測階段，評估應重點集中于年度任務部署和完成情況、組織管理效率、年度實施整體進展等。階段監督評估可將重點放在實施進展情況、階段目標完成情況、成果產出情況及經濟社會效益上。事后影響評估重點在于計劃實施對科技創新、經濟社會和國家安全產生的長期影響和貢獻等。通過這樣分階段、有針對性的評估，可以更有效地監督和管理重大科技計劃的實施，推動計劃目標的實現和資源的最優配置利用。
3.2 注重積累客觀證據，加強定量評估方法應用
雖然，對比歐盟框架計劃的監督評估方法，中國重大科技計劃監督評估也廣泛采用了案卷研究、問卷調查等方法，但案卷研究的信息基礎較為薄弱，問卷調查的對象較為集中，同時，中國科技計劃監督評估對于基線和標桿法的應用較少，對于影響評估多以主觀判斷為主，對其路徑分析和定量指標體系構建不夠深入科學。因此提出如下建議：一是在實施過程中豐富數據積累，通過建立監測評估信息系統，定期更新科技計劃實施相關數據，為科技計劃監督評估奠定項目管理、監督及成果等方面數據基礎。二是適度擴大調查問卷對象范圍，廣泛收集不同利益相關者的意見和建議，從而更全面地了解科技計劃實施的實際情況，為決策提供更加可靠和有效的依據。三是明確計劃實施的基線及標桿，為重大科技計劃實施提供參考標準，監督評估時，可通過客觀指標變化反映計劃實施進展或成效和影響，及時發現實施過程中的差距和不足，從而調整策略，確保計劃順利推進。四是對于實施影響的評估，建議參照歐盟框架計劃的做法，明確科技計劃實施對科技、經濟及社會的短期、中期和長期影響路徑，并科學制定指標體系，實現主觀判斷客觀化，提升評估的科學性。
3.3 健全評估反饋應用機制，強化評估結果運用
中國已開展的重大科技計劃監督評估雖然也起到了“掌握實情、發現問題并提出建議舉措”的重要作用，但一些評估意見并未得到有效采納，有些監督評估發現的問題也存在“長期掛賬”的問題。因此，建議建立評估結果的反饋應用機制，一是拓寬結果應用場景，評估報告提交至管理方后，管理方可根據評估結果的優劣，對評估對象予以適當獎勵激勵或監督問責。二是強化對被評對象的指導作用，評估對象或其他需改進的利益相關方須對評估報告提出的問題和建議提出相應改進措施，并對改進情況進行公布。三是提升公眾了解度，針對不涉及保密內容的科技計劃監督評估工作，積極探索并推動向社會公眾公開或部分公開相關報告，引導相關單位和人員認真對待評估意見，積極采取改進措施。通過評估結果反饋機制的建立和實施，可以促進評估意見轉化為實際的改進措施，推動科技計劃實施的持續優化。同時，也可提升科技計劃監督評估工作的權威性和影響力，使其真正成為推動科技創新和發展的重要手段。
作者：應益昕，王曄博，馮潔，翟巖，龐宇
（科技部科技評估中心，北京 100081）
來源：《全球科技經濟瞭望》 2024年5月第39卷 第5期
文章觀點不代表主辦機構立場。