1               Úvod

Posláním RVV je zajišťovat efektivní využívání státní podpory VaV. Za účelem splnění tohoto cíle RVV

  • Vytváří informační bázi shromažďující potřebná data o projektech, záměrech a jejich výsledcích, o výzkumných institucích, poskytovatelích a o soutěžích
  • Vytváří podklady pro hodnocení výsledků a návazně hodnocení efektivnosti vynaložených nákladů na projekty a na instituce, hodnocení efektivnosti činnosti poskytovatelů a celkové efektivnosti financování výzkumu
  • Vytváří návrh rozpočtu v oblasti VaV

RVV provozuje IS VaV zahrnující hlavní data oblasti VaV

  • Projekty, jejich řešitelé, příjemci, vynaložené náklady, cíle
  • Výzkumné záměry tj. podpora výzkumných institucí (dále budeme záměry považovat za variantu projektů a budeme zmiňovat pouze projekty)
  • Výsledky získané při řešení projektů, a při činnosti výzkumných institucí podporovaných alespoň z části ze státního rozpočtu, návaznosti těchto výsledků na projekty a instituce
  • Poskytovatele, jimi podporované projekty a instituce, jimi vyhlašované soutěže a programy

2               Hodnocení prováděné v ČR. 

Zde popíšeme postupy hodnocení VaV tak jak jsou aplikovány v letech 2005 - 2007. Metodika hodnocení se v průběhu let vyvíjela a budeme vycházet z Metodiky pro rok 2007. Je možné porovnávat výsledky hodnocení vztažené k průměru v různých letech s tím, že rozdíly v metodice pro jednotlivé roky nemají velký vliv na výsledky hodnocení.

Postup hodnocení je následující

  • Na základě dat z IS VaV RVV nechává zpracovat hodnocení výsledků výzkumné činnosti a následně potom hodnocení projektů, institucí, poskytovatelů a programů. Postup hodnocení je následující

    • Ohodnotí se výsledky pomocí parametrické metody popsané níže a každý výsledek je ohodnocen tzv. body (nazývané také váhy výsledku)

      výsledek je ohodnocen body

    • Hodnocení projektů

      • Stanoví se skupina hodnocených projektů (a výzkumných záměrů), např. tak, že se jedná (zhruba) o projekty ukončené v posledních 5 letech,  s výjimkou projektů týkajících se infrastruktury (a příp. dalších)

      • Bodové ohodnocení výsledků dosažených při řešení hodnoceného projektu se přiřadí k projektům, přitom pokud některý výsledek navazuje na více projektů, body se rozdělí rovnoměrně tj.

        projektu se přiřadí body

      • U projektu je známo jaké byly vynaložené náklady za státního rozpočtu a tedy je možné vypočíst index, který je stanoven jako počet bodů na vynaloženou jednotku nákladů (jednotkou je milion Kč)

        index = body dosažených výsledků / náklady na projekt v mil. Kč

        Tento index vystihuje efektivitu vynaložených prostředků.

      • Pro porovnání je účelné vztáhnout tento index k nějaké formě „průměrného indexu" a zavést veličinu

        relativní index = (index projektu / průměrný index) * 100 %

        Průměrný index lze stanovit jako podíl celkové body za VaV / celkové náklady na VaV (nebo za jinou relevantní oblast)

        Relativní index také umožní porovnání indexů z různých období, což vede na časové řady, které mohou vyjádřit trendy při vývoji v čase

      • Relativní index má přímou a jednoduchou interpretaci : vyjadřuje v % jak se má (tj. kolika % dosahuje) efektivita výzkumné činnosti na daném projektu v porovnání oproti průměrné efektivitě v oblasti VaV. Průměrně efektivní projekt má relativní index roven 100 %.

    • Hodnocení institucí pomocí jejich podílu na projektech

      • U dané instituce se stanoví její podíl na projektu (ve finančním vyjádření) a v tomto poměru se institucí přiřadí náklady a body související s projektem
      • Tyto náklady a body se sečtou pro všechny projekty na kterých se daná instituce podílela jako příjemce nebo jako člen konsorcia (nebo jako tzv. spolupříjemce, což je jiná forma pro člena konsorcia)
      • Potom máme index a relativní index podobně jako pro project

        Index = celkové body / celkové náklady

        Relativní index = (index / průměrný index) * 100 %

    • Hodnocení institucí pomocí jejich vztahu k výsledkům (toto je vhodné pro vyhodnocení institucionálního financování)

      • Sečtou se body za výsledky, které instituce dosáhla v daném období v podílu podle autorství výsledku
      • Sečtou se náklady na institucionální financování instituce za dané období
      • Potom máme index a relativní index podobně jako pro projekt

        Index = celkové body / celkové náklady

        Relativní index = (index / průměrný index) * 100 %

    • Hodnocení poskytovatelů a programů pomocí jejich vztahu k projektům jimi financovaným

      • Pro daný program se sečtou body z projektů tohoto programu a sečtou se také náklady na tyto projekty
      • Potom máme index a relativní index podobně jako pro projekt

        Index = celkové body / celkové náklady

        Relativní index = (index / průměrný index) * 100 %

      • Podobně lze vyhodnotit efektivitu činnosti poskytovatele
  • Pravidla pro hodnocení výsledků jsou dána dohodou účastníků VaV prostřednictvím RVV. Tato pravidla jsou stanovena vMetodice aktualizované pro každý rok RVV a jsou výsledkem určitého konsensu. Níže uvedeme pravidla používaná Metodikou RVV pro rok 2007. Jak je uvedeno výše, od pravidel pro hodnocení výsledků se celkem jednoznačně odvíjí hodnocení projektů, institucí, poskytovatelů atd.
    • Základním atributem výsledku je druh výsledku a podle druhu výsledku je stanoven postup hodnocení výsledku. Druhy výsledku jsou např. : odborný článek, monografie, článek ve sborníku, patent, technologie a další druhy aplikovaných výsledků
    • Odborný článek je hodnocen pomocí korigovaného impaktního faktoru časopisu, který je stanoven jako podíl
      impaktní faktor časopisu / medián impaktního faktoru pro obor časopisu.

      Tato korekce zajistí, že mediány korigovaných impaktních faktorů jsou pro všechny obory stejné (a to =1). Vzorec pro body je např. tento
      body za článek = 5 + 15 * korigovaný impaktní factor časopisu.

    • Odborný článek v neimpaktovaném časopisu je hodnocen pomocí jazyka článku (např. 4 body za cizojazyčný článek, 1 bod za článek v českém jazyce). Přitom se předpokládá, že časopis je  v seznamu hodnocených tzv. recenzovaných časopisů
    • Článek ve sborníku je hodnocen např. jako 0.4 resp. 0.1 bodu dle jazyka článku
    • Monografie je hodnocena např. jako 50 bodů resp. 25 bodů dle jazyka
    • Patent je hodnocen 50 až 500 body podle rozsahu patentu (domácí patent až USA nebo EU patent)
    • Další druhy výsledků jsou hodnoceny podle jejich atributů
  • Výsledkem hodnocení jsou tabulky, které dávají přehled o pořadí institucí podle indexu (příp. podle relativního indexu), pořadí poskytovatelů a také tabulky agregující výsledky, náklady a indexy pro školy, fakulty, výzkumné ústavy, akademické ústavy, soukromé firmy, poskytovatele (tj. ministerstva a další) apod.

RVV plánuje určité změny pro hodnocení v dalších letech. Jedná se především o úpravu institucionálního financování.

  • Záměrem RVV je podřídit institucionální financování instituce bodovému ohodnocení výsledků dosažených vminulém období (včetně určitého přechodného období) tak, aby bylo možné úspěšné instituce financovat lépe a u méně úspěšných institucí financování postupně omezovat tak, aby se efektivita vynaložených prostředků zvyšovala
  • Účelové financování bude dále řízeno prostřednictvím grantových agentur a úspěšnost těchto poskytovatelů je možné vyhodnocovat, jak je uvedeno výše pomocí indexů a relativních indexů

3               Obecné principy hodnocení.

Nyní, když jsme popsali v hrubých rysech činnosti, které RVV vykonává v oblasti VaV, pokusíme se podívat na tuto problematiku obecněji a zjistíme, že postupy, kterými se řídí RVV lze zařadit do dvou skupin

  • Obecné principy (a hlavní důrazy), které se prakticky používají a jsou ve své podstatě určeny vnitřní logikou oblasti VaV - mezi ně řadíme např.
    • Vyhodnocení výsledků pomocí bodů
    • Rozdělení bodů na projekty podle návazností projektů a výsledků
    • Rozdělení bodů pomocí návazností mezi výsledky a institucemi při institucionálním financování
    • Výpočty indexů a relativních indexů pro různé oblasti
  • Specifické parametrizace výpočtů pro bodů přiřazených danému výsledku. Obecně lze říci, že se jedná o mnoho-parametrickou metodu ohodnocení, která
    • Je daná pro každý druh výsledku zvlášť
    • Je odvozena od hodnot atributů daného výsledku
    • Pro články v impaktovaných časopisech závisí na korigovaném impaktním faktoru časopisu (pomocí oborového mediánu impaktního faktoru)
    • Pro články v neimpaktovaném časopisu, články ve sborníku a pro monografie body závisí na jazyku publikace
    • Pro patenty body závisí na geografickém rozsahu patentové ochrany
    • Všechny uvedené závislosti jsou specifikovány konkrétními parametry, které tvoří parametrizaci dané metody hodnocení výsledků

Aby bylo možné aplikovat uvedené postupy, je v podstatě nutné mít k dispozici data týkající se objektů v informační oblasti VaV. Jedná se o tyto druhy dat

  • Data o projektech, nákladech na projekty, o institucích řešících tyto projekty a jejich podílu na financování
  • Data o institucionálním financování výzkumných institucí
  • Data o výsledcích výzkumné činnosti, údaje o druhu výsledku a další potřebné atributy v závislosti na druhu výsledku (např. pro odborný článek údaje o časopisu, kde je výsledek publikován, údaj o jazyku publikace, údaje o rozsahu patentu apod.)
  • Data o návaznosti výsledku na projekt (projekty), při jehož řešení výsledek vznikl

4               Principy objektivního hodnocení

Principy objektivního hodnocení jsou zhruba následující

  • Objektivni hodnocení je dáno pravidly a není závislé na konkrétní situaci
  • Základní vlastností objektivního hodnocení je nestrannost tj. nezávisí na úmyslech a cílech a subjektivních přesvědčeních subjektů účastných na hodnocení
  • Druhou základní vlastností objektivního hodnocení je jeho nevyvratitelnost - tj. výsledky objektivní hodnocení nelze v principu vyvrátit, lze pouze apelovat na jeho nepřesnost
  • Objektivní hodnocení může být nepřesné, ale jeho nepřesnost je náhodná a jako taková podléhá pravidlu o vyrušení náhodných nepřesností při agregaci (např. při agregaci na instituci, program apod.)
  • Objektivní hodnocení může obsahovat systematickou nepřesnost (např. podcenění aplikovaných výsledků vůči výsledkům základního výzkumu), avšak tuto systematickou nepřesnost je možné vysledovat a korigovat
  • Objektivní hodnocení je vhodné zúžit na oblasti, které jsou relativně homogenní (např. oblast základního výzkumu, oblast aplikovaného výzkumu apod.) a tímto postupem je možné podstatně snížit možnost systematických nepřesností

Objektivní hodnocení má dvě základní vlastnosti

  • Nevyvratitelnost
  • Nestrannost

Objektivní hodnocení lze výhodně kombinovat s peer review, ale v případě kdy se tyto dvě metody rozcházejí je nutné zvláštní posouzení, které bere v úvahu principiální nevyvratitelnost objektivního hodnocení.

Proto je nutné, aby objektivní hodnocení bylo podkladem pro peer review (pravidlo : fakta objektivního hodnocení nelze popírat).

Nepřesnosti objektivního hodnocení je třeba chápat dvěma způsoby

  • Statistické nepřesnosti, které se při první agregaci vyruší
  • Systematické nepřesnosti, které je třeba objevit, analyzovat a kompenzovat

5               Význam objektivního hodnocení.

Informační podklady pro hodnocení zdánlivě slouží pouze pro účely hodnocení RVV apod. Ve skutečnosti tyto podklady slouží každému účastníkovi pracujícímu v oblasti VaV k tomu, aby se mohl samostatně orientovat, mohl samostatně ocenit přínos jednotlivých projektů, jednotlivých týmů pracujících na projektech, jednotlivců na tvorbě výsledků a plánovat na základě těchto objektivních informací svůj vlastní postup. Velký užitek tyto podklady přináší pro činnost poskytovatelů, hodnotících komisí a dalších. Objektivní hodnocení je často významným korektorem subjektivních hodnocení, protože je nezávislé na úmyslech a motivacích a přesvědčeních hodnotících subjektů. Přínos objektivního hodnocení je tedy velký a prospívá všem účastníkům procesu VaV.

Základním principem objektivního hodnocení v hlavní oblasti odborných článků je princip ohlasu. Výsledky obsažené v daném odborném článku jsou hodnoceny podle toho, jaké jsou jeho ohlasy (citace) v pracích ostatních výzkumníků. Tímto parametrem je určena především atraktivita a zájem pracovníků na daném tématu výzkumu a inspirativnost dané práce pro práci ostatních pracovníků.

Ohlas dané práce lze velmi dobře ocenit pomocí impaktního faktoru časopisu ve kterém je publikována, protože impaktní faktor časopisu je dán průměrnou citovaností článků v tomto časopisu. Tím, že se ohlas vyhodnocuje citovaností časopisu je ze statistického hlediska oprávněné - v průměru jde o tu samou veličinu jako je citovanost článku. Hodnocení práce pomocí korigovaného impaktního faktoru časopisu je třeba tedy považovat za realizaci principu hodnocení podle ohlasu. Přímé hodnocení práce podle ohlasů je obtížně realizovatelné, protože by  bylo nutné počkat řadu let na to, jaké faktické ohlasy daný článek získá, což je pro účely běžného hodnocení nereálné.

Pokud se objektivní hodnocení zásadním způsobem rozchází s hodnocením prostřednictvím peer review, vzniká otázka kde je pravda a náš názor je, že je třeba se v principu (pokud není známá nějaká příčina systematické nepřesnosti objektivního hodnocení) přiklonit na stranu objektivního hodnocení, protože jeho principy nelze vyvrátit, pouze může být nepřesné. (Pokud matematik M1 má třikrát větší ohlasy než matematik M2, je velmi těžké zdůvodnit, proč by M2 měl být lepší matematik než M1 - prakticky to zdůvodnit nelze, pouze subjektivní sympatie mohou být na straně M2, ale fakta vyvrátit nelze.)

6               Potřeby evropského výzkumného prostoru v oblasti informační infrastruktury VaV a hodnocení.

Potřeby evropského výzkumného prostoru a nezbytnost zavedení objektivního hodnocení v oblasti EU lze stručně popsat následujícím způsobem

  • Principy, které vedly knezbytnosti zavedení informační infrastruktury vČR platí stejně i vEU. Základní potřeby jsou tyto
    • Dostupnost informací o projektech, financování, výzvách, výsledcích výzkumných aktivit
    • Dostupnost podkladů pro hodnocení všech součástí oblasti VaV
  • Základním pojmem je pojem informační infrastruktura pro VaV a pro hodnocení.
  • Je jasné, že je třeba postupovat pomocí integrace dat znárodních a jiných CRISů.
    • Co se týče integrace dat, je zde již řadu let kdispozici datová struktura CERIF, která vprincipu umožní integraci dat
  • Důvody pro nezbytnost zavedení informační infrastruktury pro VaV a pro hodnocení vEU jsou následující
    • Bez možnosti hodnocení efektivity výzkumných aktivit není možné dosáhnout potřebné efektivnosti alokace zdrojů - toto je základní úkol strategického směrování VaV
    • Bez existence potřebných primárních dat o objektech ve VaV (projekty atd.) není možné aplikovat metody objektivního hodnocení a není tedy možné dosáhnout efektivního vynakládání prostředků
    • Evropský výzkumný prostor vyžaduje jednotnou evropskou informační infrastrukturu a podklady pro hodnocení, neboť financování národní se prolíná sfinancováním evropským. Zatímco faktická integrace výzkumu už proběhla, integrace voblasti IS a hodnocení ještě není vplné šíři realizována.
  • Základním důvodem pro výše uvedený postup je princip ekonomické efektivnosti
    • Efektivnost vynakládání prostředků je nutné řídit pomocí hodnocení výstupů zvýzkumné činnosti
    • Přímé obchodní ohodnocení prostřednictvím tržních sil není možné, protože faktický efekt výzkumné činnosti lze realizovat až po delší době
    • Je tedy nutné výstupy zvýzkumné činnosti hodnotit pomocí objektivního hodnocení a tím nahradit tržní síly