Výsledky aplikace kvantitativních metod CIE. Přehled použitých metod V rámci projektu byly použity tři metody kvantifikace dopadu podpory: –Regresní diskontinuita.

Prezentace na téma: "Výsledky aplikace kvantitativních metod CIE. Přehled použitých metod V rámci projektu byly použity tři metody kvantifikace dopadu podpory: –Regresní diskontinuita."— Transkript prezentace:

1 Výsledky aplikace kvantitativních metod CIE

2 Přehled použitých metod V rámci projektu byly použity tři metody kvantifikace dopadu podpory: –Regresní diskontinuita –Metoda instrumentálních proměnných –Propensity score matching Použitá data: –Byla použita data ČSÚ (vzorek cca 50 000 firem) –Vlastní programy byly zpracovávány programem Octave na počítači ČSÚ

3 Použití datových souborů Regresní diskontinuita – grantové projekty OP LZZ Instrumentální proměnné – grantové projekty OP LZZ Propensity score matching -grantové projekty OP LZZ -Systémový projekt „Vzdělávejte se!“

4 Model regresní diskontinuity Srovnání dopadu podpory na úspěšné a neúspěšné žadatele Model má dobrou interní validitu pro podskupinu firem, ale má omezenou externí validitu Použili jsme ostrou variantu metody, protože hranice 65 bodů byla pro firmy, které měly všechny potřebné údaje k disposici „ostrá“ –Odhad změny pravděpodobnosti získání podpory pro tyto firmy by byl 1 Zkoumali jsme následující indikátory: –Dopad na zaměstnanost měřenou: Počet zaměstnanců (uvažujeme procentní změnu) Počet pracujících (uvažujeme procentní změnu) –Dopad na tržby (uvažujeme procentní změnu) –Dopad na hospodářský výsledek (zisk) – normujeme pomocí celkových aktiv

5 Model regresní diskontinuity RDD odhaduje průměrný vliv podpory v okolí hranice počtu bodů pro získání podpory pomocí rozdílů očekávaných hodnot indikátorů u projektů, které se pohybují těsně nad a pod touto hranicí. Použili jsme 4 metody: –neparametrická regrese (Watson-Nadarayův estimátor – lokální průměry) délka vyhlazovacího okénka nastavena pomocí křížové validace; –polynomiální regresi (s různým stupněm polynomů) metoda obyčejných nejmenších čtverců; robustní polynomická regrese; –semiparametrický odhad pomocí zobecněného zešikmeného normálního rozdělení –Směrodatné chyby odhadů byly vypočteny pomocí neparametrického bootstrapu

6 Stručné shrnutí výsledků U všech tří zkoumaných výzev se ukazuje signifikantní vliv podpory na zaměstnanost, zejména je-li měřena počtem pracujících. Je možné identifikovat slabý vliv na tržby, vliv na zisk není prokázán. Odhad podpory je vyšší pro firmy ve zpracovatelském průmyslu –Je otázka zda je to ekonomickou krizí, která prvně postihla zpracovatelský průmysl Robustnost výsledků vzhledem k míře vyhlazení: –Robustní metody (s větším vyhlazením nebo s menším stupněm použitého polynomu) obvykle nachází numericky větší a statisticky signifikantnější efekt. –To je způsobeno tím, že indikátory obsahují netypické pozorování. –Domníváme se, že až bude k disposici delší časová řada pozorování indikátorů a vliv netypických hodnot bude menší, tento rozdíl vymizí. –Navrhujeme tedy v současnosti dávat větší pozornost výsledkům robustnějších metod (tj. metodám s menším stupněm polynomu, s větším vyhlazením).

7 Výsledky -- výzva 35

8 Výzva 35 – zpracovatelský průmysl Tabulka 2: vliv podpory výzvy 35 pro firmy ve zpracovatelském průmyslu Indikátor Metoda poznámka ZaměstnanciPracujícíTržby Hospodářský výsledek Zešikmené normální rozdělení lineární člen13,81***19,65***30,12**0,05 lineární a kubický člen-6,6514,8739,16-0,04 Nadaraya-Watsonův estimátor vyhlazení dle křížové validace (CV)9,2213,8642,170,10 vyhlazení 5*větší než CV11,4636,4372,350,15 vyhlazení 5*menší než CV3,325,8415,860,02 Polynomiální regrese lineární15,14*19,68*30,770,08 kvadratická14,1121,7438,360,14 kubická12,9726,5240,800,07 Robustní polynomiální regrese lineární12,6912,9015,060,05 kvadratická13,1211,2934,780,13* kubická14,059,2454,670,13 Zdroj: vlastní výpočty, Poznámka *** značí signifikanci na 1%, ** značí signifikanci na 5%, * značí signifikanci na 10%. Signifikance je také barevně odlišena.

9 Výzva 39 Tabulka 3: vliv podpory výzvy 39 Indikátor Metoda poznámka ZaměstnanciPracujícíTržby Hospodářský výsledek Zešikmené normální rozdělení lineární člen15,14***9,65***14,55**0,01 lineární a kubický člen17,52***4,7832,58***0,03 Nadaraya-Watsonův estimátor vyhlazení dle křížové validace (CV)9,902,5936,13-0,02 vyhlazení 5*větší než CV26,022,5980,420,00 vyhlazení 5*menší než CV7,452,59-1,13-0,04 Polynomiální regrese lineární13,578,0215,130,02 kvadratická7,6520,77**19,540,07* kubická17,1626,7241,790,02 Robustní polynomiální regrese lineární4,57-0,154,400,00 kvadratická-0,308,98-1,560,00 kubická-6,4810,65-6,130,00 Zdroj: vlastní výpočty, Poznámka *** značí signifikanci na 1%, ** značí signifikanci na 5%, * značí signifikanci na 10%. Signifikance je také barevně odlišena.

10 Výzva 60 Indikátor Metoda poznámka ZaměstnanciPracujícíTržby Hospodářský výsledek Zešikmené normální rozdělení lineární člen22,44***9,71***14,19**-0,07 lineární a kubický člen11,35***13,76*7,45*-0,09 Nadaraya-Watsonův estimátor vyhlazení dle křížové validace (CV)11,718,0817,970,05 vyhlazení 5*větší než CV16,83*8,8024,980,11 vyhlazení 5*menší než CV11,036,8013,78-0,05 Polynomiální regrese lineární24,96**9,96*12,96-0,05 kvadratická30,34**9,3611,050,03 kubická33,08*7,7917,65*0,09* Robustní polynomiální regrese lineární16,94**3,9913,440,00 kvadratická34,06**11,97*21,45*0,01 kubická41,53*14,23**30,52**0,08 Zdroj: vlastní výpočty, Poznámka *** značí signifikanci na 1%, ** značí signifikanci na 5%, * značí signifikanci na 10%. Signifikance je také barevně odlišena

11 Všechny výzvy Tabulka 5: vliv odhad vlivu podpor pro všechny výzvy Indikátor Metoda poznámka ZaměstnanciPracujícíTržby Hospodářský výsledek Zešikmené normální rozdělení lineární člen11,68***12,34***12,05***0,00 lineární a kubický člen10,36**4,52*-4,02-0,09 Nadaraya-Watsonův estimátor vyhlazení dle křížové validace (CV)8,899,807,83-0,02 vyhlazení 5*větší než CV10,7413,288,01-0,02 vyhlazení 5*menší než CV8,427,196,17-0,02 Polynomiální regrese lineární13,19***14,05***12,97**0,00 kvadratická8,57*12,73**8,860,03 kubická4,599,71*6,590,00 Robustní polynomiální regrese lineární7,88**6,53*8,94**0,00 kvadratická6,716,99**11,11*0,03 kubická6,054,6112,340,04* Zdroj: vlastní výpočty, Poznámka *** značí signifikanci na 1%, ** značí signifikanci na 5%, * značí signifikanci na 10%. Signifikance je také barevně odlišena

12 Všechny výzvy – zpracovatelský průmysl Tabulka 6: vliv odhad vlivu podpor pro všechny výzvy pro firmy ve zpracovatelském průmyslu Indikátor Metoda poznámka ZaměstnanciPracujícíTržby Hospodářský výsledek Zešikmené normální rozdělení lineární člen12,64***15,52***25,37***0,02 lineární a kubický člen2,543,3511,14***-0,03 Nadaraya- Watsonův estimátor vyhlazení dle křížové validace (CV)7,4813,2515,850,05 vyhlazení 5*větší než CV9,8827,7936,090,05 vyhlazení 5*menší než CV3,865,998,15-0,01 Polynomiální regrese lineární13,27***15,48***26,68***0,03 kvadratická11,97**17,42**23,42**0,07 kubická10,2716,44**23,97*0,01 Robustní polynomiální regrese lineární11,01***9,31***18,04***0,02* kvadratická12,94**12,07**20,09**0,07** kubická12,42*8,89*20,57*0,05* Zdroj: vlastní výpočty, Poznámka *** značí signifikanci na 1%, ** značí signifikanci na 5%, * značí signifikanci na 10%. Signifikance je také barevně odlišena

13 Metoda instrumentálních proměnných Tato metoda vyžaduje přítomnost instrumentu, což je proměnná, která: 1.Je korelovaná s proměnnou podezřelou z endogenity (získání podpory) 2. Ovlivňuje zkoumané indikátory pouze skrze změny pravděpodobnosti získání podpory –Podmínka 1 je ověřitelná, podmínka 2 není verifikovatelná v rámci modelu –V současnosti zkoumáme, zda je identifikátor hodnotitele možným instrumentem –V budoucnu budeme hledat další možné indikátory –Metodu používáme na srovnání úspěšných a neúspěšných uchazečů o podporu

14 Predikují hodnotitelé získání podpory? Výzva 35

15 Predikují hodnotitelé získání podpory? Výzva 39

16 Predikují hodnotitelé získání podpory? Výzva 60

17 Predikce změny pravděpodobnosti -- výzva 35

18 Predikce změny pravděpodobnosti -- výzva 39

19 Predikce změny pravděpodobnosti -- výzva 60

20 Metoda IV Ukazuje se, že identifikátor hodnotitele je možné použít jako instrument (pseudo R 2 je 0.26) Odhadli jsme sérii regresních modelů pomocí OLS a IV –Výběr modelů byl udělán pomocí SSVS s restriktivním priorem –Obrana proti data-miningu –Hausmanův test indikuje přítomnost endogenity

21 Metoda IV – shrnutí výsledků (1) Pro indikátory zaměstnanosti, pracujících a zisku metoda OLS odhaduje silný vliv podpory. Metoda IV je schopná najít slabší evidenci pro vliv podpory, nicméně výsledky obou metod jsou dosti odlišné, což poukazuje na přítomnost endogenity. –Z toho důvodu není metoda OLS konzistentní a její použití by nadhodnocovalo vliv podpory. –Výsledky poukazují na pozitivní vliv podpory na indikátory zaměstnanosti, byť výsledky jsou na hranici statistické významnosti. –Překvapivě se ukazuje, že nejvyšší vliv měla podpora v odvětví tržních služeb a v regionu Středních Čech. –Podpora měla naopak nejmenší vliv ve zpracovatelském průmyslu – rozdíl oproti RDD. Neprokázal se vliv podpory na tržby podniků.

22 Metoda IV – shrnutí výsledků (2) Rozumné výsledky indikovány pouze pro grantovou výzvu 35, –u výzev 39 a 60 pravděpodobně málo pozorování Srovnání s výsledky RDD: –Pro agregát firem jsou bodové odhady dopadu podpory na indikátory zaměstnanosti velmi podobné –Výsledky se liší tím, že RDD indikuje největší dopad v průmyslu, kdežto IV nejmenší Je to specifickou situací v roce 2009? Alternativně to může být lokálním charakterem modelu RDD

23

24

25

26

27 Metoda PSM Srovnání úspěšných uchazečů a neuchazečů –metoda propensity score matching a její variantou diferencích v diferencích (difference -in – differences). Odhad jsme provedli na vzorku firem, který byl vybrán v úzké součinnosti s ČSÚ. Ve vzorku bylo 46 000 firem, které zahrnovaly jak úspěšné uchazeče, tak neuchazeče. Data zahrnují roky 2008 a 2009. Sledovali jsme dopady na následující veličiny: –celková zaměstnanost ve firmách (ve formě přirozeného logaritmu, resp. rozdílu), –tržby (opět ve formě přirozeného logaritmu, resp. rozdílu), –a hospodářský výsledek (indikátor zisku). Metoda PSM je založena na odhadu modelu diskrétní volby toho, do které skupiny firma patří (tj. zda mezi úspěšné žadatele nebo nežadatele) a na následném srovnání hodnot indikátorů pro úspěšné žadatele a nežadatele, kteří mají podobnou odhadnutou pravděpodobnosti toho, že firma patří mezi úspěšné žadatele (propensity score). Srovnání: –metoda nejbližšího souseda. –Kernelová metoda

28 Projekt „Vzdělávejte se!“ Základní statistické charakteristiky zkoumaných firem PrůměrSTDMediánIQR Hospodářský výsledek Podpořené firmy-0,020,31-0,010,06 Neuchazeči-0,058,62-0,010,13 Tržby Podpořené firmy2,311,872,462,59 Neuchazeči1,582,251,442,67 Zaměstnanost Podpořené firmy-0,285,76-0,249,87 Neuchazeči-2,036,41-1,9811,18 Výsledky pro PSM - Nejbližší soused ZiskTržbyZaměstnanost Bodový odhad0,0330,7051,502 Směrodatná odchylka0,3091,8672,036 P-hodnota0,2930,3260,424 Výsledky pro PSM - Kernelový odhad ZiskTržbyZaměstnanost Bodový odhad0,0210,7261,481 Směrodatná odchylka0,3131,8672,214 P-hodnota0,2960,3700,436

29 Granty PrůměrSTDMediánIQR Hospodářský výsledek Podpořené firmy-0,020,48-0,000,23 Neuchazeči-0,058,48-0,010,13 Tržby Podpořené firmy3.181,882,952,20 Neuchazeči1,552,221,392,64 Zaměstnanost Podpořené firmy-0,295,72-0,219,86 Neuchazeči-2,026,37-1,9611,06 ZiskTržbyZaměstnanost Bodový odhad0,2172,5211,411 Směrodatná odchylka0,4831,8892,241 P-hodnota0,9710,8980,873 Základní statistické charakteristiky zkoumaných firem Výsledky pro PSM - Nejbližší soused Výsledky pro PSM - Kernelový odhad ZiskTržbyZaměstnanost Bodový odhad0,0211,6311,392 Směrodatná odchylka0,4861,8892,451 P-hodnota0,8150,8390,916

30 Další grafické znázornění výsledků

31 Grafická reprezentace RDD pro firmy ve zpracovatelském průmyslu -- počet pracujících

32