Analiza stroškov in koristi programa starševstva Neverjetna leta
Namen dela: Namen članka je opozoriti na visoko razmerje med družbenimi koristmi in stroški programov starševstva, ki omogočajo zmanjševanje čustvenih in vedenjskih težav otrok že v najzgodnejšem obdobju. Cilj članka je predstaviti ekonomsko evalvacijo programa starševstva Neverjetna leta za otroke od 3 do 8 let, ki se je izvajal v obdobju 2017 – 2019 v Sloveniji. Osnovne metode: Glavna metoda članka je analiza stroškov in koristi, ki se osredotoča na področja, kjer so koristi programa najmočnejše, podatki pa dostopni. To so osnovno šolstvo, predšolska vzgoja, zdravstvo in zasvojenost. Program prinaša neposredne koristi tudi na drugih področjih, naprimer učinki na starše in družine, prestopništvo in kriminal, brezposelnostter manjšo kronično telesno in duševno obolelost v odrasli dobi, ki pa so zaradi nedostopnosti podatkov opredeljeni le kvalitativno. Presoja ekonomske upravičenosti tako temelji na konservativnem pristopu, saj je v izračun zajet le del dejanskih pozitivnih učinkov programa, medtem ko so stroški izvedbe programa zajeti v celoti. Glavni izsledki: Rezultati kažejo, dasedanja vrednost družbenih koristi več kot 5-krat presega sedanjo vrednost stroškov izvedbe programa. Nediskontirana vsota koristi programa enkratne izvedbe programa v predvidenem obsegu za leto 2018 skupaj znaša 1.171.855 €.Povprečni učinek na udeleženca znaša 6.510 €, strošek na udeleženca paznaša 964 €. Poglavitni sklepi: Izračuni potrjujejo, da je program ekonomsko upravičen in družbeno zaželen, saj koristi, ki jih s programom pridobijo člani družbe, (močno) presegajo stroške izvedbe programa. Ugotovitve so ključnega pomena za snovalce zdravstvene politike, za izvajalce programov in za odločevalce o porabi proračunskih sredstev za ta namen. Za razvoj programa pa bodo v prihodnosti potrebna vlaganja v izobraževanje domačih supervizorjev in gradnjo podporne mreže novim izvajalcem programa.
Kaj je znanega?
Programi starševstva Neverjetna leta so se v daljšem obdobju in različnih kulturnih okoljih izkazali kot eni izmed najbolj učinkovitih z vidika krepitve čustvenega, socialnega in kognitivega razvoja otrok ter preprečevanja in zmanjševanja njhovih vedenjskih težav.
Kaj je novega?
Program Neverjetna leta prinaša neposredne koristi na področjih osnovnega šolstva, predšolske vzgoje, zdravstva in zasvojenosti, ki znotraj desetletnega obdobja več kot 5-krat presegajo stroške enkratne izvedbe programa v Sloveniji, zato je program z vidika družbe tudi ekonomsko upravičen. V študiji dodatno identificiramo koristi na drugih področjih, ki še dodatno povečujejo družbeno zaželenost programa.
Učinki z dokazi podprtih zdravstvenih programov, med katere sodijo tudi programi starševstva, so predmet številnih raziskovanj, ki potrjujejo njihov pozitiven vpliv na zdravje in dobrobit posameznikov, oz. njihovega neposrednega okolja. Redkejše pa so študije ekonomskih učinkov takih programov, še posebej take, ki omogočajo primerjavo med posameznimi programi. Ekonomske evalvacije programov na področju zdravstva so na eni strani zahtevne zato, ker je vanje potrebno zajeti učinke, ki nastajajo na izjemno heterogenem naboru področij, hkrati pa je potrebno upoštevati zunanje učinke takih programov.
Namen članka je opozoriti na visoko razmerje med družbenimi koristmi in stroški programov starševstva, ki omogočajo zmanjševanje čustvenih in vedenjskih težav otrok že v najzgodnejšem obdobju. V prispevku predstavljamo prvo slovensko ekonomsko evalvacijo programa starševstva Neverjetna leta (angl. Incredible Years, v nadaljevanju NL) za otroke od 3 do 8 let, ki se je izvajal v obdobju 2017–2019, na podlagi analize stroškov in koristi (angl. cost-benefit analysis, v nadaljevanju CBA) z namenom presoje ekonomske upravičenosti omenjenega programa z družbenega vidika. Ker CBA temelji na v denarju izraženih stroških in koristih programa, so rezultati tovrstnih analiz uporabni tako za snovalce zdravstvenih in drugih politik, za izvajalce programov NL, kot tudi za presojo ustreznosti porabe proračunskih sredstev za ta namen.
Glede na dosežene rezultate so programi starševstva NL, katerih učinkovitosti in prenosljivost v različna kulturološka okolja je preučevana že več kot štirideset let, ocenjeni kot eni izmed najbolj učinkovitih programov na tem področju (1). Treningi starševstva NL so prek dela s starši namenjeni krepitvi čustvenega, socialnega in kognitivnega razvoja otrok ter preprečevanju in zmanjševanju vedenjskih težav otrok. V program so vključeni starši, ki se srečujejo s težavnim vedenjem svojih otrok, ki so napoteni ali že obravnavani v partnerskih ustanovah. V program se vključujejo tudi starši, ki si želijo zgolj izboljšati svoje starševske kompetence. Osnovni program je namenjen otrokom v starosti od 3 do 8 let, saj raziskave kažejo, da je ključno, da se v primeru čustvenih in vedenjskih težav začne z intervencijo dovolj zgodaj, tj. že v predšolskem obdobju in da so zgodnje intervencije pri otrocih ključne za preprečevanje ali blaženje posledic vedenjskih težav in težav pri učenju (2, 3). Pozitivni učinki zgodnje intervencije se kažejo med 8 in 10 let po intervenciji (4).
V Sloveniji se je pilotski projekt uvajanja treningov starševstva po programu NL začel z izvedbo v obdobju 2015–2016 v sodelovanju Službe za otroško psihiatrijo Pediatrične klinike Ljubljana, osmih slovenskih partnerskih inštitucij ter norveškega partnerja. Program je bil financiran preko programa Norveškega finančnega mehanizma 2009–2014 in se je kot v ostalih državah izkazal z izjemnimi rezultati. Prepoznavnost koristi programa med starši in v strokovni javnosti in potreb po programu je pripeljala do načrta dolgoročne implementacije in širitve programa na nacionalni ravni. V letu 2017 je bilo vzpostavljenih deset enot v petih slovenskih regijah. Finančne vire v obdobju 2017–2019 so zagotavljali Ministrstvo za zdravje in konzorcij partnerskih inštitucij s podporo lokalne skupnosti ter Ministrstvo za delo, družino, socialne zadeve in enake možnosti.
V članku predstavljena analiza je ena redkih študij, ki za izhodišče jemlje CBA. CBA namreč temelji na primerjavi v denarju izraženih stroškov in v denarju izraženih koristi analiziranega programa oz. aktivnosti in zato omogoča primerjavo ne le med sorodnimi programi, temveč tudi med programi z različnih področij. Medtem ko merjenje stroškov tovrstnih programov običajno ni problematično, pa merjenje koristi teh programov na način, da jih lahko vključimo v izračune, predstavlja precejšen izziv. Posledično večina obstoječih ekonomskih evalvacij s tega področja ne temelji na CBA, z izjemo evalvacije O'Neill in sodelavcev (5). V naši analizi programa zajemamo koristi na področjih osnovnega šolstva in predšolske vzgoje, zdravstva, zasvojenosti in mladostniškega prestopništva. Ostale koristi, vključno z zunanjimi učinki, pa opredeljujemo kvalitativno.
V nadaljevanju predstavljamo najprej ugotovitve povezane literature, nato pa v tretjem delu članka metodo dela. V četrtem delu članka predstavljamo najprej rezultate merjenja stroškov in koristi, nato pa izračun kazalnikov ekonomske upravičenosti ter analizo občutljivosti rezultatov. Ključne ugotovitve podajamo v zadnjem delu.
2 Pregled literature in obstoječih študij programov starševstva Neverjetna letaLongitudinalne raziskave potrjujejo, da predstavljajo čustvene in vedenjske motnje v otroštvu in adolescenci visoko tveganje za slabo duševno zdravje v odraslosti (6, 7) in da so zgodnje intervencije pri otrocih ključne za preprečevanje ali blaženje posledic duševnih motenj (2). Med slednjimi se navajajo neuspeh pri izobraževanju, samomorilnost, kriminaliteta, najstniško starševstvo, duševne in telesne zdravstvene težave, socialna izolacija in celo smrt. Študije kažejo, da so programi treningov starševstva učinkovit način za zmanjševanje vedenjskih težav otrok, za pridobitev veščin pozitivnega starševstva, zmanjšanje anksioznosti, stresa in depresivnosti pri starših (8). Zaradi učinkovitosti in dolgoročnih pozitivnih koristi izvajanje programov starševstva podpira Svetovna zdravstvena organizacija (9, 10), Evropska komisija (11), UNICEF (12) in Združeni narodi (13).
Program starševstva NL za otroke od 3 do 8 let vključuje preventivne posege na področju duševnega zdravja otrok in blagostanja družin kot tudi zdravljenje vedenjskih motenj v zgodnjem otroštvu. Analize potrjujejo, da udeležba v tovrstnih programih statistično značilno zmanjšuje vedenjske motnje pri otrocih (14, 5) in tako zmanjšuje, oz. preprečuje negativni vpliv vedenjskih motenj z zgodnjim začetkom na izobraževanje, zdravje, zasvojenost, prestopništvo in kriminal, zgodnje starševstvo, zanemarjanje otrok ipd. Posledice udeležbe staršev v programih NL so večje starševske kompetence, boljše vzgojne veščine, boljši odnosi v družini, izboljšana samopodoba članov družine, višja otrokova socialna, čustvena in komunikacijska kompetenca, izboljšana pripravljenost za učenje, preprečitev hujših vedenjskih motenj, izboljšana interakcija med otroki in starši, zgrajeni pozitivni odnosi in večja povezanost, večja zmožnost staršev za reševanje problemov, izboljšana interakcija med učitelji, otroki in starši, zmanjšanje ter zdravljenje zgodnjih vedenjskih in čustvenih težav pri otrocih, razvijanje socialnih veščin in čustvene kontrole pri otrocih, boljša pripravljenost otrok na šolo in reševanje problemskih situacij (pregled študij npr. v 14). Študije učinkov zgodnje intervencije pri otrocih z vedenjskimi težavami kažejo tako kratkoročne učinke (15), kot učinke v daljšem obdobju, na primer še 8–10 let (4) ali celo do 20 let (16). Med dolgoročnimi in v večji meri merljivimi koristmi programov se navajajo družbeni prihranki na področju najrazličnejših zdravstvenih storitev (od zdravljenja psihiatričnih motenj do kroničnih nenalezljivih bolezni), na področju vseh ravni izobraževanja, na področju socialnih storitev, na področju preprečevanja rabe dovoljenih in prepovedanih drog ter drugih, predvsem vedenjskih zasvojenosti, na področju mladostniškega prestopništva in kriminalitete (14). Poleg omenjenih prihrankov program prispeva k boljšim akademskim dosežkom otrok in k večji stopnji njihove delovne aktivnosti v odrasli dobi, s tem pa program zmanjšuje potrebo po izplačilih nadomestil za čas brezposelnosti ter socialnih transferih (17, 18, 19, 7). Trajanje oziroma dolgoročnost učinkov sicer še nista dobro raziskana, saj na tem področju manjka longitudinalnih študij, ki bi otroke udeležencev programov starševstva spremljale skozi daljše časovno obdobje in na tej osnovi merile dolgoročne učinke programa. Tovrstna analiza je bila načrtovana tudi v Sloveniji, a zaradi epidemije covida-19 še ni zaživela.
3 MetodaV analizi CBA predpostavljamo, da program NL predstavlja novost, ki po našem vedenju v našem prostoru nima alternative z enakimi vsebinskimi učinki. To pomeni, da je celoten tok stroškov in koristi programa inkrementalen in nastaja dodatno zaradi izvedbe programa. Ker gre za zdravstveni program, ki je financiran iz javnih virov in za uporabnike brezplačen, program ne ustvarja prihodkov in s tem neposrednih tržnih denarnih koristi. Pozitivni učinki programa zato nastajajo izključno v nedenarni obliki kot posredne koristi, ki so posledica nenastajanja negativnih učinkov v družbi. Take koristi v ekonomiki imenujemo oportunitetne koristi.
Če želimo aplicirati CBA, moramo nedenarne koristi programa denarno ovrednotiti. Koristi takih programov se običajno merijo z diagnostičnimi vprašalniki, ki jih izpolnjujejo udeleženci pred in po izvedbi. V okviru programa NL za obdobje 2017–2019, ki ga analiziramo, so se podatki o učinkih zbirali s pomočjo uvodnega intervjuja s starši ter diagnostičnih vprašalnikov Lestvica starševstva (angl. The Parenting Scale), Eyberg Child Behaviour Inventory (ECBI), Lestvica duševnega blagostanja (angl. Warwick – Edinbourgh Mental Wellbeing Scale – WEMBS) in Diagnostični intervju (DAWBA). Za razliko od nekaterih programov v tujini (5) se učinkov zaenkrat ni spremljalo preko vprašalnika za merjenje potreb otrok po zdravstvenih, socialnih in izobraževalnih storitvah pred in po udeležbi staršev v programu (npr. Client socio-demographic and service receipt inventory, 20). Ker je za izdelavo CBA potrebno koristi programa denarno ovrednotiti, so podatki, zbrani s takšnim vprašalnikom, zelo koristni. Namesto tega smo uporabili podatke iz sekundarnih virov ter intervjujev z direktorico javnega zavoda Mala ulica in z vodjo Službe za otroško psihiatrijo Pediatrična klinika Ljubljana ter vodjo programov NL.
Za vrednotenje koristi programov, ki nastajajo v nedenarni obliki, so se v ekonomski teoriji in empiričnih študijah razvile različne metode, ki jih v grobem lahko razvrstimo v dve veliki skupini. Ena skupina metod temelji na funkciji povpraševanja in poskuša neposredno vrednotiti koristi programa, bodisi s pomočjo ocene pripravljenosti za plačilo koristi (angl. willingness to pay, v nadaljevanju WTP) bodisi preko ocene pripravljenosti za sprejetje škode (angl. willingness to accept, v nadaljevanju WTA) (21). Oba pristopa temeljita na preferencah posameznika, ki pa jih lahko merimo kot razkrite preference (angl. revealed preferences) ali izražene preference (angl. stated preferences). Druga skupina metod temelji na oceni prihranka v stroških zaradi učinkov programa. V tem primeru koristi programa torej ne vrednotimo neposredno temveč v obliki oportunitetnih koristi, torej stroškov, ki zaradi programa ne bodo nastali. Prihranek v stroških tako lahko izmerimo direktno na podlagi prihranka v stroških proizvodnje, kadar ta zaradi učinkov programa ni več potrebna (npr. stroški zdravstvenih storitev, ki se jim izognemo, ker posameznik ne potrebuje zdravstvene obravnave v določenem obdobju; potni stroški posameznika, ki zaradi programa ne nastajajo).
Pri analizi ekonomske upravičenosti programa starševstva NL upoštevamo, da stroški nastajajo v času izvedbe programa, koristi programa pa se izkazujejo skozi daljše obdobje. Na podlagi tako opredeljenih stroškov in koristi programa za analizirano obdobje izdelamo projekcijo denarnega toka in izračunamo kazalnike ekonomske upravičenosti. Stroškov in koristi, ki nastajajo v različnih obdobjih, ne moremo neposredno primerjati med seboj, lahko pa jih primerjamo tako, da izračunamo njihovo sedanjo vrednost s pomočjo zahtevane družbene stopnje donosa (21), ki odraža družbene časovne preference. V Sloveniji Uredba o enotni metodologiji za pripravo in obravnavo investicijske dokumentacije na področju javnih financ (v nadaljevanju Uredba; 22) določa uporabo 4-% diskontne stopnje, ki jo uporabljamo tudi v tej študiji.
Pri ocenjevanju in vrednotenju programov lahko uporabljamo različne kriterije oziroma metode za presojo njihove ekonomske upravičenosti. Najpogosteje uporabljeni dinamični kazalniki oziroma metode so neto sedanja vrednost projekta, notranja stopnja donosnosti projekta in indeks donosnosti (B/C indeks).
Neto sedanja vrednost (NSV, angl. net present value, NPV) je definirana kot vsota sedanjih vrednosti donosov in vlaganj (t.j. vsota diskontiranih denarnih tokov) (23). Pozitivna NSV pomeni, da je program ekonomsko upravičen, saj s koristmi programa več kot pokrijemo investicijska vlaganja ter tekoče stroške programa, obenem pa generiramo donos, ki je višji od zahtevanega glede na upoštevane družbene časovne preference.
Notranja stopnja donosa (NSD, angl. internal rate of return, IRR) je določena kot tista diskontna stopnja, kjer se sedanja vrednost donosov in sedanja vrednost investicijskih vlaganj izenačita, tj. diskontna stopnja, pri kateri je NSV enaka nič. Program je ekonomsko upravičen, če je NSD večja od relevantne diskontne stopnje (23).
Indeks donosnosti izračunamo kot razmerje med sedanjo vrednostjo koristi in sedanjo vrednostjo vlaganj. V okviru CBA ga pogosto imenujemo B/C indeks (angl. benefit to cost index). V skladu s tem kriterijem so ekonomsko upravičeni tisti programi, ki imajo indeks višji od 1. To pomeni, da je sedanja vrednost koristi večja od sedanje vrednosti vlaganj, NSV pa večja od nič.
4 RezultatiAnalizirani program starševstva NL za otroke od 3 do 8 let se je izvajal od druge polovice leta 2017 do sredine leta 2019 v predvidenem obsegu 360 udeležencev (staršev). Od tega je bila polovica programa izvedena v letu 2018, ki ga analiziramo v nadaljevanju (180 udeležencev).
Na podlagi Načrta delovanja Centra za dokazano učinkovite programe zgodnjih intervencij na področju duševnega zdravja otrok (24) smo v analizi upoštevali 15 skupin izvedb na leto s povprečno 12 udeleženci, kar torej pomeni 180 udeležencev, tj. staršev v letu 2018. Ker v času izdelave naše študije podatki o dejanski realizaciji še niso bili na voljo, smo predpostavili, da je skupno število otrok, ki so deležni koristi programa, prav tako enako 180. To pomeni, da je razmerje med številom staršev-udeležencev in otrok, ki so deležni koristi programa, enako 1 (tako kot v 25). V praksi ima večina udeležencev sicer več kot enega otroka, kar pomeni, da je koristi programa dejansko deležnih več otrok. Obenem pa se programa lahko udeležita oba starša, kar pomeni, da je v tem primeru lahko koristi deležnih manjše število otrok, kot je število udeležencev. V pilotni študiji programa NL iz leta 2017 (26) je bilo dejansko razmerje med številom staršev-udeležencev in otrok, ki so deležni koristi programa, 1,28, kar pomeni, da so se koristi udeležbe enega starša odrazile pri več kot enem otroku. Ker za analizirano izvedbo v času analize nismo imeli dejanskih podatkov o razmerju med številom udeležencev in njihovih otrok, smo pri oceni koristi programa predpostavili razmerje 1:1, kar pomeni, da so koristi programa v naši analizi ocenjene konzervativno.
Na podlagi ugotovitev predhodnih študij (npr. 27) analiziramo koristi programa v desetletnem obdobju 2019–2028. Opredeljeno obdobje nam omogoča, da zajamemo tako kratkoročne učinke kot tudi del dolgoročnejših učinkov. Med koristmi programa v prvi vrsti ovrednotimo neposredne koristi, pri čemer se, podobno kot ostale študije na tem področju (25), osredotočimo samo na področja, kjer so koristi programa najmočnejše in vidne v analiziranem obdobju, podatki pa so dostopni. Znotraj desetletnega obdobja koristi proučujemo na področjih osnovnega šolstva, predšolske vzgoje in zdravstva, v zadnjem letu pa tudi dolgoročnejše učinke na področju zasvojenosti in mladostniškega prestopništva. V okviru analize občutljivosti preverjamo tudi, kako krajše obdobje opazovanja koristi programa vpliva na rezultate ekonomske analize programa.
Ostale neposredne koristi programa, kot so na primer učinki na starše in družine, deloma prestopništvo in kriminal ter brezposelnost pa opredeljujemo kvalitativno. Podobno tudi posredne koristi in druge zunanje učinke, t.j. nenadomeščene učinke programa na tretje osebe, le opišemo. V izračun koristi tako zajamemo le del dejanskih koristi programa, medtem ko stroške izvedbe programa zajemamo v celoti. Zavedamo se, da je tak pristop k analizi konservativen in vodi do podcenjenih koristi programa na enoto stroška.
4.1 Merjenje stroškov programaUpravičeni stroški programa starševstva NL za obdobje od druge polovice 2017 do sredine leta 2019 so znašali 347.101,47 €. Ministrstvo za zdravje Republike Slovenije je zagotovilo 95 % sredstev za kritje upravičenih stroškov programa, kar znaša 329.746,40 €, ostalih 5 % pa so v denarni obliki zagotovili Javni zavod Mala ulica in ostali partnerji iz konzorcija (28).
Ob upoštevanju predvidenih 360 udeležencev programa starševstva NL za otroke od 3 do 8 let od druge polovice 2017 do sredine leta 2019, strošek na udeleženca znaša 964,17 € (t.j. 347.101 €/360). To je tudi prvi indikator za oceno ekonomske upravičenosti programa starševstva NL. Program je ekonomsko upravičen v primeru, da ocenjene koristi programa na otroka presegajo 964 €. Če uporabimo podatke iz pilotske izvedbe programa, kjer je bilo število otrok, ki imajo koristi od programa za cca. 28 % večje od števila udeležencev, bi ocenjeni letni strošek programa na otroka znašal 753 €.
Za 180 udeležencev programa, kot je bil predviden obseg programa za leto 2018, strošek izvedbe torej znaša 173.551 € (t.j. 964,17 € × 180). To je letni strošek izvedbe programa, ki ga upoštevamo pri analizi stroškov in koristi v nadaljevanju.
4.2 Merjenje oportunitetnih koristi programaV nadaljevanju predstavljamo rezultate izračuna vrednosti koristi programa starševstva NL za otroke od 3 do 8 let. Oportunitetne koristi programa opazujemo za izvedbo v predvidenem obsegu za leto 2018, kot izhaja iz Prijave programa (28) ter opazujemo koristi te izvedbe programa znotraj 10-letnega obdobja, t.j. 2019–2028. Kot smo omenili, med koristmi programa v prvi vrsti ovrednotimo neposredne koristi, pri čemer se osredotočimo na področja, kjer so učinki programa najmočnejši in vidni v analiziranem obdobju, podatki pa so dostopni. Ta področja so osnovno šolstvo in predšolska vzgoja, zdravstvo, zasvojenost in mladostniško prestopništvo. Ostale koristi programa, kot so na primer učinki na starše in družine, deloma prestopništvo in kriminal, delovna aktivnost ter zunanje pozitivne učinke programa pa opredeljujemo kvalitativno.
Koristi programa so na vsakem posameznem področju izračunane na ravni celotne letne izvedbe v 2018 (180 udeležencev), pri čemer pri vrednotenju koristi povsod izhajamo iz ocene sestave udeležencev. Po oceni vodje Centra za zgodnje intervencije na področju duševnega zdravja otrok, v okviru katerega je bil v Sloveniji vpeljan program NL, je povprečna sestava udeležencev na izvedbi programa naslednja: 60 % oz. 108 je staršev otrok, ki so že ali bi morali biti vključeni v obravnavo zaradi čustvenih in vedenjskih težav, 40 % oz. 72 pa je staršev otrok, ki tovrstnih težav nimajo.
4.2.1 Predšolska vzgoja
Na področju predšolske vzgoje smo domnevali, da bo manj otrok s čustvenimi in vedenjskimi motnjami, katerih starši so bili vključeni v program NL v letu 2018, potrebovalo dodatno strokovno pomoč (v nadaljevanju DSP). Ocena deleža otrok, ki zaradi udeležbe staršev v programu NL niso bili usmerjeni v postopke za pridobitev statusa otrok s posebnimi potrebami (pa bi brez udeležbe staršev v programu tja bili usmerjeni), je bila ovrednotena na podlagi analize podatkov štiriletnega izvajanja programov starševstva v Centru za duševno zdravje otrok in mladostnikov v ZD Celje. V primeru predšolske vzgoje smo na podlagi evalvacije sprememb po izpeljani intervenciji predpostavili, da zaradi udeležbe v programu starševstva NL dve tretjini otrok staršev udeležencev, ki bi sicer potrebovali dodatno strokovno pomoč (2/3 od 108 = 72 otrok), te ne bo več potrebovalo. Na ravni celotne izvedbe programa v letu 2018 je tako učinek 40-% (72/180).
Predvideli smo, da ta prihranek začne nastajati takoj po izvedbi programa in traja 2 leti. Najprej smo ocenili strošek izvedbe DSP v predšolski vzgoji, torej strošek izdaje odločb o usmerjanju, s katero otroci dobijo pravico do DSP ter strošek izvajanja odločb DSP. Dodatna strokovna pomoč (DSP) je v skladu s Pravilnikom o dodatni strokovni in fizični pomoči za otroke s posebnimi potrebami (29) namenjena otrokom s posebnimi potrebami. Na osnovi odločbe se DSP izvaja na predšolski ravni, v osnovnih in srednjih šolah. Otroci s posebnimi potrebami so opredeljeni v Zakonu o usmerjanju otrok s posebnimi potrebami (30).
Zbrali smo podatke o številu izvedenih DSP ur zaradi čustvenih, vedenjskih in kombiniranih motenj, pri čemer nismo upoštevali ur DSP v razvojnih oddelkih predšolske vzgoje (31), številu otrok z DSP (32) in upoštevali, da so ti prejemali v povprečju 3 ure DSP tedensko na podlagi odločb (33). Predpostavili smo, da znaša strošek izdaje te odločbe na otroka 210 € (34) in da se izda v povprečju 169 novih odločb letno (32). Nadalje smo upoštevali, da dnevna obveznost vzgojitelja z bruto bruto plačo v 40. razredu (32) znaša 7,5 ure dnevno, povprečno število delovnih dni v mesecu je 21,75, DSP pa se izvaja 42 tednov. Letni strošek izvedbe DSP na otroka tako znaša 1.837 €. Ob upoštevanju 40-% učinka na ravni izvedbe (72 od 180 otrok) letni prihranek znaša 15.120 € na področju izdaje odločb in 132.284 € pri izvedbi ur DSP, skupaj torej 147.404 €. Ta prihranek v povprečju nastaja dve leti po udeležbi staršev v programu. Na udeleženca (180) znaša prihranek v povprečju 84 € za izdajo odločbe in 735 € za izvedbo DSP. Na otroka, ki ne bo potreboval DSP (72 otrok) pa letni prihranek v povprečju znaša 210 € za izdajo odločbe in 1.837 € za izvedbo DSP.
4.2.2 Osnovnošolsko izobraževanje
Tudi na področju osnovnošolskega izobraževanja smo ocenili, da bo manj otrok, ki bi sicer potrebovali DSP in katerih starši so bili vključeni v program NL v letu 2018, potrebovalo DSP, obenem pa bodo imeli manj potreb po spremljevalcih iz naslova čustvenih in vedenjskih motenj. Oceno potrjujejo potrebe otrok po postopku usmerjanja v zdravstvenem centru pred in po izvedeni intervenciji v Centru za duševno zdravje otrok in mladostnikov v ZD Celje. V primeru osnovnošolskega izobraževanja smo na podlagi evalvacije sprememb po izpeljani intervenciji predpostavili, da zaradi udeležbe v programu starševstva NL ena tretjina otrok staršev udeležencev, ki bi sicer potrebovali dodatno strokovno pomoč (1/3 od 108 = 36 otrok), te ne bo več potrebovalo. Na ravni celotne izvedbe programa v letu 2018 je tako učinek 20-% (36/180).
Predvideli smo, da ta prihranek začne nastajati v povprečju tretje leto po udeležbi staršev v programu in nastaja v času izobraževanja v osnovni šoli. Ocenili smo ga na treh osnovah. To so stroški izdaje odločb o usmerjanju, s katero otroci dobijo pravico do DSP, stroški izvajanja odločb DSP in stroški spremljevalcev otrok s čustvenimi in vedenjskimi motnjami.
Strošek izvedbe DSP na otroka smo ocenili na podlagi ocene povprečnega števila izvedenih ur DSP na teden na otroka z odločbo DSP, ki znaša 3,38 (31), enkratnega stroška izdaje odločbe o DSP, ki znaša 210 € (32) ter bruto bruto plače pedagoga v 40. plačnem razredu (35) ob tedenski obveznosti 22 ur in 21,75 delovnih dni v mesecu v povprečju. Če domnevamo, da bo zaradi udeležbe v programu starševstva NL izdanih 36 manj odločb letno, to predstavlja letni prihranek v višini 7.560 €, letni prihranek pri izvedbi ur DSP pa znaša 105.965 €. Na udeleženca (180) znaša prihranek v povprečju 42 € za izdajo odločbe in 589 € za izvedbo DSP. Na otroka, ki ne bo potreboval DSP (36 otrok) pa letni prihranek v povprečju znaša 210 € za izdajo odločbe in 2.943 € za izvedbo DSP.
Stroške spremljevalcev otrok s čustvenimi in vedenjskimi motnjami smo ocenili na podlagi ocene stroška dela spremljevalca, pri čemer smo upoštevali bruto bruto plačo iz 25. plačnega razreda za 62,5-% delovni čas oz. 25 ur tedensko, kar znaša 9.905 € letno. Pri oceni števila otrok iz programa starševstva NL, ki potrebujejo spremljevalca, smo izhajali iz podatka za delež otrok z avtistično motnjo v populaciji otrok s posebnimi potrebami. Po oceni Vodje službe za otroško psihiatrijo na Pediatrični kliniki UKC Ljubljana smo v izračunu upoštevali, da je v programu 1 % (26) staršev otrok z avtistično motnjo (1,80 otroka od 180 otrok v programu); ta odstotek je v resnici višji, saj struktura programa ne odraža populacije, zato je ocena koristi konservativna. Predpostavili smo, da se bo potreba po spremljevalcih zaradi vključenosti staršev teh otrok v program starševstva NL zmanjšala za 30 %, t.j. 0,54 otroka. To pomeni, da na letni ravni prihranek iz tega naslova znaša 5.349 € (0,54 × 9.905 € = 5.349 €). Skupni prihranek programa starševstva NL na področju osnovnošolskega izobraževanja je tako 118.874 €.
4.2.3 Zdravstvo
Oportunitetne koristi na področju zdravstva smo z vidika družbe ocenili na dveh osnovah: prihranek v stroških zdravstvenih storitev (t.j. zmanjšanje števila obravnav na primarni in sekundarni ravni) in prihranek v stroških absentizma staršev (t.j. manj izgubljenega dohodka zaradi spremljanja otroka pri zdravstvenih obravnavah). Obe opisani koristi nastajata zaradi manjših potreb po zdravstvenih obravnavah, zato smo ju uvrstili skupaj, četudi bi se stroški obojega krili iz različnih virov, tj. zdravstvene blagajne oz. s strani delodajalca. Predvideli smo, da obe vrsti prihrankov na področju zdravstva nastajata skozi celotno analizirano 10-letno obdobje.
Pri izračunu prihranka v stroških zdravstvenih storitev smo upoštevali storitve zdravstvenih timov na primarni in sekundarni ravni in predpostavili, da zdravstveni tim na primarni ravni sestavljata en zdravnik specialist (npr. pediater, specialist šolske medicine) z bruto plačo v skladu z 52. plačnim razredom, kar znaša 3.808 € v bruto bruto znesku (35), in ena medicinska sestra z bruto plačo v skladu s 37. plačnim razredom, kar znaša 2.114 € bruto bruto mesečno (35). Ob upoštevanju 174-urnega delovnika na mesečni ravni in enakomerne delitve dela v timu je strošek ure dela primarnega zdravstvenega tima 17,02 €. Za zdravstveni tim na sekundarni ravni pa predpostavljamo, da ga sestavljajo en zdravnik specialist (npr. pedopsihiater, psihiater) oziroma drugi specialisti, kot so npr. klinični psiholog, specialni pedagog, logoped. Poleg njih v timu upoštevamo eno medicinsko sestro. Za oba smo upoštevali enake plačne razrede kot v primeru zdravstvenega tima na primarni ravni. Smo pa v tem primeru opredelili drugačno delitev dela med njima, t.j. delitev dela 90 % specialist in 10 % medicinska sestra. Strošek ure dela sekundarnega zdravstvenega tima tako znaša 20,91 €. Opisana sestava tima zdravstvene obravnave tako na primarni kot na sekundarni ravni je poenostavljena in je v primerjavi s Splošnim dogovorom za pogodbeno leto 2018 (36) podcenjena, kar je v skladu z našim konservativnim pristopom k oceni koristi programa NL.
Če domnevamo, da otrok z vedenjskimi in čustvenimi motnjami v povprečju 3-krat letno obišče zdravnika na primarni ravni in en obisk traja v povprečju 15 minut, tak otrok letno potrebuje 0,75 ure zdravstvene obravnave na primarni ravni, strošek česar je 12,76 € letno. V analizi v skladu z oceno Vodje službe za otroško psihiatrijo na Pediatrični kliniki UKC Ljubljana v izračunu predpostavljamo, da je otrok z vedenjskimi in čustvenimi motnjami obravnavan s strani tima na sekundarni ravni 12-krat letno in da ena obravnava traja v povprečju 1 uro, to pomeni 12 ur obravnave zdravstvenega tima na sekundarni ravni letno oziroma 250,96 € letno na otroka. Skupaj s primarno znaša strošek zdravstvenih obravnav 263,73 € letno na otroka. Stroški obravnave na sekundarni ravni načeloma zajemajo še strošek obravnave pri specialnem pedagogu in diagnostične ocene pri kliničnem psihologu. Z namenom konzervativne ocene stroškov obravnav, ti stroški niso vključeni v izračun.
Predviden obseg programa starševstva NL je bil 180 staršev otrok z bolj ali manj izraženimi vedenjskimi in čustvenimi motnjami. Podatki iz Evalvacije učinkovitosti programa starševstva NL (26) kažejo, da je bilo v zdravstveno obravnavo vključenih 14 % otrok iz programa. V študiji domnevamo enak delež za program v obdobju, ki ga analiziramo (2017, 2018, 2019), torej 25,2 otrok od 180. Strošek zdravstvene obravnave teh 25 otrok znaša na letni ravni 6.646 € (25,2 × 264 €).
Pri zdravstveni obravnavi otrok je potrebno upoštevati tudi stroške absentizma spremljevalcev (običajno starši), ki nastajajo zaradi časa, ki ga porabijo za prevoz, čakanje in spremljanje otroka. Kot oceno števila ur absentizma upoštevamo dvakratnik zgoraj opredeljenega letnega števila ur zdravstvene obravnave na otroka (25,5 ur; to je 2 × 12,75 ur) in povprečno bruto bruto plačo na uro v letu 2018 v višini 11,31 € (37). Letni strošek absentizma na otroka, ki je v času izvedbe programa bil v zdravstveni obravnavi, tako znaša 288,33 €, pri čemer v izračunu niso zajeti dejanski neposredni stroški prevoza, npr. cena goriva, kilometrina ali cena vozovnice. Če, kot zgoraj, upoštevamo, da je 14 % otrok iz programa v zdravstveni obravnavi, stroški absentizma skupaj znašajo 7.266 € (288,33 € × 25 otrok).
Skupni stroški zdravstvene obravnave teh 25 otrok, ki vključujejo stroške zdravstvenih storitev in absentizma, znašajo 13.912 €. Upoštevamo, da bo učinek programa starševstva NL 50 %, kar pomeni, da bodo otroci iz programa koristili polovico manj ur obravnave zdravstvenih timov na primarni in sekundarni ravni kot bi jih sicer. Prihranek na tem področju tako znaša 6.956 € letno.
Pri tem pa je nujno opozoriti, da so ocene prihrankov na področju zdravstva v primerjavi z vzgojo in izobraževanjem nizke, saj so kapacitete zdravstvenega sistema na področju duševnega zdravja otrok in mladostnikov trenutno izjemno omejene, zdravstveni sistem pa je izrazito podhranjen finančno in z vidika kadrovskih ter drugih zmogljivosti. Vsaj tretjina otrok staršev, ki se vključujejo v program starševstva NL, izpolnjuje kriterije za klinično prisotno vedenjsko motnjo (26), dejansko pa je v zdravstveno obravnavo vključenih samo 14 % teh otrok. Če bi bili v zdravstveno obravnavo vključeni vsi otroci z izpolnjenimi kriteriji za klinično prisotno vedenjsko motnjo (60 otrok od 180), bi bila vrednost koristi programa starševstva NL na tem področju precej večja in bi znašala približno 16.500 € letno.
4.2.4 Zasvojenost
V oceno prihrankov, ki jih izvajanje programa starševstva NL prinaša na področju zmanjšanja odvisnosti, smo vključili le področje zasvojenosti od prepovedanih drog. Izhajali smo iz podatka o porabljenih sredstvih za področje drog v Sloveniji v letu 2015 (38) in upoštevali vse stroške, ki so iz tega naslova nastali Zavodu za zdravstveno zavarovanje (v nadaljevanju ZZZS) v višini 5.226.000 € iz naslova delovanja Centrov za preprečevanje in zdravljenje odvisnosti od prepovedanih drog ter nakupa materiala za varno injiciranje drog ter Ministrstvu za delo, družino, socialne zadeve in enake možnosti (v nadaljevanju MDDSZ) v višini 2.536.541 € iz naslova socialnovarstvenih programov na področju prepovedanih drog. Ostalih porabljenih sredstev za področje prepovedanih drog nismo zajeli v izračun. Upoštevali smo, da je bilo leta 2015 3.719 uporabnikov v zdravstveni obravnavi oz. na substitucijskem zdravljenju odvisnosti od prepovedanih drog. Na tej osnovi osmo ocenili strošek obravnave posameznika, ki je leta 2015 znašal 2.087 € na osebo.
V analizi v skladu z oceno Vodje službe za otroško psihiatrijo na Pediatrični kliniki UKC Ljubljana domnevamo, da zaradi udeležbe v programu starševstva NL pri 1 % otrok od 180 udeležencev programa starševstva NL v letu 2018, torej pri 1,8 otroka, zaradi učinkov programa ne bo potrebe po udeležbi v programih za zdravljenje odvisnosti od prepovedanih drog. Na letni ravni to pomeni prihranek v stroških zdravljenja oz. zdravstvene obravnave odvisnikov od prepovedanih drog v višini 4.052 €. Ker koristi programa analiziramo v desetletnem obdobju, ta prihranek upoštevamo le v desetem letu opazovanja.
Predstavljene oportunitetne koristi programa starševstva NL na področju zmanjševanja zasvojenosti se nanašajo le na področje zasvojenosti s prepovedanimi drogami in ne zajamejo drugih učinkov programa, npr. na področju alkoholizma in drugih, predvsem vedenjskih zasvojenosti, pri čemer so te izpuščene koristi lahko precejšnje. Tudi na tem področju je zato naša ocena oportunitetnih koristi programa starševstva NL konzervativna.
4.2.5 Prestopništvo
Programi starševstva zmanjšujejo vedenjske težave otrok in posledično mladostniško prestopništvo. Prihranke, ki jih izvajanje programa starševstva NL prinaša na področju zmanjšanja mladostniškega prestopništva, smo ocenili zgolj z vidika stroška razširjene oskrbe v vzgojnih zavodih, ki znaša 31.800 € letno (39). Če v skladu z oceno Vodje službe za otroško psihiatrijo na Pediatrični kliniki UKC Ljubljana upoštevamo, da zaradi udeležbe v programu starševstva NL 1 otrok (od 180 udeležencev) ne bo nameščen v vzgojnem zavodu, je prihranek na letni ravni enak 31.800 €.
Zaradi desetletnega obdobja analize, učinek zmanjšanja mladostniškega prestopništva upoštevamo le v desetem letu opazovanja, čeprav v praksi prihranki iz tega naslova lahko nastajajo več let. Poleg tega naša analiza ne zajame koristi programa starševstva NL zaradi odlaganja sprejema v vzgojne zavode na kasnejše leto kot tudi ne zaradi skrajševanja povprečnega časa oskrbe v vzgojnem zavodu. Zato lahko upravičeno domnevamo, da so zgoraj izračunane oportunitetne koristi podcenjene.
4.2.6 Ostale oportunitetne koristi programa
Poleg zgoraj opredeljenih in ovrednotenih koristi programa starševstva NL za otroke od 3 do 8 let lahko identificiramo tudi koristi, ki nastajajo ali na že omenjenih ali na drugih področjih v družbi. Slednje le opisujemo in jih ne zajemamo v izračun. Tudi zato so v izračunu NSV koristi programa podcenjene oz. je njihova ocena konzervativna.
Program posredno vodi do večje uspešnosti otrok v izobraževalnem sistemu, do izboljšanja stopnje dokončanja, do doseganja višjih ravni izobrazbe (5, 40, 17) in zmanjšuje verjetnost nastanka in trajanja brezposelnosti. Dolgoročnejši učinki programa nastajajo tudi kot posledica zmanjšanja kriminalitete in prestopništva v odrasli dobi. Oportunitetne koristi programa so tako prihranki pri sodnih stroških in stroških izvajanja zapornih kazni. Ocenjuje se, da so ti stroški izjemno visoki (5). V Sloveniji je leta 2017 dnevni strošek na zapornika znašal 79,51 € (41), kar letno pomeni nekaj več kot 29.000 € na zapornika.
Program ustvarja tudi koristi za starše v obliki zmanjšanja absentizma /porabe prostega časa zaradi bolezni otrok ali potreb po pomoči pri šolskih obveznostih, zmanjšuje možnost neustreznega ravnanja, uporabe napačnih vzgojnih metod (42), zanemarjanja ali celo zlorabe otrok (43) in posledično zmanjšuje potrebe po storitvah Centrov za socialno delo in po ukrepih socialne politike. Študije (44) kažejo, da izpostavljenost neugodnim življenjskim dogodkom v zgodnjem otroštvu vodi do podobnih posledic, kot so vedenjske težave otrok, kot so različne oblike odvisnosti, višja obolevnost za kronične telesne bolezni, kot so srčno-žilne bolezni, debelost, rak, kronične vezivnotkivne bolezni, slabše duševno zdravje, samomorilnost. Podobna tveganja zgodnjih ogrožajočih izkušenj potrjuje tudi slovenska raziskava (45).
4.2.7 Zunanji pozitivni učinki programa starševstva NL
Poleg neposrednih koristi programi starševstva vodijo tudi do učinkov na družbo v obliki večje verjetnosti ekonomske neodvisnosti posameznika, manj potreb po ukrepih socialne politike ter k večjemu neto prispevku posameznika pri financiranju javnih storitev (5). Med dolgoročnejšimi koristmi programa so tako višja stopnja dokončanja in dosežene ravni izobraževanja, boljše telesno in duševno zdravje otrok v odraslosti, večja verjetnost zaposlitve in manjša verjetnost nastanka brezposelnosti oziroma krajše trajanje brezposelnosti. Povečanje blagostanja otrok in družin vodi do zdravih in odgovornih članov družbe ter posledično do večje blaginje članov družbe. Manj mladostniškega prestopništva, zasvojenosti in kriminalitete pa vodijo tudi do večje stopnje varnosti v družbi za vse njene člane.
4.3. Projekcija denarnih tokov
Ekonomsko upravičenost programa starševstva NL za otroke od 3 do 8 let smo ocenili z ekonomskimi kazalniki na podlagi metode diskontiranih denarnih tokov (46). Pri izračunu denarnega toka upoštevamo zgoraj opredeljene stroške izvedbe programa 2018 in koristi programa v 10-letnem obdobju 2019–2028 (Slika 1).
Slika 1: Projekcija stroškov in koristi za obdobje 2019–2028 zaradi izvedbe programa v letu 2018 v predvidenem obsegu.
Takojšnje koristi program prinese na področju potreb po zdravstveni obravnavi oziroma koriščenju zdravstvenih storitev za otroke. Ta učinek nastaja skozi celo opazovano obdobje. Prav tako se neposredno po izvedbi programa pojavijo oportunitetne koristi programa na področju predšolske vzgoje in trajajo dve leti. Ko otroci teh staršev preidejo v osnovno šolo, se koristi prenesejo na to raven in nastajajo v času izobraževanja v osnovni šoli. V mladostniških letih zaradi programa nastajajo prihranki na področju zasvojenosti in prihranki pri namestitvi v vzgojnih zavodih. Omenjene prihranke zajemamo v analizi le v letu 2028, čeprav nastajajo tudi v kasnejših letih. Med te spadajo tudi prihranki zdravstvenega sistema zaradi manjše kronične telesne in duševne obolelosti otrok v odrasli dobi.
Če ugotovljene koristi seštejemo znotraj obdobja 2019–2028 (pri čemer upoštevamo, da trajajo različno dolgo), skupna oportunitetna korist programa znaša 1.171.855 €. Povprečna letna korist programa znaša 117.185 €, povprečna korist na udeleženca v 10-letnem obdobju pa 6.510 €. Koristi programa so celo večje od izračunane vsote, saj zgornji izračun ne vključuje koristi, ki se pojavljajo kasneje, torej izven opazovanega 10-letnega obdobja (npr. oportunitetne koristi na področju brezposelnosti) in tistih, ki smo jih zaradi pomanjkanja podatkov predstavili le vsebinsko.
Posebej poudarjamo, da koristi v višini 1.171.855 € nastajajo kot posledica enkratne (enoletne) izvedbe programa v predvidenem obsegu za leto 2018 (180 udeležencev) in glede na predpostavljeno distribucijo učinkov znotraj desetletnega obdobja. To oceno koristi je zato potrebno v analizi primerjati s stroški izvedbe v istem obsegu (180 udeležencev), kar znaša 173.551 €. Vsakokratna ponovitev izvedbe programa v takem obsegu prinaša koristi, kot smo jih izračunali. Če bi želeli analizirati stroške in koristi celotnega programa NL za otroke od 3 do 8 let za obdobje 2017–2019, bi stroške tega programa v višini 347.101 € primerjali z vrednostjo koristi za predviden obseg programa (360 udeležencev). Ocenjena korist celotnega programa bi tako znašala več kot 2,3 milijona € (360 × 6.510 €).
4.4 Izračun kazalnikov ekonomske upravičenosti
V Tabeli 1 prikazujemo projekcijo denarnih tokov, povezanih s stroški in koristmi programa starševstva NL za obdobje 2019–2028, na podlagi katerih smo izračunali kazalnike ekonomske upravičenosti. Pri diskontni stopnji 4 % znaša neto sedanja vrednost 795.553,40 €. Pozitivna in visoka NSV kaže, da je program starševstva NL ekonomsko upravičen. Notranja stopnja donosa znaša 81 %, kar je visoko nad relevantno družbeno diskontno stopnjo 4 %, medtem ko indeks donosnosti (B/C) znaša 5,58 in presega kritično vrednost 1. Podobno kot NSV oba kazalnika izražata visoko ekonomsko upravičenost programa.
Tabela 1: Projekcija stroškov in koristi programa za obdobje 2019–2028 zaradi izvedbe v letu 2018 v predvidenem obsegu in izračun kazalnikov ekonomske upravičenosti.
4.5. Analiza občutljivosti
V analizi občutljivosti preverjamo občutljivost rezultatov CBA na izbrane predpostavke. Slika 2 prikazuje, kako NSV programa narašča z daljšanjem obdobja, v katerem opazujemo koristi programa. Izračunali smo, kako se NSV spremeni, če spreminjamo predpostavko o dolžini trajanja koristi programa od 1 do 10 let.
Slika 2: Občutljivost NSV programa na predpostavko o obdobju trajanja koristi.
Iz Slike 2 je razvidno, da je NSV negativna le v primeru, ko bi koristi trajale samo eno leto. Pri vseh ostalih alternativnih obdobjih trajanja koristi je NSV pozitivna. Podobno ima tudi indeks B/C vrednost manjšo od 1 samo v prvem letu (0,86) in narašča z daljšanjem obdobja trajanja koristi. Če predpostavimo, da koristi programa na primer trajajo tri leta, znaša B/C 4,31, kar pomeni, da na 1 € vložka v program NL v družbi nastanejo koristi v višini 4,31 €.
Tabela 2 prikazuje analizo občutljivosti rezultata CBA na predpostavke o velikosti učinkov na posameznih področjih. V stolpcu 2 so prikazane izhodiščne predpostavke o velikosti stroškov in koristi programa. Stroške za predviden obseg programa v letu 2018 v višini 173.551 € smo variirali za 50 % navzgor in navzdol (stolpca 3 in 4) ter izračunali ustrezne NSV (stolpca 5 in 6). Podobno smo za koristi programa po področjih preverili, kako se NSV spremeni, če učinek programa, merjenega z deležem udeležencev, ki imajo koristi od programa po posameznih področjih, zmanjšamo ali povečamo za 50 %. Stolpca 5 in 6 prikazujeta izračunane NSV programa pri za 50 % zmanjšanem oziroma povečanem učinku. Ne glede na smer spremembe in vrsto učinkov so vse izračunane NSV pozitivne, kar kaže na robustnost sklepa, da je program NL ekonomsko upravičen.
Tabela 2: Analiza občutljivosti in izračun kritičnih vrednosti.
Nazadnje smo izračunali še kritično vrednost posameznega učinka (ob ostalih nespremenjenih), pri kateri bi NSV znašala nič in zaradi česar bi program ocenili kot ekonomsko neupravičen (stolpec 7). Izračunali smo, da bi se morali letni stroški programa povečati na več kot 969.104 € (za obseg 180 udeležencev), da bi program postal ekonomsko neupravičen.
Izračunane kritične vrednosti predpostavk o koristih posameznega področja v stolpcu 7 Tabele 2 so negativne. To pomeni, da je program ekonomsko upravičen tudi, če korist na posameznem področju ne nastane, saj so koristi na ostalih področjih dovolj visoke za pokrivanje stroškov programa. Negativne kritične vrednosti predpostavk hkrati pomenijo, da program starševstva NL ne bi bil ekonomsko upravičen le v primeru, če bi ustvarjal škode, t.j. negativne učinke na analiziranih področjih, kar pa v praksi, kot smo utemeljili, zagotovo ne drži.
Slika 3 prikazuje spreminjanje NSV ob spremembi predpostavke o stroških in koristih programa v intervalu – 50 % do + 50 %. Na primer, ob predpostavljeni višini koristi programa in izhodiščni vrednosti stroškov izvedbe programa v vrednosti 173.551 €, NSV programa znaša 795.553,40 €, kar je prikazano v središču slike (kot 0-% sprememba). Oranžna črta prikazuje, koliko bi znašala NSV, če bi bili stroški večji za 10, 20, 30 ali več % (desno od izhodiščne vrednosti) ali če bi bili stroški manjši za 10, 20, 30 ali več % (levo od izhodiščne vrednosti). Iz Slike 3 lahko tudi razberemo, koliko nižja bi bila NSV, če bi bila katerakoli ocenjena korist nižja za 10, 20, 30 ali več % (levo od izhodišča). Pri vseh opazovanih spremembah (t.j. od 50 % manj do 50 % več) NSV ostaja pozitivna (in nad 400.000 €), kar kaže, da je ocena ekonomske upravičenosti programa robustna (Slika 3 in Tabela 2).
Slika 3: Analiza občutljivosti.
Izračunali smo tudi kritično velikost učinka, ki bi moral nastati na posameznem področju, da bi že samo s koristmi na tem področju dosegli pozitivno NSV. Na področju predšolske vzgoje smo predvideli 40-% učinek, za doseganje pozitivne parcialne NSV pa bi bil dovolj že 26-% učinek (ob ničelnih koristih na ostalih področjih). Na področju osnovnošolskega izobraževanja bi zadoščal že 5-% učinek. Na ostalih področjih je kritična raven učinka, ob odsotnosti vseh ostalih, višja od predpostavljene v analizi, saj koristi nastajajo v manjšem obsegu.
5 SKLEP
Prikazali smo analizo stroškov in koristi programa starševstva NL z vidika družbe. Primerjali smo vrednost stroškov programa v letu 2018 in koristi tega programa v desetletnem obdobju 2019–2028 na področjih, kjer so učinki programa najmočnejši, podatki pa so dostopni: osnovno šolstvo, predšolska vzgoja, zdravstvo in zasvojenost. Program prinaša neposredne koristi tudi na drugih področjih, ki jih opredelimo le kvalitativno. V izračun koristi tako zajamemo le del dejanskih koristi programa, medtem ko stroške izvedbe programa zajemamo v celoti. Tak konservativen pristop vodi do podcenjenih koristi programa na enoto stroška.
Ob 4-% družbeni diskontni stopnji sedanja vrednost družbenih koristi več kot 5-krat presega sedanjo vrednost stroškov izvedbe, NSV letne izvedbe programa znaša 795.553 €, NSD pa 81 %. Analiza občutljivosti potrjuje, da NSV ostaja pozitivna tudi ob slabšanju osnovnih predpostavk glede trajanja in velikosti koristi programa, kar kaže na robustnost naših rezultatov. NSV programa je negativna le v primeru, ko bi koristi trajale samo eno leto. Pri vseh ostalih alternativah je NSV pozitivna. Če zanemarimo, da učinki programa nastajajo v različnih letih znotraj analiziranega obdobja 2019–2028 in jih enostavno seštejemo, povprečna korist na udeleženca v analiziranem obdobju znaša 6.510 €, medtem ko znaša strošek na udeleženca 964 €. Za primerjavo, v tujini ocenjujejo ta strošek v povprečno na 2.217 € na družino (meta študija 47). Vsi predstavljeni izračuni potrjujejo, da je program ekonomsko upravičen in družbeno zaželen, saj koristi, ki jih s programom pridobijo člani družbe, (močno) presegajo stroške izvedbe programa.
Članek temelji na uveljavljeni metodi za presojanje ekonomske upravičenosti programov, vendar ima študija nekatere omejitve, ki jih opisujemo v nadaljevanju. Te omejitve hkrati predstavljajo izhodišča za nadaljnje raziskovanje tega področja. Prvič, za zagotavljanje kakovosti ekonomskih analiz takih in podobnih programov starševstva v prihodnosti bi bilo smiselno povečati dostopnost in nabor razpoložljivih podatkov za merjenje koristi programov. V ta namen najprej priporočamo uvedbo dodatnega vprašalnika za udeležence programa starševstva NL. Za razliko od nekaterih programov v tujini (5) se pri nas namreč učinkov programa starševstva NL zaenkrat ne spremlja preko vprašalnika za merjenje potreb otrok po zdravstvenih, socialnih in izobraževalnih storitvah pred in po udeležbi staršev v programu (npr. vprašalnik Client socio-demographic and service receipt inventory, 20). Ker je za izdelavo CBA potrebno koristi programa denarno ovrednotiti, so podatki, zbrani s takšnim vprašalnikom, zelo uporabni. Drugič, za bolj natančno merjenje dolgoročnih koristi programa starševstva NL bi bilo smiselno spremljati nastajanje učinkov pri udeležencih programa oz. njihovih otrocih skozi daljše obdobje. S tem bi pridobili longitudinalne podatke, kar bi omogočilo bolj natančne ocene koristi za CBA ter dodatne analize. Tretjič, za boljše zajemanje koristi programa, bi bilo potrebno denarno ovrednotiti tudi koristi, ki nastajajo pri tretjih članih družbe, torej tistih, ki niso udeleženci ali njihovi otroci.,
Kljub naštetim pomanjkljivostim so vsebinski in ekonomski rezultati programa starševstva NL za otroke od 3 do 8 let pomembni za snovalce zdravstvene politike, za izvajalce programov in za odločevalce o porabi proračunskih sredstev za ta namen. Program starševstva NL blaži posledice pomanjkanja zmogljivosti zdravstvenega sistema na področju duševnega zdravja otrok in mladostnikov. Pozitiven premik na tem področju predstavlja uresničevanje Nacionalnega programa duševnega zdravja 2018–2028 (48), del katerega je ustanavljanje Centrov za duševno zdravje otrok in mladostnikov v okviru zdravstvenih domov, kjer je načrtovana integracija pristopov in metod dela iz programa NL. Uvedba paralelnih programov v vrtce in šole bi koristi programov starševstva še podkrepila in omogočila podporno okolje njihovemu čustvenemu in socialnemu dozorevanju vsem otrokom, tudi tistim, katerih učinki programov starševstva ne dosežejo..
Reference
- Thapar, A., Pine, D. S., Scott, S., Snowling, M. J., Taylor, E. A. (Eds). (2017). Rutter's child and adolescent psychiatry. John Wiley Sons. ←
- Pardini, D., Frick, P. J. (2013). Multiple developmental pathways to conduct disorder: Current conceptualizations and clinical implications. Journal of the Canadian Academy of Child and Adolescent Psychiatry, 22(1), 20←
- Cooper, V., Emerson, E., Glover, G., Gore, N. J., Hassiotis, A., Hastings, R., Shurlock, J. (2014). Early intervention for children with learning disabilities whose behaviour challenges. Briefing Paper Challenging Behaviour Foundation←
- Webster‐Stratton, C., Rinaldi, J., Reid, J. M. (2011). Long‐term outcomes of Incredible Years Parenting Program: Predictors of adolescent adjustment. Child and Adolescent Mental Health, 16(1), 38–46←
- O'Neill, D, McGilloway, S, Donnelly, M, Bywater, T, Kelly, P. (2010). A Cost-Benefit Analysis of Early Childhood Intervention: Evidence from an Experimental Evaluation of the Incredible Years Parenting Program←
- Copeland, W E, Shanahan, L, Costello, E J, Angold, A (2009). Childhood and adolescent psychiatric disorders as predictors of young adult disorders Archives of general psychiatry, 66(7), 764–72←
- Scott, S, Knapp, M, Henderson, J, Maughan, B (2001). Financial cost of social exclusion: follow up study of antisocial children into adulthood. Bmj, 323(7306), 191←
- Hutchings, J, Bywater, T, Daley, D, Gardner, F, Whitaker, C, Jones, K, Edwards, R T (2007). Parenting intervention in Sure Start services for children at risk of developing conduct disorder: pragmatic randomised controlled trial. Bmj, 334(7595), 678←
- World Health Organization, Violence Prevention: The Evidence Geneva, Switzerland: WHO, 2010←
- World Health Organization (2016). INSPIRE: Seven strategies for ending violence against children. World Health Organization.←
- European Union Commission (2013). Parenting Support Policy Brief. The EU. ←
- Daly, M, Bruckhauf, Z, Byrne, J, Pecnik, N, Samms-Vaughan, M, Bray, R, Margaria, A (2015). Family and Parenting Support: Policy and Provision in a Global Context Innocenti Insights. UNICEF Office of Research - Innocenti, Florence←
- United Nations Office on Drugs and Crime (2009). Guide to implementing family skills training programmes for drug abuse. ←
- Menting, A T, de Castro, B O, Matthys, W (2013). Effectiveness of the Incredible Years parent training to modify disruptive and prosocial child behavior: A meta-analytic review. Clinical Psychology Review, 33(8), 901–13←
- Overbeek, G, Van Aar, J, De Castro, B O, Matthys, W, Weeland, J, Chhangur, R R, Leijten, P (2021). Longer-term outcomes of the incredible years parenting intervention. Prevention Science, 22(4), 419–31←
- Sandler, I N, Schoenfelder, E N, Wolchik, S A, MacKinnon, D P (2011). Long-term impact of prevention programs to promote effective parenting: Lasting effects but uncertain processes. Annual review of psychology, 62, 299–329←
- Colman, I, Murray, J, Abbott, R A, Maughan, B, Kuh, D, Croudace, T J, Jones, P B (2009). Outcomes of conduct problems in adolescence: 40 year follow-up of national cohort. British medical journal, 338, a2981←
- Cleary, A, Fitzgerald, M, Nixon, E (2004). From child to adult: a longitudinal study of Irish children and their families. University College Dublin (UCD)←
- Caspi, A, Wright, B R E, Moffitt, T E, Silva, P A (1998). Early failure in the labor market: Childhood and adolescent predictors of unemployment in the transition to adulthood. American sociological review, 63(3), 424←
- Chisholm, D, Knapp, M R J, Knudsen, H C, Amaddeo, F, Gaite, L U I S, Van Wijngaarden, B O B, EPSILON Study Group (2000). Client socio-demographic and service receipt inventory–European version: development of an instrument for international research: EPSILON Study 5. The British Journal of Psychiatry, 177(S39), s28–s33←
- Zerbe, R O Jr, Bellas, A S (2006) A Primer for Benefit-Cost Analysis. Cheltenham: Edward Elgar←
- Uredba o enotni metodologiji za pripravo in obravnavo investicijske dokumentacije na področju javnih financ, Uradni list RS, št 60/06, 54/10 in 27/16←
- Brigham, E F, Erhard, M, C Financial management theory and practice 2013. Cengage Learning←
- Anderluh, M (2017) Načrt delovanja Centra za dokazano učinkovite programe zgodnjih intervenc na področju duševnega zdravja otrok. Univerzitetni klinični center, Pediatrična klinika ←
- O’Neill, D, McGilloway, S, Donnelly, M, Bywater, T, Kelly, P (2013) A cost-effectiveness analysis of the Incredible Years parenting programme in reducing childhood health inequalities. The European Journal of Health Economics, 14(1), 85–94←
- Kuzma, M, Mirković, A, Svetina M Anderluj, M (2017) Evalvacija učinkovitosti programa NL Nowvay Grants. Služba vlade RS za razvoj in evropsko kohezijsko politiko, Univerzitetni klinični center ←
- Webster-Stratton, C (2015) The Incredible Years® series: A developmental approach In Family-Based Prevention Programs for Children and Adolescents (pp 54–79). Psychology Press←
- Mala ulica (2017) Prijava na javni razpis za sofinanciranje programov varovanja in krepitve zdravja za leta 2017, 2018 in 2019←
- Pravilnik o dodatni strokovni in fizični pomoči za otroke s posebnimi potrebami (Uradni list RS, št 88/13 in 108/21)←
- Zakon o usmerjanju otrok s posebnimi potrebami (Uradni list RS, št 58/11, 40/12 – ZUJF, 90/12, 41/17 – ZOPOPP in 200/20 – ZOOMTVI)←
- Vršnik Perše, T, Krajnc, M S, Čagran, B, Košir, K, Hmelak, M, Bratina, T, Lorbek, T (2016). Evalvacija različnih oblik dodatne strokovne pomoči, ki je otrokom dodeljena v skladu z Zakonom o usmerjanju otrok s posebnimi potrebami. Nacionalna evalvacijska študija–Končno poročilo Ljubljana: Pedagoški Inštitut←
- MIZŠ – Ministrstvo za izobraževanje in šport (2019). Statistika. Najdeno 29. 5. 2019 na spletnem naslovu http://wwwmizsgovsi/fileadmin/mizsgovsi/pageuploads/podrocje/posebne_potrebe/pdf/PSV_statistikapdf←
- Pravilnik o dodatni strokovni in fizični pomoči za otroke s posebnimi potrebami. Uradni list RS št. 88/13. ←
- FPIES – Financing Policing for Inclusive Education Systems (bl). Country Report – Slovenia←
- MJU – Ministrstvo za javno upravo (2019) Plačna lestvica in vrednost nominalnih osnov. Ministrstvo za javno upravo. Najdeno 15. 5. 2019 na spletni strani http://wwwmjugovsi/si/delovna_podrocja/place_v_javnem_sektorju/veljavna_placna_lestvica/←
- Zavod za zdravstveno zavarovanje Slovenije (2018). Pogodbeni dogovor za leto 2018. Najdeno 15. 1 2022 na spletnem naslovu https://partnerzzzssi/wps/portal/portali/aizv/zdravstvene_storitve/splosni_dogovori_in_aneksi/splosni_dogovori_in_aneksi/←
- SURS - Statistični urad RS (2019). Povprečna bruto plača za december 2018 za 1,7 % nižja od plače za november 2018. Najdeno 20. 6. 2019 na spletnem naslovu https://wwwstatsi/StatWebPDF/PrikaziPDFaspxid=7932=sl←
- NIJZ: Stanje na področju prepovedanih drog v Sloveniji 2016←
- MIZŠ – Ministrstvo za izobraževanje in šport (2018). Okrožnica MIZŠ 6034-113/2017/1←
- Fergusson, D M, John Horwood, L, Ridder, E M (2005). Show me the child at seven: the consequences of conduct problems in childhood for psychosocial functioning in adulthood Journal of child psychology and psychiatry, 46(8), 837–49←
- Kosmač, G (2018). Zapornik je leta 2017 davkoplačevalce stal slabih 80 evrov dnevno. 17. april 2018. Najdeno 1. 8. 2019 na spletnem naslovu https://wwwrtvslosi/slovenija/zapornik-je-leta-2017-davkoplacevalce-stal-slabih-80-evrov-dnevno/452225←
- Evans, S, Davies, S, Williams, M, Hutchings, J (2015). Short-term benefits from the incredible years parents and babies programme in Powys. Community Practitioner, 88(9), 46–9←
- Sethi, D, Yon, Y, Parekh, N, Anderson, T, Huber, J, Rakovac, I, Meinck, F (2018). European status report on preventing child maltreatment. WHO Regional Office for Europe, Copenhagen←
- Felitti, V J et al (1998). Relationship of Childhood Abuse and Household Dysfunction to Many of the Leading Causes of Death in Adults. American Journal of preventive medicine, 14(4), 245–58←
- Kuhar, M, Kocjan, G Z (2020) Konglomerat travme: obremenjujoče izkušnje v otroštvu in njihovo socialno-demografsko ozadje. Fakulteta za sociologijo, politične vede in novinarstvo Univerze v Ljubljani←
- EU Commission (2008). Guide to cost-benefit analysis of investment projects. The EU. ←
- Furlong, M, McGilloway, S, Bywater, T, Hutchings, J, Smith, S M, Donnelly, M (2012) Behavioural and cognitive‐behavioural group‐based parenting programmes for early‐onset conduct problems in children aged 3 to 12 years. Campbell Systematic Reviews, 8(1), 1–239←
- Maučec Zakotnik, J (2019) Resolucija o nacionalnem programu duševnega zdravja 2018-2028. Z več znanja o motnjah razpoloženja, 35←
Reference
- Thapar, A., Pine, D. S., Scott, S., Snowling, M. J., Taylor, E. A. (Eds). (2017). Rutter's child and adolescent psychiatry. John Wiley Sons. ←
- Pardini, D., Frick, P. J. (2013). Multiple developmental pathways to conduct disorder: Current conceptualizations and clinical implications. Journal of the Canadian Academy of Child and Adolescent Psychiatry, 22(1), 20←
- Cooper, V., Emerson, E., Glover, G., Gore, N. J., Hassiotis, A., Hastings, R., Shurlock, J. (2014). Early intervention for children with learning disabilities whose behaviour challenges. Briefing Paper Challenging Behaviour Foundation←
- Webster‐Stratton, C., Rinaldi, J., Reid, J. M. (2011). Long‐term outcomes of Incredible Years Parenting Program: Predictors of adolescent adjustment. Child and Adolescent Mental Health, 16(1), 38–46←
- O'Neill, D, McGilloway, S, Donnelly, M, Bywater, T, Kelly, P. (2010). A Cost-Benefit Analysis of Early Childhood Intervention: Evidence from an Experimental Evaluation of the Incredible Years Parenting Program←
- Copeland, W E, Shanahan, L, Costello, E J, Angold, A (2009). Childhood and adolescent psychiatric disorders as predictors of young adult disorders Archives of general psychiatry, 66(7), 764–72←
- Scott, S, Knapp, M, Henderson, J, Maughan, B (2001). Financial cost of social exclusion: follow up study of antisocial children into adulthood. Bmj, 323(7306), 191←
- Hutchings, J, Bywater, T, Daley, D, Gardner, F, Whitaker, C, Jones, K, Edwards, R T (2007). Parenting intervention in Sure Start services for children at risk of developing conduct disorder: pragmatic randomised controlled trial. Bmj, 334(7595), 678←
- World Health Organization, Violence Prevention: The Evidence Geneva, Switzerland: WHO, 2010←
- World Health Organization (2016). INSPIRE: Seven strategies for ending violence against children. World Health Organization.←
- European Union Commission (2013). Parenting Support Policy Brief. The EU. ←
- Daly, M, Bruckhauf, Z, Byrne, J, Pecnik, N, Samms-Vaughan, M, Bray, R, Margaria, A (2015). Family and Parenting Support: Policy and Provision in a Global Context Innocenti Insights. UNICEF Office of Research - Innocenti, Florence←
- United Nations Office on Drugs and Crime (2009). Guide to implementing family skills training programmes for drug abuse. ←
- Menting, A T, de Castro, B O, Matthys, W (2013). Effectiveness of the Incredible Years parent training to modify disruptive and prosocial child behavior: A meta-analytic review. Clinical Psychology Review, 33(8), 901–13←
- Overbeek, G, Van Aar, J, De Castro, B O, Matthys, W, Weeland, J, Chhangur, R R, Leijten, P (2021). Longer-term outcomes of the incredible years parenting intervention. Prevention Science, 22(4), 419–31←
- Sandler, I N, Schoenfelder, E N, Wolchik, S A, MacKinnon, D P (2011). Long-term impact of prevention programs to promote effective parenting: Lasting effects but uncertain processes. Annual review of psychology, 62, 299–329←
- Colman, I, Murray, J, Abbott, R A, Maughan, B, Kuh, D, Croudace, T J, Jones, P B (2009). Outcomes of conduct problems in adolescence: 40 year follow-up of national cohort. British medical journal, 338, a2981←
- Cleary, A, Fitzgerald, M, Nixon, E (2004). From child to adult: a longitudinal study of Irish children and their families. University College Dublin (UCD)←
- Caspi, A, Wright, B R E, Moffitt, T E, Silva, P A (1998). Early failure in the labor market: Childhood and adolescent predictors of unemployment in the transition to adulthood. American sociological review, 63(3), 424←
- Chisholm, D, Knapp, M R J, Knudsen, H C, Amaddeo, F, Gaite, L U I S, Van Wijngaarden, B O B, EPSILON Study Group (2000). Client socio-demographic and service receipt inventory–European version: development of an instrument for international research: EPSILON Study 5. The British Journal of Psychiatry, 177(S39), s28–s33←
- Zerbe, R O Jr, Bellas, A S (2006) A Primer for Benefit-Cost Analysis. Cheltenham: Edward Elgar←
- Uredba o enotni metodologiji za pripravo in obravnavo investicijske dokumentacije na področju javnih financ, Uradni list RS, št 60/06, 54/10 in 27/16←
- Brigham, E F, Erhard, M, C Financial management theory and practice 2013. Cengage Learning←
- Anderluh, M (2017) Načrt delovanja Centra za dokazano učinkovite programe zgodnjih intervenc na področju duševnega zdravja otrok. Univerzitetni klinični center, Pediatrična klinika ←
- O’Neill, D, McGilloway, S, Donnelly, M, Bywater, T, Kelly, P (2013) A cost-effectiveness analysis of the Incredible Years parenting programme in reducing childhood health inequalities. The European Journal of Health Economics, 14(1), 85–94←
- Kuzma, M, Mirković, A, Svetina M Anderluj, M (2017) Evalvacija učinkovitosti programa NL Nowvay Grants. Služba vlade RS za razvoj in evropsko kohezijsko politiko, Univerzitetni klinični center ←
- Webster-Stratton, C (2015) The Incredible Years® series: A developmental approach In Family-Based Prevention Programs for Children and Adolescents (pp 54–79). Psychology Press←
- Mala ulica (2017) Prijava na javni razpis za sofinanciranje programov varovanja in krepitve zdravja za leta 2017, 2018 in 2019←
- Pravilnik o dodatni strokovni in fizični pomoči za otroke s posebnimi potrebami (Uradni list RS, št 88/13 in 108/21)←
- Zakon o usmerjanju otrok s posebnimi potrebami (Uradni list RS, št 58/11, 40/12 – ZUJF, 90/12, 41/17 – ZOPOPP in 200/20 – ZOOMTVI)←
- Vršnik Perše, T, Krajnc, M S, Čagran, B, Košir, K, Hmelak, M, Bratina, T, Lorbek, T (2016). Evalvacija različnih oblik dodatne strokovne pomoči, ki je otrokom dodeljena v skladu z Zakonom o usmerjanju otrok s posebnimi potrebami. Nacionalna evalvacijska študija–Končno poročilo Ljubljana: Pedagoški Inštitut←
- MIZŠ – Ministrstvo za izobraževanje in šport (2019). Statistika. Najdeno 29. 5. 2019 na spletnem naslovu http://wwwmizsgovsi/fileadmin/mizsgovsi/pageuploads/podrocje/posebne_potrebe/pdf/PSV_statistikapdf←
- Pravilnik o dodatni strokovni in fizični pomoči za otroke s posebnimi potrebami. Uradni list RS št. 88/13. ←
- FPIES – Financing Policing for Inclusive Education Systems (bl). Country Report – Slovenia←
- MJU – Ministrstvo za javno upravo (2019) Plačna lestvica in vrednost nominalnih osnov. Ministrstvo za javno upravo. Najdeno 15. 5. 2019 na spletni strani http://wwwmjugovsi/si/delovna_podrocja/place_v_javnem_sektorju/veljavna_placna_lestvica/←
- Zavod za zdravstveno zavarovanje Slovenije (2018). Pogodbeni dogovor za leto 2018. Najdeno 15. 1 2022 na spletnem naslovu https://partnerzzzssi/wps/portal/portali/aizv/zdravstvene_storitve/splosni_dogovori_in_aneksi/splosni_dogovori_in_aneksi/←
- SURS - Statistični urad RS (2019). Povprečna bruto plača za december 2018 za 1,7 % nižja od plače za november 2018. Najdeno 20. 6. 2019 na spletnem naslovu https://wwwstatsi/StatWebPDF/PrikaziPDFaspxid=7932=sl←
- NIJZ: Stanje na področju prepovedanih drog v Sloveniji 2016←
- MIZŠ – Ministrstvo za izobraževanje in šport (2018). Okrožnica MIZŠ 6034-113/2017/1←
- Fergusson, D M, John Horwood, L, Ridder, E M (2005). Show me the child at seven: the consequences of conduct problems in childhood for psychosocial functioning in adulthood Journal of child psychology and psychiatry, 46(8), 837–49←
- Kosmač, G (2018). Zapornik je leta 2017 davkoplačevalce stal slabih 80 evrov dnevno. 17. april 2018. Najdeno 1. 8. 2019 na spletnem naslovu https://wwwrtvslosi/slovenija/zapornik-je-leta-2017-davkoplacevalce-stal-slabih-80-evrov-dnevno/452225←
- Evans, S, Davies, S, Williams, M, Hutchings, J (2015). Short-term benefits from the incredible years parents and babies programme in Powys. Community Practitioner, 88(9), 46–9←
- Sethi, D, Yon, Y, Parekh, N, Anderson, T, Huber, J, Rakovac, I, Meinck, F (2018). European status report on preventing child maltreatment. WHO Regional Office for Europe, Copenhagen←
- Felitti, V J et al (1998). Relationship of Childhood Abuse and Household Dysfunction to Many of the Leading Causes of Death in Adults. American Journal of preventive medicine, 14(4), 245–58←
- Kuhar, M, Kocjan, G Z (2020) Konglomerat travme: obremenjujoče izkušnje v otroštvu in njihovo socialno-demografsko ozadje. Fakulteta za sociologijo, politične vede in novinarstvo Univerze v Ljubljani←
- EU Commission (2008). Guide to cost-benefit analysis of investment projects. The EU. ←
- Furlong, M, McGilloway, S, Bywater, T, Hutchings, J, Smith, S M, Donnelly, M (2012) Behavioural and cognitive‐behavioural group‐based parenting programmes for early‐onset conduct problems in children aged 3 to 12 years. Campbell Systematic Reviews, 8(1), 1–239←
- Maučec Zakotnik, J (2019) Resolucija o nacionalnem programu duševnega zdravja 2018-2028. Z več znanja o motnjah razpoloženja, 35←