Search

Den huvudsakliga uppgiften i denna rapport har varit att utifrån ett hållbarhetsperspektiv utvärdera ett antal projekt som syftat till att minska näringsläckaget från jordbruksmark i olika områden i Sverige. Projekten är dels de ”5 stora”, som finansierats genom havsmiljöanslaget, samt tre stycken mindre LOVAfinansierade projekt. För att möjliggöra jämförbara och robusta utvärderingar av projekt har ett analysverktyg utvecklats parallellt med insamling av data för de olika projekten. I analysverktyget utvärderas hur projekt bidragit till miljömässig, ekonomisk och social hållbarhet. Den slutliga bedömningen av ett projekt utgörs av ett sammanvägt hållbarhetsindex tillsammans med ett antal deskriptiva kriterier. Utvärderingen av de ”5 stora” visar bl.a. att:  De mest framgångsrika projektet inom de ”5 stora” är Greppa Fosforn och Tullstorpsån. Utvärderingarna visar att de tre hållbarhetsdimensionerna är korrelerade (generellt höga) i de flesta framgångsrika projekt. Detta speglar exempelvis att möjligheten att uppnå målsättningar om åtgärder inom ett projekt (ekologisk hållbarhet) ökas av en hög grad av acceptans och deltagande från lokala aktörer och markägare (socialt hållbarhet).  I några projekt är det sociala indexet högt, medan de ekologiska och ekonomiska är relativt låga. Detta kan innebära att projektet resulterat i ökad acceptans, deltagande och kunskap så att fortsatt engagemang också leder till fortsatta åtgärder. Ett exempel är Slätbaken där stor vikt lagts på samverkan och nya institutionella arrangemang.  Förklaringar till utfallet i projektutvärderingarna kan till stor del sökas bland de deskriptiva kriterierna där fokus ligger på att beskriva hur projekten genomförts och på vilka behov som föregått projektet. Till exempel om projektet initierats lokalt, regionalt eller nationellt, av enskilda aktörer eller av myndigheter.  För att kartlägga framgångsfaktorer och projektrisker med statistisk säkerhet/signifikans behöver att större antal projekt utvärderas med analysverktyget. Analys av ett större antal projekt skulle ge ett dataunderlag med goda möjligheter till statistiska analyser för att kartlägga vad som leder till höga hållbarhetsindex inom olika typer av projekt. En jämförelse mellan utvärderingarna av de ”5 stora” och de tre fristående LOVAprojekten visar bl.a. att:  Budget för respektive projekt är ungefär 5-10% av motsvarande budget för projekten i de ”5 stora”, som vägledande jämförelse. LOVA-projekten är således mycket mindre och de föreslagna åtgärderna likaså, men uppnår likartade hållbarhetsindex som projekten inom de ”5 stora”.  Vidare är en stor skillnad att de tre LOVA-projekten är initierade lokalt, i två av fallen av kommuner.  De mindre LOVA-projekten kan ha fördelar genom att vara anpassade och utformade efter lokala behov, och på så sätt även ha lättare att skapa lokal acceptans. UTVÄRDERING PROJEKTVERKSAMHET – ”DE 5 STORA” 10  En annan betydelsefull framgångsfaktor är att projekten är väl avgränsade, och att myndigheter och projektägare är överens om åtgärdsfokus.  Däremot saknar de mindre projekten i större grad möjligheten att dra nytta av de synergieffekter som de större projekten i de ”5 stora” har haft till följd av större organisation, befintlig infrastruktur, angränsande forskningsprojekt etc. Med utgångspunkt från slutsatserna lämnas tre rekommendationer:  Ställ högre krav på rapporteringen av genomförda projekt Arbetet med att samla in information och att utvärdera projekten inom de ”5 stora” och de tre fristående LOVA-projekten har tydligt visat på behovet av en förbättrad projektrapportering. För att underlätta Havs- och vattenmyndigheten framtida arbete med projektutvärderingar och prioriteringar mellan framtida projekt, behöver återrapporteringen bli bättre på att beskriva vad som görs inom projekten, hur framgångsrika åtgärderna är och vad de kostar. Krav måste åtminstone ställas på att rapporteringen görs på ett sätt som möjliggör utvärdering av genomförda projekt utifrån måluppfyllelse, ekonomi och sociala aspekter.  Ställ högre krav i ansökan på genomförande och organisation. En viktig aspekt, åtminstone i projekt av större dignitet, är att skapa acceptans och delaktighet i åtgärder som bygger på frivillighet. Medfinansiering genom medel från Havs- och vattenmiljöanslaget, eller LOVA, för projekt som omfattar flera års genomförande med betydande budget bör således grunda sig på en tydlig presentation redan i ansökan över hur projektet kommer att organiseras för att skapa samverkan i såväl vertikal som horisontell ledd. Ansökan bör också tydligt beskriva vilka metoder som kommer att användas för att stimulera deltagande, samverkan och kunskapsspridning.  Utvärdera ett större antal bidragsfinansierade projekt med analysverktyget Det krävs att analysen tillämpas på ett större antal projekt för att mer långtgående slutsatser ska kunna dras om framgångsfaktorer och riskkällor i de genomförda projekten. Ett större dataunderlag skulle möjliggöra en mer ingående statistisk analys, exempelvis av betydelsen av enskilda kriterier för projektutfall i olika sammanhang. Underlaget kan sedan användas vid prioritering mellan förslag till framtida bidragsfinansierade projekt. Ett större dataunderlag kan också belysa förhållandet mellan osäkerhet i projektrapporteringen och uppnådda hållbarhetsindex inom olika projekt. Informationen kan ge stöd för beslut om vilka krav som ska ställas på förbättrad rapportering i framtida bidragsfinansierade projekt. The main task in this report has been to evaluate a number of projects designed to reduce the impact on eutrophication from farmlands by reducing the discharge of nutrients. The projects are de “5 stora” (The five great”), with funding from the havsmiljöanslaget, and in addition, three minor projects financed through LOVAfunding. To facilitate comparable and robust project evaluations, an analysis-tool has been developed in parallel with the compilation of project data. The tool is used for evaluating the contribution from a project to environmental, economic and social sustainability. The overall assessment consists of a weighted sustainability index accompanied by a number of descriptive criteria. The evaluation of the ”5 stora” reveals among many things the following:  The most successful projects among de “5 stora” are Greppa Fosforn and Tullstorpsån. The evaluation shows that the indexes for the three sustainability dimensions are correlated (generally high) for most successful projects. This illustrates e.g. that the possibility to achieve the project objectives regarding measures (ecological sustainability) is enhanced when accompanied by a high level of acceptability and cooperation from local actors and land owners (social sustainability).  Some project evaluations show high social indexes while the ecological and economic indexes are relatively. This might imply that the project has resulted in an increased level of acceptability, participation and knowledge which in turn is expected to foster continued engagement. One such example is Slätbaken where great effort has been invested into the development of cooperation and institutional arrangements.  The outcome of the project evaluations can to a large extent be explained by the descriptive criteria focusing on how the projects have been executed and individual preconditions e.g. was the project initiated locally, regionally, nationally, or by an individual actor or a governmental agency.  In order to draw statistically significant conclusion regarding project success factors and risk, a greater number of projects need to be evaluated. The analysis would provide a data set to facilitate statistical analysis yielding information on the connection between different features and successful projects. A comparison between the evaluations of de ”5 stora” and the three LOVA-projects reveals the following:  The sizes of the LOVA-budgets are in general only between 5 and 10% of the budgets in the larger projects. The LOVA-projects are thus much smaller but achieves approximately the same sustainability indexes as the bigger projects.  In addition, the LOVA-projects were initiated locally, in two cases by a municipality.  The smaller LOVA-projects might have an advantage by being adapted to, and designed for local needs facilitating local acceptability. Another important success factor among the LOVA-projects also mentioned above is the clear projects delimitation and in addition, that authorities and project owners have a clear agreement on the project focus.  The smaller project does on the other hand lack the possibility to benefit from synergies offered by larger organizations, e.g. existing infrastructure, adjoining research projects etc. Three recommendations is made based on the outcome of the project:  The requirements regarding reporting of projects need to be more extensive. The compilation of data for evaluating de “5 stora” and the three LOVA-projects has revealed the need for improvements regarding the reporting of the projects. To facilitate the future project evaluation and prioritization of future projects at SwAM (Swedish Agency for marine and water management), the reporting from ongoing projects need to be much more comprehensive when it comes to describing achievements as well as economic and social circumstances. The reporting must at least be good enough to allow for evaluation of ecological, economic and social sustainability.  Stricter requirements on applications regarding presentation of project implementation and organization. An important feature, at least in larger projects where the measures relies on voluntariness, is the creation of acceptability and participation. A thorough presentation already in the application on how the project plans to achieve vertical as well as lateral cooperation should therefore be a precondition for co-financing from Havs- och vattenmiljöanslaget (previously havsmiljöanslaget) and LOVA. The application should also clearly show what methods that are planned for stimulating participation, cooperation and dissemination of the project outcome.  Evaluate a greater number of projects with the analysis tool In order to draw conclusions regarding success factors and risks on a more general level, a greater number of projects need to be evaluated with the analysis tool. A more comprehensive data set could be used for statistical analysis describing e.g. the dependence of individual criteria for project outcome in different circumstances. It could also be used to illustrate the relationship between uncertainty in reported project data and achieved sustainability indexes in varying projects. This would in turn yield information on what improvements of the reporting of projects that is most important in order to facilitate future project evaluations.

Denna vägledning för projektutvärdering är tänkt att användas tillsammans med huvudrapporten Utvärdering projektverksamhet – De fem stora, Havs- och vattenmyndighetens rapport 2016:5 och en Excel-mall för projektutvärdering. Utvärdering projektverksamhet - utvärderingsmall, Enveco rapport 2015:9. Varje delmoment i vägledningen innehåller hänvisningar till huvudrapporten där användaren kan finna mer och utförligare information om kriterier, poängskalor för bedömningar samt beräkningar av hållbarhetsindex. I huvudrapporten beskrivs även den teoretiska bakgrunden till metoden. I anslutning till de praktiska stegen för projektutvärdering som presenteras i guiden görs hänvisningar utvärderingsmallen i bilagan.