Validation of products - Copernicus Land Monitoring Service

GMES Initial Operations / Copernicus Land monitoring services – Validation of

products

Validation Services for the geospatial products of the Copernicus land Continental and local components

including in-situ data (lot 1) Open Call for Tenders - EEA/MDI/14/010

Fourth Specific Contract - N°3436/R0-COPERNICUS/EEA.57889

Document : CLMS_CLC2018_Validation_Report_SC04 Issue: 1.3 Date: 19/02/2021

CLC2018 / CLCC1218 VALIDATION REPORT

CLMS_CLC2018_Validation_Report_SC04 Issue: 1.3

CLMS Land Product Validation CORINE Land Cover 2018 / 203

Consortium Partners

Document Preparation and Release

Affiliation Name(s) Date Signature

Author IGN FI Adrien Moiret-Guigand

29/07/2020

12/01/2021

19/02/2021

Contributions IGN-FI Gabriel Jaffrain, 29/07/2020

19/02/2021

Review SIRS Alexandre Pennec 30/07/2020

Approval EEA Hans Dufourmont

Document Issue Record

Issue Date Author(s) Description of Change

1.0 29/07/2020 Adrien Moiret , Gabriel jaffrain First draft

1.1 30/07/2020 Alexandre Pennec Review and integration of CI95%

1.2 12/01/2021 Adrien Moret Correction of Macaronesia issues

1.3 19/02/2021 Adrien Moret Integration of feedbacks from EEA and SPs

Prime Contractor SIRS SAS, France

Main Partners GAF AG, Germany

Joanneum Research, Austria

e-GEOS, Italy

Experts Specto Natura, UK

IGN France International, France

Terranea, Germany

NLSI, Iceland



Executive Summary

This report provides the evaluation results of the CORINE Land Cover (CLC) data layers, specifically the Land Cover 2018 status and the Land Cover 2012-2018 change layers. This analysis was performed over 100% of coverage for each of the EEA39 countries. No semantic checks were envisaged for this product and documentation on previous semantic checks was not made available to the validation team.

The thematic accuracy assessment was conducted in a two-stage process:

1. An initial blind interpretation in which the validation team did not have knowledge of the product’s thematic classes. However, the product polygon was provided to the validation team together with the point sample unit to consider boundary effects and geometric differences between the validation and production data (without access to the different attributes)

2. A plausibility analysis was performed by another independent team from the blind interpretation. The plausibility analysis has been carried out on all sample units in disagreement with the production data to consider the following cases: - Both producer and operator codes are plausible. Final validation code used is producer code - Error from first validation interpretation. Final validation used is producer code - Error from producer. Final validation code used is from first validation interpretation - Producer and operator are both wrong. Final Validation code used is a new code from this second

interpretation.

At the end to this two-stage approach, we observe that the plausibility analysis allows a slight improvement in the results compared to the blind analysis (for each level of reporting: biogeographical or country level).

The reporting for validation was done at 3 levels: pan-European, country (or group of countries) and by biogeographical regions. A dedicated sampling design has been developed and applied using two levels of stratification according to (1) countries and group of countries greater than 90,000km² and (2) the CLC2018 or CLCC2012-2018 classes. The thematic accuracy assessment was carried out over 25695 point covering the EEA39.

The results show that the CLC2018 products meet the thematic validation requirement, i.e. 85 % in a blind and plausibility analysis. Indeed, the overall accuracies obtained for CLC2018 are 92.43 % for the blind analysis and 92.67 % for the plausibility analysis. The overall accuracy for the CLCCH2012-2018 data layer at CLC level 3 is 87.12% for the blind analysis and 87.83 % for the plausibility analysis. Those very good results are related to the fact that the 2018 dataset was the fifth update of CORINE Land Cover data, and that each time the database has undergone corrections performed by the national teams. Regarding biogeographic regions, the lower result can be observed in Black Sea region with 84%. The other regions have results above the recommendation threshold. For each country or biogeographical region, the overall accuracy for the CLCCH2012-2018 change layer is systematically lower than the CLC2018 overall accuracy. However, it is quite surprising to note that good results for the CLC2018 status layer does not guarantee good results for the changes CLCCH2012-2018 layer, and vice versa. But a deeper analysis shows that there is generally a link between landscape complexity, diversity of actual changes and the overall accuracy of change detection. The more various are the changes (at level 3), the weaker overall accuracy will be.

Quality checks of the validation points have been made by European experts, partners in the consortium. It should be noted that for the blind and plausibility analysis, we used high and very high-resolution satellite images as a reference:

VHR 2018: spatial resolution <2m HR 2018: spatial resolution of 10m VHR 2012: spatial resolution of 2.5m



HR 2012: spatial resolution between 5m and 20m

In addition, the experts also used google earth as very high-resolution ancillary data. Unlike the national photo-interpretation teams, we did not have any additional thematically source of information such as forest stand maps, peatland maps, etc. Control has thus been performed with a lack of some national source information.



Table of Contents

Executive Summary .................................................................................................................... 3

List of Figures ............................................................................................................................ 10

List of Tables ............................................................................................................................. 11

List of Abbreviations ................................................................................................................. 18

1. Validation Framework ...................................................................................................... 19

1.1. Products to be validated ............................................................................................ 19

1.2. Validation Criteria ...................................................................................................... 19

1.2.1. CLC2018 .............................................................................................................. 19

1.2.2. CLCCH2012-2018 ................................................................................................ 19

2. Validation approach ......................................................................................................... 20

2.1. Completeness ............................................................................................................ 20

2.2. Logical consistency .................................................................................................... 20

2.2.1. Conceptual consistency ...................................................................................... 20

2.2.2. Domain consistency ........................................................................................... 20

2.2.3. Format consistency ............................................................................................ 21

2.2.4. Topological consistency...................................................................................... 21

2.2.5. Additional logical consistency checks ................................................................ 21

2.3. Positional Accuracy .................................................................................................... 21

2.4. Thematic Accuracy ..................................................................................................... 21

2.4.1. Level of reporting ............................................................................................... 21

2.4.2. Stratification and sample design ........................................................................ 23

2.4.3. Response Design................................................................................................. 27

2.4.4. Estimation and analyses procedures.................................................................. 28

2.5. Temporal Quality ....................................................................................................... 29

2.6. Usability ..................................................................................................................... 29

2.7. INSPIRE compliant metadata ..................................................................................... 29

3. Validation check list .......................................................................................................... 30

4. Additional tables .............................................................................................................. 37

4.1. Coordinate reference system description ................................................................. 37

4.2. Nomenclature ............................................................................................................ 38

4.3. Thematic accuracy ..................................................................................................... 39

4.3.1. CLC 2018 status layer ......................................................................................... 39

4.3.2. CLCCH2012-2018 change layer .......................................................................... 45



5. Conclusions and recommendations ................................................................................. 50

Annex 1. Confusion matrix of CLC2018 European level – Blind and plausibility analysis .... 52

Annex 2. Producer and user accuracy of CLC2018 per country or group of countries ........ 54

Annex 3. Confusion matrix CLC2018 per Country or group of countries ............................. 58

Zone 1: part of Turkey Confusion matrix CLC2018 – Blind and plausibility analysis ........... 58

Zone 2: France confusion matrix CLC2018 - Blind and plausibility analysis......................... 60

Zone 3: Spain - confusion matrix CLC2018 - Blind and plausibility analysis ........................ 62

Zone 4: Sweden confusion matrix CLC2018 - Blind and plausibility analysis ....................... 64

Zone 5: Germany confusion matrix CLC2018 - Blind and plausibility analysis..................... 66

Zone 6: Finland confusion matrix CLC2018 - Blind and plausibility analysis ........................ 68

Zone 7: Norway confusion matrix CLC2018- Blind and plausibility analysis ........................ 70

Zone 8: Poland- Confusion matrix CLC2018 - Blind and plausibility analysis ....................... 72

Zone 9: Italy confusion matrix CLC2018 - Blind and plausibility analysis ............................ 74

Zone 10: United Kingdom/Ireland confusion matrix CLC2018 - Blind and plausibility analysis .............................................................................................................................................. 76

Zone 11: Romania confusion matrix CLC2018 - Blind and plausibility analysis ................... 78

Zone 12: Greece confusion matrix CLC2018 - Blind and plausibility analysis ...................... 80

Zone 13: Bulgaria confusion matrix CLC2018- Blind and plausibility analysis ..................... 82

Zone 14: Island confusion matrix CLC2018 - Blind and plausibility analysis ........................ 84

Zone 15: Hungary confusion matrix CLC2018 - Blind and plausibility analysis .................... 86

Zone 16: Portugal confusion matrix CLC2018 - Blind and plausibility analysis .................... 88

Zone 17: Austria/Switzerland confusion matrix CLC2018 - Blind and plausibility analysis . 90

Zone 18: Denmark/Netherland/Belgium /Luxembourg confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................... 92

Zone 19: Albania/Serbia/Macedonia confusion matrix CLC2018 - Blind and plausibility analysis ................................................................................................................................. 94

Zone 20: Bosnia and Herzegovina/Croatia confusion matrix CLC2018 - Blind and plausibility analysis ................................................................................................................................. 96

Zone 21: Czech Republic/Slovakia confusion matrix CLC2018 - Blind and plausibility analysis .............................................................................................................................................. 98

Zone 22: Estonia/Latvia/Lithuania confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................................ 100

Zone 23: Overseas departments confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................................ 102

Annex 4. Producer and user accuracy per bio-geographical region – Blind and plausibility analysis 104

Annex 5. Confusion matrix CLC2018 per Bio-geographical region ..................................... 106



Bio-geographical region ALP - Alpine - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 106

Bio-geographical region ANA - Anatolian- confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 108

Bio-geographical region ARC - Arctic - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 110

Bio-geographical region ATL - Atlantic - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 112

Bio-geographical region BLS – Black sea - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 114

Bio-geographical region BOR - Boreal - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 116

Bio-geographical region CON - Continental - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................. 118

Bio-geographical region - Macaronesia - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 120

Bio-geographical region MED- Mediterranean - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................. 122

Bio-geographical region PAN – Pannonian - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 124

Bio-geographical region STE - Steppic - confusion matrix CLC2018 - Blind and plausibility analysis ............................................................................................................................... 126

Bio-geographical region DOM - Overseas department (tropical region) - confusion matrix CLC2018 - Blind and plausibility analysis............................................................................ 128

Annex 6. Confusion matrix of CLCCH2012-18 – European level – Blind and plausibility analysis 130

Annex 7. Confusion matrix of CLCCH2012-18 per zone-country ........................................ 132

Zone 1: Turkey - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis .. 132

Zone 2: France - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis .. 134

Zone 3: Spain - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis .... 136

Zone 4: Sweden - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis 138

Zone 5: Germany - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................................................ 140

Zone 6: Finland - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis . 142

Zone 7: Norway - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis 144

Zone 8: Poland- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis .. 146

Zone 9: Italy - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ...... 148

Zone 10: United Kingdom / Ireland - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 150



Zone 11: Romania - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................................................ 152

Zone 12: Greece - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis 154

Zone 13: Bulgaria- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................................................ 156

Zone 14: Island- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis .. 158

Zone 15: Hungary - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................................................ 160

Zone 16: Portugal- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................................................ 163

Zone 17: Austria / Swiss - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................................... 165

Zone 18: Denmark/Netherland/Belgium/Luxembourg - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ................................................................................. 167

Zone 19: Albania/Serbia /Macedonia - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 169

Zone 20: Bosnia and Herzegovina/Croatia - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 171

Zone 21: Czech Republic / Slovakia - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 173

Zone 22: Estonia/Latvia/Lithuania - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 175

Zone 23: Oversea departments - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 177

Annex 8. Confusion matrix of CLCCH2006-12 per bio-geographical region ....................... 179

Bio-geographical region ALP - Alpine - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 179

Bio-geographical region ANA - Anatolian - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 181

Bio-geographical region ARC - Arctic - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 183

Bio-geographical region ATL – Atlantic - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 185

Bio-geographical region BLS – Black sea - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 187

Bio-geographical region BOR – Boreal - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 189

Bio-geographical region CON – Continental - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ...................................................................................................... 191



Bio-geographical region MAC– Macaronesia- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ...................................................................................................... 193

Bio-geographical region MED – Mediterranean - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................. 195

Bio-geographical region PAN- Pannonian - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 197

Bio-geographical region STE – Steppic - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ............................................................................................................. 199

Bio-geographical region DOM – Oversea departments - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis ................................................................................. 201



List of Figures

Figure 1: Stratification according to countries and group of countries greater than 90,000km² (total of 23 zones including French oversea department) __________________________________________________________ 22 Figure 2: The European Biogeographical region 2016 ______________________________________________ 22 Figure 3: Simple random (left) and random systematic (right) sampling designs _________________________ 23 Figure 4: Replicates and sub-replicates used on LUCAS grid _________________________________________ 24 Figure 5: Distribution of the sample units according to the stratification into countries and group of countries _________________________________________________________________________________________ 25 Figure 6: Example of a sample unit used for the validation of CLC2018 ________________________________ 27 Figure 7: Spatial distribution of user and producer accuracies below the recommendation threshold of 85% _ 41



List of Tables

Table 1: Distribution of sample units per main strata and substrata for the CLC012 and CLCCH2006-12 products _________________________________________________________________________________________ 26 Table 2: Validation check list __________________________________________________________________ 30 Table 3: Coordinate reference system description ________________________________________________ 37 Table 4: Nomenclature table __________________________________________________________________ 38 Table 5 Overall accuracy for blind and plausibility accuracy and confidence interval (95%) for CLC2018 per country or group of countries. ________________________________________________________________ 39 Table 6: Overall accuracy for blind and plausibility analysis per bio-geographical region __________________ 40 Table 7: Producer and user accuracy of CLC2018 given by land cover classes– Blind and plausibility analysis _ 41 Table 8: Producer and user accuracy of CLC2012 given by land cover classes– Blind and plausibility analysis _ 44 Table 9: assessment of CLCCH2012-2018 for blind and plausibility analysis per bio-geographical region at the second and third CLC level ___________________________________________________________________ 45 Table 10: assessment of CLCCH2012-2018 for blind and plausibility analysis and confidence interval (95%) per country or group of countries at third CLC level __________________________________________________ 46 Table 11: assessment of CLCCH2012-2018 for blind and plausibility analysis per country or group of countries at the second CLC level ________________________________________________________________________ 47 Table 12: Main flow observed at the European level (commission and omission) ________________________ 48 Table 13: Confusion matrix of CLC 2018 – blind analysis ____________________________________________ 52 Table 14: Confusion matrix of CLC 2018 - Plausibility analysis _______________________________________ 53 Table 15: Producer, user and overall accuracy per country (from zone 1 to zone 6) – BLIND and PLAUSIBILITY analysis ___________________________________________________________________________________ 54 Table 16: Producer, user and overall accuracy per country (from zone 07 to zone 12) - BLIND and PLAUSIBILITY analysis ___________________________________________________________________________________ 55 Table 17: Producer, user and overall accuracy per country (from zone 13 to zone 18) - BLIND and PLAUSIBILITY analysis ___________________________________________________________________________________ 56 Table 18: Producer, user and overall accuracy per country (from zone 19 to zone 23 - BLIND and PLAUSIBILITY analysis ___________________________________________________________________________________ 57 Table 19: Confusion matrix CLC 2018 for zone 1 (Turkey) – BLIND ANALYSIS - In column the validation and line the production _____________________________________________________________________________ 58 Table 20: Confusion matrix CLC 2018 for zone 1 (Turkey) – PLAUSIBILITY ANALYSIS - In column the validation and line the production ______________________________________________________________________ 59 Table 21: Confusion matrix CLC 2018 for zone2 (France) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________________ 60 Table 22: Confusion matrix CLC 2018 for zone2 (France) – PLAUSIBILITY ANALYSIS- In column the validation and line the production _________________________________________________________________________ 61 Table 23: Confusion matrix CLC 2018 for zone3 (SPAIN) – BLIND ANALYSIS- In column the validation and line the production ________________________________________________________________________________ 62 Table 24: Confusion matrix CLC 2018 for zone3 (SPAIN) – PLAUSIBILITY ANALYSIS- In column the validation and line the production _________________________________________________________________________ 63 Table 25: Confusion matrix CLC 2018 for zone4 (Sweden – BLIND ANALYSIS - In column the validation and line the production _____________________________________________________________________________ 64 Table 26: Confusion matrix CLC 2018 for zone4 (Sweden – PLAUSIBILITY ANALYSIS - In column the validation and line the production ______________________________________________________________________ 65 Table 27: Confusion matrix CLC 2018 for zone5 (Germany) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________________ 66 Table 28: Confusion matrix CLC 2018 for zone5 (Germany) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ______________________________________________________________________ 67 Table 29: Confusion matrix CLC 2018 for zone6 (Finland) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________________ 68



Table 30: Confusion matrix CLC 2018 for zone6 (Finland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production _________________________________________________________________________ 69 Table 31: Confusion matrix CLC 2018 for zone 7 (Norway) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________________ 70 Table 32: Confusion matrix CLC 2018 for zone 7 (Norway) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ______________________________________________________________________ 71 Table 33: Confusion matrix CLC 2018 for zone 8 (Poland) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________________ 72 Table 34: Confusion matrix CLC 2018 for zone 8 (Poland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production _________________________________________________________________________ 73 Table 35: Confusion matrix CLC 2018 for zone 9 (Italy) – BLIND ANALYSIS - In column the validation and line the production ________________________________________________________________________________ 74 Table 36: Confusion matrix CLC 2018 for zone 9 (Italy) – PLAUSIBILITY ANALYSIS - In column the validation and line the production _________________________________________________________________________ 75 Table 37: Confusion matrix CLC 2018 for zone 10 (United Kingdom & Ireland) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________ 76 Table 38: Confusion matrix CLC 2018 for zone 10 (United Kingdom & Ireland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ___________________________________________________ 77 Table 39: Confusion matrix CLC 2018 for zone 11 (Romania) – BLIND ANALYSIS -In column the validation and line the production _________________________________________________________________________ 78 Table 40: Confusion matrix CLC 2018 for zone 11 (Romania) – PLAUSIBILITY ANALYSIS -In column the validation and line the production ______________________________________________________________________ 79 Table 41: Confusion matrix CLC 2018 for zone 12 (Greece) –BLIND ANALYSIS - In column the validation and line the production _____________________________________________________________________________ 80 Table 42: Confusion matrix CLC 2018 for zone 12 (Greece) –PLAUSIBILITY ANALYSIS - In column the validation and line the production ______________________________________________________________________ 81 Table 43: Confusion matrix CLC 2018 for zone 13 (Bulgaria) – BLIND ANALYSIS -In column the validation and line the production _____________________________________________________________________________ 82 Table 44: Confusion matrix CLC 2018 for zone 13 (Bulgaria) – PLAUSIBILITY ANALYSIS -In column the validation and line the production ______________________________________________________________________ 83 Table 45: Confusion matrix CLC 2018 for zone 14 (Island) –BLIND ANALYSIS - In column the validation and line the production _____________________________________________________________________________ 84 Table 46: Confusion matrix CLC 2018 for zone 14 (Island) –PLAUSIBILITY ANALYSIS - In column the validation and line the production ______________________________________________________________________ 85 Table 47: Confusion matrix CLC 2018 for zone 15 (Hungary) – BLIND ANALYSIS -In column the validation and line the production _____________________________________________________________________________ 86 Table 48: Confusion matrix CLC 2018 for zone 15 (Hungary) – PLAUSIBILITY ANALYSIS -In column the validation and line the production ______________________________________________________________________ 87 Table 49: Confusion matrix CLC 2018 for zone 16 (Portugal) – BLIND ANALYSIS - In column the validation and line the production _________________________________________________________________________ 88 Table 50: Confusion matrix CLC 2018 for zone 16 (Portugal) – PLAUSIBILITY ANALYSIS - In column the validation and line the production ______________________________________________________________________ 89 Table 51: Confusion matrix CLC 2018 for zone 17 (Austria/Switzerland) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________ 90 Table 52: Confusion matrix CLC 2018 for zone 17 (Austria / Switzerland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production __________________________________________________________ 91 Table 53: Confusion matrix CLC 2018 for zone 18 (Denmark, Netherland, Belgium, Luxembourg) – BLIND ANALYSIS - In column the validation and line the production ________________________________________ 92 Table 54: Confusion matrix CLC 2018 for zone 18 (Denmark, Netherland, Belgium, Luxembourg) –PLAUSIBILITY ANALYSIS - In column the validation and line the production ________________________________________ 93 Table 55: Confusion matrix CLC 2018 for zone 19 (Albania/Serbia/Macedonia) – BLIND ANALYSIS -In column the validation and line the production _____________________________________________________________ 94



Table 56: Confusion matrix CLC 2018 for zone 19 (Albania/Serbia/Macedonia) – PLAUSIBILITY ANALYSIS In column the validation and line the production ___________________________________________________ 95 Table 57: Confusion matrix CLC 2018 for zone 20 (Bosnia Herzegovina/Croatia) – BLIND ANALYSIS -In column the validation and line the production __________________________________________________________ 96 Table 58: Confusion matrix CLC 2018 for zone 20 (Bosnia Herzegovina/Croatia) – PLAUSIBILITY ANALYSIS -In column the validation and line the production ___________________________________________________ 97 Table 59: Confusion matrix CLC 2018 for zone 21 (Czech Republic/Slovakia) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________ 98 Table 60: Confusion matrix CLC 2018 for zone 21 (Czech Republic/Slovakia) –PLAUSIBILITY ANALYSIS- In column the validation and line the production __________________________________________________________ 99 Table 61: Confusion matrix CLC 2018 for zone 22 (Estonia/Latvia/Lithuania) – BLIND ANALYSIS -In column the validation and line the production ____________________________________________________________ 100 Table 62: Confusion matrix CLC 2018 for zone 22 (Estonia/Latvia/Lithuania) – PLAUSIBILITY ANALYSIS -In column the validation and line the production _________________________________________________________ 101 Table 63: Confusion matrix CLC 2018 for zone 23 (Guyana/Guadeloupe/La reunion/Martinique/Mayotte) – BLIND ANALYSIS- In column the validation and line the production __________________________________ 102 Table 64: Confusion matrix CLC 2018 for zone 23 (Guyana/Guadeloupe/La reunion/Martinique/Mayotte) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________ 103 Table 65: Producer, user and overall accuracy for Blind and plausibility analysis per bio-geographical region (6 regions from ALP to BOR region) _____________________________________________________________ 104 Table 66: Producer, user and overall accuracy for Blind and plausibility analysis per bio-geographical region (6 regions from CON to STE region) _____________________________________________________________ 105 Table 67: Confusion matrix CLC 2018 for Alpine region –BLIND ANALYSIS- In column the validation and line the production _______________________________________________________________________________ 106 Table 68: Confusion matrix CLC 2018 for Alpine region –PLAUSIBILITY ANALYSIS- In column the validation and line the production ________________________________________________________________________ 107 Table 69: Confusion matrix CLC 2018 for Anatolian region – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________________________ 108 Table 70: Confusion matrix CLC 2018 for Anatolian region – PLAUSIBILITY ANALYSIS- In column the validation and line the production _____________________________________________________________________ 109 Table 71: Confusion matrix CLC 2018 for Arctic region – BLIND ANALYSIS-In column the validation and line the production _______________________________________________________________________________ 110 Table 72: Confusion matrix CLC 2018 for Arctic region – PLAUSIBILITY ANALYSIS-In column the validation and line the production ________________________________________________________________________ 111 Table 73: Confusion matrix CLC 2018 for Atlantic region – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________________________ 112 Table 74: Confusion matrix CLC 2018 for Atlantic region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ________________________________________________________________________ 113 Table 75: Confusion matrix CLC 2018 for Black sea region – BLIND ANALYSIS -In column the validation and line the production ____________________________________________________________________________ 114 Table 76: Confusion matrix CLC 2018 for Black sea region – PLAUSIBILITY ANALYSIS -In column the validation and line the production _____________________________________________________________________ 115 Table 77: Confusion matrix CLC 2018 for Boreal region – BLIND ANALYSIS- In column the validation and line the production _______________________________________________________________________________ 116 Table 78: Confusion matrix CLC 2018 for Boreal region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ________________________________________________________________________ 117 Table 79: Confusion matrix CLC 2018 for Continental region – BLIND ANALYSIIS - In column the validation and line the production ________________________________________________________________________ 118 Table 80: Confusion matrix CLC 2018 for Continental region – PLAUSIBILITY ANALYSIIS - In column the validation and line the production _____________________________________________________________________ 119 Table 81: Confusion matrix CLC 2018 for Macaronesia region – BLIND ANALYSIS - In column the validation and line the production ________________________________________________________________________ 120



Table 82: Confusion matrix CLC 2018 for Macaronesia region – PLAUSIBILITY ANALYSIS - In column the validation and line the production ____________________________________________________________ 121 Table 83: Confusion matrix CLC 2018 for Mediterranean region – BLIND ANALYSIS - In column the validation and line the production _____________________________________________________________________ 122 Table 84: Confusion matrix CLC 2018 for Mediterranean region – PLAUSIBILITY ANALYSIS - In column the validation and line the production ____________________________________________________________ 123 Table 85: Confusion matrix CLC 2018 for Pannonian region – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________________________ 124 Table 86: Confusion matrix CLC 2018 for Pannonian region – PLAUSIBILITY ANALYSIS- In column the validation and line the production _____________________________________________________________________ 125 Table 87: Confusion matrix CLC 2018 for steppic region – BLIND ANALYSS- In column the validation and line the production _______________________________________________________________________________ 126 Table 88: Confusion matrix CLC 2018 for steppic region – PLAUSIBILITY ANALYSIS In column the validation and line the production ________________________________________________________________________ 127 Table 89: Confusion matrix CLC 2018 for Tropical region – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________________________ 128 Table 90: Confusion matrix CLC 2018 for Tropical region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ________________________________________________________________________ 129 Table 91: Confusion matrix of change CLCCH2012-2018 for blind analysis (at level 2 of CLC nomenclature) between the validation and the production _____________________________________________________ 130 Table 92: Confusion matrix of change CLCCH2012-2018 for plausibility analysis (at level 2 of CLC nomenclature) between the validation and the production _____________________________________________________ 131 Table 93: Confusion matrix CLCCH2012-2018 level 2 for zone 1 (Turkey) – BLIND ANALYSIS - In column the validation and line the production ____________________________________________________________ 132 Table 94: Confusion matrix CLCCH2012-2018 level 2 for zone 1 (Turkey) – PLAUSIBILITY ANALYSIS - In column the validation and line the production _________________________________________________________ 133 Table 95: Confusion matrix CLCCH2012-2018 for zone 2 (France) –BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 134 Table 96: Confusion matrix CLCCH2012-2018 for zone 2 (France) –PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 135 Table 97: Confusion matrix CLCCH2012-2018 for zone 3 (Spain) – BLIND ANALYSIS -In column the validation and line the production ________________________________________________________________________ 136 Table 98: Confusion matrix CLCCH2012-2018 for zone 3 (Spain) – PLAUSIBILITY ANALYSIS -In column the validation and line the production ____________________________________________________________ 137 Table 99: Confusion matrix CLCCH2012-2018 for zone 4 (Sweden) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 138 Table 100: Confusion matrix CLCCH2012-2018 for zone 4 (Sweden) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 139 Table 101: Confusion matrix CLCCH2012-2018 for zone 5 (Germany) – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 140 Table 102: Confusion matrix CLCCH2012-2018 for zone 5 (Germany) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 141 Table 103: Confusion matrix CLCCH2012-2018 for zone 6 (Finland) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 142 Table 104: Confusion matrix CLCCH2012-2018 for zone 6 (Finland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 143 Table 105: Confusion matrix CLCCH2012-2018 for zone 7 (Norway) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 144 Table 106: Confusion matrix CLCCH2012-2018 for zone 7 (Norway) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 145 Table 107: Confusion matrix CLCCH2012-2018 for zone 8 (Poland) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 146



Table 108: Confusion matrix CLCCH2012-2018 for zone 8 (Poland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 147 Table 109: Confusion matrix CLCCH2012-2018 for zone 9 (Italy) – BLIND ANALYSIS- In column the validation and line the production ________________________________________________________________________ 148 Table 110: Confusion matrix CLCCH2012-2018 for zone 9 (Italy) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 149 Table 111: Confusion matrix CLCCH2012-2018 for zone 10 (United Kingdom, Ireland) – BLIND ANALYSIS - In column the validation and line the production __________________________________________________ 150 Table 112: Confusion matrix CLCCH2012-2018 for zone 10 (United Kingdom, Ireland) – PLAUSIBILITY ANALYSIS - In column the validation and line the production ________________________________________________ 151 Table 113: Confusion matrix CLCCH2012-2018 for zone 11 (Romania) – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 152 Table 114: Confusion matrix CLCCH2012-2018 for zone 11 (Romania) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 153 Table 115: Confusion matrix CLCCH2012-2018 for zone 12 (Greece) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 154 Table 116: Confusion matrix CLCCH2012-2018 for zone 12 (Greece) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 155 Table 117: Confusion matrix CLCCH2012-2018 for zone 13 (Bulgaria) – BLIND ANALYSIS In column the validation and line the production _____________________________________________________________________ 156 Table 118: Confusion matrix CLCCH2012-2018 for zone 13 (Bulgaria) – PLAUSIBILITY ANALYSIS In column the validation and line the production ____________________________________________________________ 157 Table 119: Confusion matrix CLCCH2012-2018 for zone 14 (Island) – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 158 Table 120: Confusion matrix CLCCH2012-2018 for zone 14 (Island) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 159 Table 121: Confusion matrix CLCCH2012-2018 for zone 15 (Hungary) – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 160 Table 122: Confusion matrix CLCCH2012-2018 for zone 15 (Hungary) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 162 Table 123: Confusion matrix CLCCH2012-2018 for zone 16 (Portugal) –BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 163 Table 124: Confusion matrix CLCCH2012-2018 for zone 16 (Portugal) –PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 164 Table 125: Confusion matrix CLCCH2012-2018 for zone 17 (Austria / Swiss) – BLIND ANALYSIS - In column the validation and line the production ____________________________________________________________ 165 Table 126: Confusion matrix CLCCH2012-2018 for zone 17 (Austria / Swiss) – PLAUSIBILITY ANALYSIS - In column the validation and line the production _________________________________________________________ 166 Table 127: Confusion matrix CLCCH2012-2018 for zone 18 (Denmark/Netherland/Belgium/Luxembourg) – BLIND ANALYSIS- In column the validation and line the production __________________________________ 167 Table 128: Confusion matrix CLCCH2012-2018 for zone 18 (Denmark / Netherland / Belgium / Luxembourg) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________ 168 Table 129: Confusion matrix CLCCH2012-2018 for zone 19 (Albania/Serbia/Macedonia) – BLIND ANALYSIS - in column the validation and line the production __________________________________________________ 169 Table 130: Confusion matrix CLCCH2012-2018 for zone 19 (Albania / Serbia / Macedonia) – PLAUSIBILITY ANALYSIS - in column the validation and line the production _______________________________________ 170 Table 131: Confusion matrix CLCCH2012-2018 for zone 20 (Bosnia and Herzegovina / Croatia) –BLIND ANALYSIS- In column the validation and line the production _______________________________________ 171 Table 132: Confusion matrix CLCCH2012-2018 for zone 20 (Bosnia and Herzegovina / Croatia) –PLAUSIBILITY ANALYSIS- In column the validation and line the production _______________________________________ 172 Table 133: Confusion matrix CLCCH2012-2018 for zone 21 (Czech Republic / Slovakia) – BLIND ANALYSIS - In column the validation and line the production __________________________________________________ 173



Table 134: Confusion matrix CLCCH2012-2018 for zone 21 (Czech Republic / Slovakia) – PLAUSIBILITY ANALYSIS - In column the validation and line the production _______________________________________________ 174 Table 135: Confusion matrix CLCCH2012-2018 for zone 22 (Estonia / Latvia / Lithuania) – BLIND ANALYSIS- In column the validation and line the production __________________________________________________ 175 Table 136: Confusion matrix CLCCH2012-2018 for zone 22 (Estonia / Latvia / Lithuania) – PLAUSIBILITY ANALYSIS- In column the validation and line the production _______________________________________ 176 Table 137: Confusion matrix CLCCH2012-2018 for zone 23 (Guadeloupe /Guyana / La reunion/ Martinique/ Mayotte) – BLIND ANALYSIS- In column the validation and line the production ________________________ 177 Table 138: Confusion matrix CLCCH2012-2018 for zone 23 (Guadeloupe /Guyana / La reunion/ Martinique/ Mayotte) – PLAUSIBILITY ANALYSIS- In column the validation and line the production __________________ 178 Table 139: Confusion matrix CLCCH2012-2018 for Alpine region –BLIND ANALYSIS- In column the validation and line the production ________________________________________________________________________ 179 Table 140: Confusion matrix CLCCH2012-2018 for Alpine region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 180 Table 141: Confusion matrix CLCCH2012-2018 for Anatolian region– BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 181 Table 142: Confusion matrix CLCCH2012-2018 for Anatolian region– PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 182 Table 143: Confusion matrix CLCCH2012-2018 for Arctic region –BLIND ANALYSIS- In column the validation and line the production ________________________________________________________________________ 183 Table 144: Confusion matrix CLCCH2012-2018 for Arctic region –PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 184 Table 145: Confusion matrix CLCCH2012-2018 for Atlantic region –BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 185 Table 146: Confusion matrix CLCCH2012-2018 for Atlantic region –PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 186 Table 147: Confusion matrix CLCCH2012-2018 for black sea region –BLIND ANALYSIS - In column the validation and line the production _____________________________________________________________________ 187 Table 148: Confusion matrix CLCCH2012-2018 for black sea region –PLAUSIBILITY ANALYSIS - In column the validation and line the production ____________________________________________________________ 188 Table 149: Confusion matrix CLCCH2012-2018 for Boreal region – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 189 Table 150: Confusion matrix CLCCH2012-2018 for Boreal region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 190 Table 151: Confusion matrix CLCCH2012-2018 for Continental region – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 191 Table 152: Confusion matrix CLCCH2012-2018 for Continental region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 192 Table 153: Confusion matrix CLCCH2012-2018 for Macaronesia region – IBLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 193 Table 154: Confusion matrix CLCCH2012-2018 for Macaronesia region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 194 Table 155: Confusion matrix CLCCH2012-2018 for Mediterranean region – BLIND ANALYSIS- In column the validation and line the production ____________________________________________________________ 195 Table 156: Confusion matrix CLCCH2012-2018 for Mediterranean region – PLAUSIBILITY ANALYSIS -In column the validation and line the production _________________________________________________________ 196 Table 157: Confusion matrix CLCCH2012-2018 for Pannonian region – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 197 Table 158: Confusion matrix CLCCH2012-2018 for Pannonian region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 198 Table 159: Confusion matrix CLCCH2012-2018 for Steppic region – BLIND ANALYSIS- In column the validation and line the production _____________________________________________________________________ 199



Table 160: Confusion matrix CLCCH2012-2018 for Steppic region – PLAUSIBILITY ANALYSIS- In column the validation and line the production ____________________________________________________________ 200 Table 161: Confusion matrix CLCCH2012-2018 for Oversea departments (Guadeloupe, French Guyana, Martinique, La Reunion, Mayotte) – BLIND ANALYSIS- In column the validation and line the production ____ 201 Table 162: Confusion matrix CLCCH2012-2018 for Oversea departments (Guadeloupe, French Guyana, Martinique, La Reunion, Mayotte) – PLAUSIBILITY ANALYSIS- In column the validation and line the production ________________________________________________________________________________________ 202



List of Abbreviations

CLC CORINE Land Cover

CLCCH2012-2018 Corine land cover change between 2012 and 2018

EEA European Environment Agency

EU-DEM Digital Elevation Model over Europe

ESA European Spatial Agency

FAO Food and Agriculture Organization of the United Nations

FTY Forest Type

GIO GMES Initial Operations

GMES Global Monitoring for Environment and Security

HRL High Resolution Layer

IGN FI IGN France International

JRC Joint Research Centre

LAEA Lambert Azimuthal Equal-Area

LUCAS Land Use/Cover Area frame Survey

MMU Minimum Mapping Unit

MMW Minimum Mapping Width

PSU Primary Sample Unit

SP Service Provider

TCD Tree Cover Density

UA Urban Atlas



1. Validation Framework

The validation framework is defined by a comprehensive analysis of the product specifications to determine the criteria to be used for the validation exercise.

1.1. Products to be validated The CORINE Land Cover (CLC) dataset was initiated for the reference year 1990 in the late 80s. Updates were then regularly produced for 2000, 2006,2012 and the latest 2018. The CLC applies a pragmatic nomenclature of 44 land cover/land use classes with a Minimum Mapping Unit (MMU) of 25 hectares (ha) and a Minimum Mapping Width (MMW) of 100 m.

Updates are created by generating a change layer. Interpreted changes that have occurred between the two reference years considered are mapped with a 5 ha MMU. It means that the change layer has a higher level of spatial detail than the status layer. Changes are then aggregated to unchanged areas to produce the updated status layer with a 25 ha MMU.

Therefore, the products to be validated as part of the CLC2018 exercise are the following:

CORINE Land Cover 2018 map (CLC2018) nomenclature with 44 classes CORINE Land Cover 2012-2018 change map (CLCCH2012-2018)

1.2. Validation Criteria

1.2.1. CLC2018

The validation exercise focuses on thematic accuracy. The CLC expected overall accuracy is greater than 85% for both the status and change layers. Former validation exercises have been undertaken for previous version of CLC; the most recent available by Büttner et al. (2017).

1.2.2. CLCCH2012-2018

The validation exercise should contribute to determine a suitable accuracy threshold for CLC changes between 2012 and 2018. An overall accuracy will be calculated, and another will be specified by country or group of small countries and by biogeographical region. The European countries are divided into 23 areas.



2. Validation approach

The validation approach will provide guidance on how the products will be validated by defining suitable indicators or metrics. Detailed completeness and logical consistency checks are already performed as part of the semantic checks undertaken by the QC Tool during upload of the products. Therefore, the aim of this validation exercise is not to repeat these, but to review the existing documentation and perform additional checks if deemed necessary. We recommend however to make the QC Tool reports available openly as additional quality information to the users.

Thematic accuracy will represent the bulk of the work undertaken as part of this validation exercise.

The quality assessment is performed according to INSPIRE Data Specifications. The data quality elements considered are: (i) Completeness, (ii) Logical Consistency, (iii) Positional Accuracy, (iv) Thematic Accuracy, (v) Temporal quality and (vi) Usability. Each of them forms a section in the Validation Check list.

Logical consistency checks do not consist in a duplication of Semantic checks, but are performed to identify missing information if relevant.

2.1. Completeness Completeness should only be performed when the product is complete

Description: For non-thematic raster products (Image mosaics & EU-DEM), Completeness provides an indication for missing data or omission within the intended area. For land cover and land use products (both raster & vector), the notion of Completeness in INSPIRE provides an indication of omission and commission errors.

Indicators: the rate of excess items is used for commission errors and the rate of missing items is used to verify omission errors.

2.2. Logical consistency Logical consistency evaluates the degree of adherence to logical rules of data structure, attribution and relationships. In INSPIRE Data Specifications; Logical Consistency comprises four sub-elements described hereafter: conceptual consistency, domain consistency, format consistency and topological consistency.

2.2.1. Conceptual consistency

Description: indicates that the data structure follows the data specifications in terms of data model and relationships.

Indicators:

- Type of feature used - Minimum Mapping Unit (MMU) - Coordinate Reference System - The presence of a unique identifier for each feature - Nomenclature used

2.2.2. Domain consistency

Description: involves the detection of attribute values that are outside the pre-defined range of values. For vector data each attribute has a pre-defined set of range of values. For raster data, the correct encoding of data is checked.



Indicator: Value domain non-conformance: number of items not in conformance with their expected value domain.

2.2.3. Format consistency

Description: includes detection of file format, file or attribute names or attribute types which do not correspond to the specifications. In addition, for raster data the pixel depth is also considered here.

Indicators:

- File format conformance - File name conformance - Attribute names conformance - Attribute types conformance

2.2.4. Topological consistency

Description: topological consistency is applicable to vector data and describes the degree of correctness of the topological characteristics described in the product specification of the dataset.

Indicators:

- Number of overlaps - Number of gaps - Number of multipart features - Number of neighbouring features - Number of self-intersections

- Number of null geometries - Number of unclosed rings - Number of duplicate vertex - Number of pseudo nodes - Number of non-matching nodes

2.2.5. Additional logical consistency checks • Labelling or symbology: the conformity of a layer with the symbology or style given in the product

specifications is checked. • Map projection: the conformity of the map projection parameters is also checked.

2.3. Positional Accuracy Positional accuracy of CLC 2018 is directly related to the positional accuracy of the underlying VHR 2018 imagery.

Visual checks were undertaken in relation to imagery used for validation and during production.

2.4. Thematic Accuracy

2.4.1. Level of reporting The level of reporting for the validation results is at pan-European level. However, results are also provided at different levels of aggregation:

Countries or group of countries with an area greater than 90,000km² level (Figure 1)



Zone 23 Guadeloupe

Zone 23 Martinique

Zone 23 Guyana

Zone 23 La Reunion

Zone 23 Mayotte

Figure 1: Stratification according to countries and group of countries greater than 90,000km² (total of 23 zones including French oversea department)

European Biogeographical regions 2016 level (Figure 2). The French overseas departments are aggregated into one specific biogeographical region named DOM. In fact, this region corresponds to the tropical climate and includes French Guiana, Martinique, Guadeloupe, La Reunion and Mayotte.

Figure 2: The European Biogeographical region 20161

Analysis of the results at a more disaggregated scale will contribute to assess regional differences if any and the causes of these differences.

1 This map reflects the status of the Biogeographical Regions in Europe from 2016 onwards. Maps from European Environment

agency. Link : https://www.eea.europa.eu/data-and-maps/figures/biogeographical-regions-in-europe-2



2.4.2. Stratification and sample design

2.4.2.1. Overview The stratification and the sampling design primarily consist in selecting an appropriate sampling frame and sampling unit. The sampling units can either be “defined on a cartographic representation of the surveyed territory” (Gallego, 20042), in which case it is an area frame, or on a list of the features. According to (Gallego, 2004), area frames give a better representation of the population as the spatial dimension is kept. In an area frame, sample units can be points, lines (often referred to as transects) or areas (often referred to as segments, described by Gallego, 19953). The first step is to define the geographical area for which the accuracy assessment is to be reported and the type of sample units. For the majority of cases, point samples will be used, but areas or segments may be used in specific cases such as when not only thematic accuracy needs to be reported, but also the geometry of mapped objects. Points are considered as the most appropriate unit for our purpose. Polygons have also the drawback of being specific to a single map. In case of changes, the sample may not be adapted anymore. Sampling design refers to the protocol whereby the samples are selected. A probability sampling design is preferred for its objectivity. “Simple random, stratified random, clustered random and systematics designs are all examples of probability sampling designs” (Stehman et al., 19984). Even though a simple random design is easy to implement, its main drawback is that some portions of the population may not be adequately sampled. Cluster sampling is often used to reduce the costs of the collection of reference data but does not resolve geographic distribution problems. A systematic approach would solve this problem, yet it is not appropriate if the map contains cyclic patterns. A stratified approach consists in allocating a pre-defined number of samples per land-cover class. As explained in (Stehman et al., 1998), stratification ensures that each class is represented.

Figure 3: Simple random (left) and random systematic (right) sampling designs

A stratified systematic sampling approach based on LUCAS (Land Use/Cover Area frame statistical Survey) is used for all thematic layers adapting the number of replicates to each stratum. The choice of this approach was made for the following reasons:

A systematic approach ensures full traceability of the results compared to a random approach in which the random selection of samples is difficult to trace

2 Gallego, J. and JRC-IES, I.I., 2004. Area Frames for Land Cover Estimation: Improving the European LUCAS Survey. Presented at the Proceedings of the 3rd World Conference on Agricultural and Environmental Statistical Application, Cancun, Mexico, 2–4.

3 Gallego, F.J., 1995. Sampling frames of square segments. Office for Official Publ. of the European Communities.

4 Stehman, S.V. and Czaplewski, R.L., 1998. Design and analysis for thematic map accuracy assessment: fundamental principles. Remote Sensing of Environment, 64 (3), 331–344.



Some of the sample units will be shared amongst different data layers fostering economies of scale for the validation of Copernicus Land pan-European and local geospatial products

Some of the sample units will also be surveyed on the ground as part of LUCAS LUCAS corresponds to a grid of approximatively 1,100,000 points throughout the European Union. The LUCAS sampling is densified for small strata. A set of 81 points located on an 18x18 km square constitutes a group (red points shown in Figure 4) in which every point is associated with a number comprised between 0 and 81 (the numbers do not follow each other spatially). The same pattern with the same numbers allocation is repeated all over the grid. A replicate refers to the points with the same number selected on the whole LUCAS grid. At first, the number of samples to allocate to each stratum (or MAES4 land cover class) was calculated as a function of their area. In this manner, the sampling design is not only systematic but also stratified. A minimum number of sample units per stratum was defined to ensure that even small strata are represented in the sample. The number of replicates to be selected for a stratum depends on its area and the number of LUCAS points intersecting the stratum. For land cover classes covering a large proportion of the study area, 1 replicate may already exceed the defined number of samples for this class. To solve this problem, replicates are split into four sub-replicates, as illustrated by the blue numbers in Figure 4.

Figure 4: Replicates and sub-replicates used on LUCAS grid

The opposite problem is encountered for land cover classes covering a small proportion of the study area: even by selecting 81 replicates (the maximum number), the intersecting area between the stratum and LUCAS points is too small to reach the required number of samples. Therefore LUCAS grid was densified by creating one point every 200 m.

2.4.2.2. Stratification For the CLC2018 status and change layers, stratification is applied at two levels:

1. Stratification according to countries and group of countries greater than 90,000km² 2. Stratification based on the CLC2012 classes and CLCCH2012-2018 classes based on the map products



Guadeloupe

Martinique

French Guyana

La Reunion

Mayotte

Figure 5: Distribution of the sample units according to the stratification into countries and group of countries

It should be notice that the stratification is based on the CLC 2012 map product, performed during the Second Specific Contract. This approach allows us to take advantage of the sample units already drawn and interpreted for the reference year 2012. Nevertheless, as mentioned in section 2.4.3, the sample units have been reinterpreted/updated for the reference year 2018.

The number of sample units per stratum should be such to ensure a sufficient level of precision at reporting level. The minimum number of sample units per stratum should be set at 5 if possible. Priority is given to strata which are known to be difficult to map: i.e. changes and difficult classes. The validation exercise covers the whole study area in order to be valid.

There was a total of 25,695 sample units selected and covering the entire of EEA39 area. The overall share of sample units per main strata and per country (or aggregated countries) is presented in Table 1.



Table 1: Distribution of sample units per main strata and substrata for the CLC012 and CLCCH2006-12 products

TR FR ES SE DE FI NO PL IT IE+UK RO EL BG IS HU PTAT+CH+

LIBE+LU+NL+DK

AL+ME+MK+RS+

XK

BA+HR+SI

CZ+SKEE+LT

+LVDOM

CLASS/ ZONE Z1 Z2 Z3 Z4 Z5 Z6 Z7 Z8 Z9 Z10 Z11 Z12 Z13 Z14 Z15 Z16 Z17 Z18 Z19 Z20 Z21 Z22 Z23 Total général111 Continuous urban fabric 30 10 20 5 9 15 9 24 19 2 14 1 2 24 20 19 2 5 10 2 1 243112 Discontinuous urban fabric 75 139 41 53 68 66 42 68 109 90 58 36 24 20 64 23 36 95 42 30 67 53 34 1333121 Industrial or commercial units 55 88 54 27 76 41 29 51 91 110 40 36 27 16 52 45 41 67 33 30 43 32 2 1086122 Road and rail networks and associated land 15 24 24 4 11 2 17 59 30 25 20 32 15 1 41 24 27 27 5 27 29 19 4 482123 Port areas 2 10 5 5 9 9 15 5 21 14 4 3 2 5 1 10 2 22 2 2 1 9 1 159124 Airports 9 12 10 10 12 10 15 16 20 15 10 10 5 3 5 10 10 15 6 2 10 10 2 227131 Mineral extraction sites 63 12 11 22 59 31 25 52 34 45 28 20 24 5 19 20 26 19 37 22 30 40 2 646132 Dump sites 3 5 7 12 8 31 3 17 12 9 7 2 6 12 7 1 11 6 5 18 10 1 193133 Construction sites 36 4 17 2 4 8 3 11 6 15 12 11 3 3 10 10 1 47 2 3 9 1 218141 Green urban areas 4 10 10 11 12 17 19 17 17 19 14 3 10 5 19 10 19 22 10 10 19 18 1 296142 Sport and leisure facilities 9 19 17 17 18 27 60 22 26 29 22 18 26 24 19 28 34 36 14 21 31 22 1 540211 Non-irrigated arable land 129 95 116 73 141 97 32 61 131 91 104 34 115 6 168 52 57 90 61 36 133 103 21 1946212 Permanently irrigated land 100 75 6 2 43 77 3 2 308213 Rice fields 36 10 21 26 6 29 5 2 23 4 2 164221 Vineyards 29 53 75 18 42 10 16 37 38 28 21 2 18 20 20 427222 Fruit trees and berry plantations 52 23 80 5 18 39 34 14 21 26 33 63 23 9 22 24 21 38 17 11 573223 Olive groves 27 9 75 23 38 75 8 22 277231 Pastures 47 72 68 27 117 12 20 30 16 178 72 29 52 53 93 39 29 28 28 28 133 54 16 1241241 Annual crops associated with permanent crops 1 5 20 12 18 1 57242 Complex cultivation patterns 95 61 75 22 19 21 23 57 18 32 36 25 19 33 24 27 51 33 36 18 22 10 757243 Land principally occupied by agriculture, with significant areas of natural vegetation 83 57 45 35 18 56 26 30 64 54 42 42 28 32 26 19 30 63 51 29 27 36 893244 Agro-forestry areas 1 38 19 34 1 93311 Broad-leaved forest 90 118 66 61 94 81 66 55 140 23 77 57 88 17 148 86 60 29 113 95 82 51 94 1791312 Coniferous forest 88 101 63 240 100 170 112 95 50 104 43 44 50 9 59 63 100 73 28 51 87 50 1 1781313 Mixed forest 44 88 37 130 47 201 53 60 23 56 64 44 52 9 73 64 72 76 27 23 67 60 2 1372321 Natural grasslands 91 49 62 20 24 15 15 11 38 30 43 23 26 24 12 57 39 42 23 20 23 12 699322 Moors and heathland 22 63 50 19 21 50 10 20 36 16 20 13 24 54 21 26 14 20 16 18 10 543323 Sclerophyllous vegetation 26 29 64 72 82 23 38 33 11 378324 Transitional woodland-shrub 174 159 135 165 62 182 107 138 97 138 107 118 98 25 181 245 76 41 127 110 123 135 35 2778331 Beaches, dunes, sands 19 9 11 5 8 3 14 9 31 6 18 11 10 91 15 1 20 14 2 15 1 313332 Bare rocks 32 19 17 20 9 30 22 2 22 21 16 6 19 59 6 47 19 18 5 1 390333 Sparsely vegetated areas 99 23 31 32 7 20 51 9 31 24 7 41 21 39 5 17 23 26 23 11 6 9 555334 Burnt areas 1 1 9 4 1 5 10 2 7 11 1 52335 Glaciers and perpetual snow 1 10 1 10 18 18 31 47 1 137411 Inland marshes 30 11 4 14 14 20 1 18 24 22 17 13 19 20 20 5 18 29 19 22 19 21 31 411412 Peat bogs 5 58 20 128 52 15 1 58 1 23 10 2 4 24 1 1 10 28 441421 Salt marshes 20 11 19 4 10 16 21 19 1 18 10 20 20 2 1 1 193422 Salines 6 10 10 5 5 1 10 2 1 50423 Intertidal flats 5 2 9 20 16 20 6 15 1 94511 Water courses 31 22 10 19 20 20 19 11 20 9 19 16 5 37 11 5 6 7 12 11 10 9 10 339512 Water bodies 159 34 40 51 59 50 54 39 30 28 30 40 24 45 43 43 23 34 30 22 26 25 1 930521 Coastal lagoons 10 9 5 3 2 1 20 5 1 5 1 15 4 10 4 1 2 1 99522 Estuaries 1 8 6 3 3 1 20 3 5 3 1 12 66523 Sea and ocean 11 1 9 10 3 15 15 1 5 3 1 5 1 2 1 1 4 1 1 34 124

TOTAL CLC2018 classes 1467 1236 1182 952 853 1018 869 734 1204 967 753 855 768 584 999 1050 757 862 755 699 933 669 370 20536CLCCH2012-2018 367 221 371 277 274 361 128 254 271 414 200 208 96 83 248 271 177 186 181 134 181 214 42 5159Total général 1834 1457 1553 1229 1127 1379 997 988 1475 1381 953 1063 864 667 1247 1321 934 1048 936 833 1114 883 412 25695


CMLS Land Product Validation CORINE Land Cover 2018 / 203

The sample units were provided to the bulk interpretation team as one shapefile along with the polygons from the original dataset in which all the information on strata or thematic classes were removed to ensure the independence of the interpretation and too to ensure that actual thematic interpretation errors are separated from thematic errors due to potential geometric shifts.

In order to ensure that unequal sampling intensities between strata are accounted for in the construction of the error matrix (section Erreur ! Source du renvoi introuvable.2.4.4), weights are applied to each stratum.

2.4.3. Response Design LUCAS points are re-interpreted based on available in situ data. LUCAS thematic information is not used directly.

Response design for most data set are based on the interpretation of thematic class at the point level taking into account product specifications (MMU, MMW, class definitions, etc) based on combination of available in situ data. For CLC2018, the HR andVHR dataset can be used alongside the imagery used in production and virtual globes data (Bing or Google Earth images) as illustrated in Figure 6. These images are used in case there is a discrepancy between the independent imagery acquisition date and the imagery used in production. It is also used to confirm geometry in case of a geometric shift between the thematic data and the reference data. In detail, hereafter the reference data used during the validation are listed, covering the EEA39 area at a wall-to-wall basis:

VHR 2018: spatial resolution <2m; spectral resolution: Red/Green/Blue/Near infraRed HR 2018: spatial resolution of 10m; spectral resolution: Red/Green/Blue/Near infraRed VHR 2012: spatial resolution of 2,5m; spectral resolution: Red/Green/Blue/Near infraRed HR 2012: spatial resolution between 5m and 20m; spectral resolution: Red/Green/Blue/NIR

A double-blind approach guarantees complete independence from the map products and may underestimate their accuracy for complicated and difficult classes when sometimes several LC/LU classes are possible. This is resolved by the plausibility approach for which the interpreter checks the map value to assess whether it can be considered correct or not, within the frame of accepted product specifications. However, the plausibility analysis should be combined with the double-blind approach to ensure full traceability and transparency of the validation process.

Figure 6: Example of a sample unit used for the validation of CLC2018



A blind approach was first applied. This consists in constructing the validation data set without any knowledge about the corresponding map layer information, i.e. the validation team did not have knowledge of the product’s thematic classes for the selected sample units. However, the product polygon was provided as guidance to the validation team together with the sample unit to consider boundary effects and geometric differences between the validation and production data. Two parameters were considered to interpret the sample unit along with the polygon:

the area to be checked the size of the polygon

The maximum area to be verified was 100ha (=1 sq.km), e.g. 4 times the size of MMU (25ha). The expert only interpreted the polygon which contains the sample unit. For each sample unit, two thematic fields were filled:

- code2012: the land-cover class value for 2012 (one of the 44 CLC codes) - code2018: the land-cover class value for 2018 (one of the 44 CLC codes)

Additional fields were filled if necessary: - uncertain: drop-down menu (2012/2018/2012&2018/none) in case of uncertainty of the interpretation - comment: free text if any comment is needed

The sample unit was first blindly interpreted by the validation expert, i.e. only the limit of the polygon is visible without knowing the CLC thematic attribute of the area; but interpretation must be made at sample unit level. A second interpretation, carried out by a second interpreter as part of the plausibility analysis, was done only on the sample units in disagreement with product codes. The operator assigned a QC code modifying the validation code if necessary:

Both producer and operator codes are plausible. Final validation code used is producer code Error from first validation interpretation. Final validation used is producer code Error from producer. Final validation code used is from first validation interpretation Producer and operator are both wrong. Final Validation code used is a new code from this second

interpretation. The Plausibility Analysis resulted in revised accuracy metrics.

2.4.4. Estimation and analyses procedures Thematic accuracy should be presented in the form of an error matrix. Unequal sampling intensity resulting from the stratified systematic sampling approach should be accounted for by applying a weight factor (p) to each sample unit based on the ration between the number of samples and the size of the stratum considered:

Where i and j are the columns and rows in the matrix, N is the total number of possible units (population) and π is the sampling intensity for a given stratum.

Overall accuracy and User and producer accuracy should be computed for all thematic classes and 95% confidence intervals should be calculated for each overall accuracy.

The standard error of the error rate can be calculated as follows: 𝜎 =( ) where nh is the sample size for

stratum h and ph is the expected error rate. The standard error is calculated for each stratum and an overall standard error is calculated based on the following formula:

𝜎 = 𝑤 . 𝜎

In which is the proportion of the total area covered by each stratum. The 95% confidence interval is +/- 1.96.



2.5. Temporal Quality Temporal quality is evaluated by providing an indication of the closeness of the acquired image data to the reference year, e.g. the percentage area covered outside the accepted reference period as defined in the tender/product specification i.e. 2012 +/- 1-2 year(s).

2.6. Usability Usability relates to the appropriateness of the metadata description and accompanying documentation to describe the processes and workflows involved in the production of the data. Although it is difficult to describe usability in quantitative terms, it provides a clear evaluation based on objective criteria of any limitation in the intended use of the data.

2.7. INSPIRE compliant metadata Presence of INSPIRE compliant metadata should be verified.



3. Validation check list

Table 2: Validation check list

PRODUCT: CLC2018

VALIDATION LEVEL: EEA39

SERVICE PROVIDER: SERVICE USER: ISSUE/REVISION:

VALIDATION DATE: 28/07/2020 REVIEW DATE:

CONDUCTED BY: IGN FI REVIEWED BY: Adrien Moiret APPROVED BY:

No. DATA

QUALITY SUB-

DATA QUALITY MEASURE

DATA QUALITY RESULT

COMMENTS BY AUDIT TEAM DRAFT AUDIT CONCLUSION

FINAL AUDIT CONCLUSION

1 COMPLETENESS

1.1 Commission Rate of excess items n/a

Please refer to the chapter 4

1.2 Omission Rate of missing items

n/a Please refer to the chapter 4

2 LOGICAL CONSISTENCY

2.1

Format consistency

File format X File format is GeoPackage (.GPKG)

2.2 File name X

File name is 'U2018_CLC2018_V2020_20u1' that means U2018 : last modification / update of the file is from the 2018 mapping campaign CLC1218 : file contains CLC status data for reference year 2018

V2020_20u1 : file was released in 2020 as a first update of final version 20

Accepted



PRODUCT: CLC2018





No. DATA

QUALITY SUB-


DATA QUALITY RESULT



2.3 Attributes names X

Attributes are - ‘Name (Type)’ : OBJECTID (Integer64)

Code_18 (String 3) Remark (String 20)

Area_Ha (Double Real) ID (String 18)

Accepted

2.4 Attributes types X

Attributes are - ‘Name (Type)’ : OBJECTID (Integer64)

Code_18 (String 3) Remark (String 20)

Area_Ha (Double Real) ID (String 18)

Accepted

2.5

Conceptual consistency

Feature type X MultiPolygon

2.6 MMU X In layer : U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1

3778 features < 25 ha (out of 2375406 features) In layer : U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1_FR_GUF

7 features < 25 ha (out of 995 features)

Conditionally accepted



PRODUCT: CLC2018





No. DATA

QUALITY SUB-


DATA QUALITY RESULT



2.7 Coordinate reference system

X

Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1 EPSG 3035 : ETRS89-extended / LAEA Europe

Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1_FR_GLP EPSG 4559 : RRAF 1991 / UTM zone 20N

Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1_FR_GUF EPSG 2972 : RGFG95 / UTM zone 22N

Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1_FR_MTQ EPSG 4559 : RRAF 1991 / UTM zone 20N

Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1_FR_MYT EPSG 4471 : RGM04 / UTM zone 38S

Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1_FR_REU EPSG 2975 : RGR92 / UTM zone 40S

Accepted

2.8 Unique identifier X

Identifiers are unique Layer U2018_CLC2018_V2020_20u1_U2018_CLC2018_V2020_20u1

ID = “EU_” + OBJECTID Other layers :

ID = “FR-” + code + “-Id” . GLP : code = 971 . GUF : code = 973 . MTQ : code = 972 . MYT : code = 976 . REU : code = 974

Accepted

2.9 Nomenclature Conform with

the criteria Accepted

2.10 Domaine consistency

Value domain non-conformance

Not assessed



PRODUCT: CLC2018





No. DATA

QUALITY SUB-


DATA QUALITY RESULT



2.11

Topological consistency

Overlaps Not assessed

2.12 Gaps Not assessed

2.13 Multipart features Conform with the criteria

No multipart polygons Accepted

2.14 Neighbouring features

Not assessed

2.15 Self-intersections

Not assessed

2.16 Null geometry Conform with the criteria

Accepted

2.17 Unclosed rings Conform with the criteria

Accepted

2.18 Duplicate vertex Conform with the criteria

Accepted



PRODUCT: CLC2018





No. DATA

QUALITY SUB-


DATA QUALITY RESULT



2.19 Pseudo nodes This was not assessed

2.20 Non matching nodes

Conform with the criteria

Accepted

3 POSITIONAL ACCURACY

3.1 Absolute or external accuracy

RMSEP n/a

3.2 Relative or internal accuracy

RMSEP n/a

4 THEMATIC ACCURACY

4.1

Classification correctness

Overall accuracy 92.67% Including the overall area

4.2 Min. producer’s accuracy

52.05% Class 133 – Construction site

4.3 Min. user’s accuracy 49.97% Class 241 – Annual crops associated with permanents crops



PRODUCT: CLC2018





No. DATA

QUALITY SUB-


DATA QUALITY RESULT



4.4 Kappa

5 TEMPORAL QUALITY

5.1 Temporal quality

Closeness of the acquired image data to the reference year

Acquisition windows from 2017 to 2019

‘More detailed is not assessed'

6 USABILITY

6.1 Usability Usability description

N/A

7 METADATA

7.1

INSPIRE compliant metadata

Presence

N/A

7.2 File format

N/A

7.3 File name

N/A



PRODUCT: CLC2018





No. DATA

QUALITY SUB-


DATA QUALITY RESULT



7.4 INSPIRE compliance

N/A


GIO Land Product Validation CORINE Land Cover 2018 / 203

4. Additional tables

4.1. Coordinate reference system description Table 3: Coordinate reference system description

NAME OF COORDINATE REFERENCE SYSTEM

ETRS_1989_LAEA

WKID EPSG:3035

PROJECTION Lambert_Azimuthal_Equal_Area

FALSE EASTING 4321000.0

FALSE NORTHING 3210000.0

CENTRAL MERIDIAN 10.0

LATITUDE OF ORIGIN 52,0

LINEAR UNIT (1,0)

GEOGRAPHIC COORDINATE SYSTEM

GCS_ETRS_1989

ANGULAR UNIT Degree (0.0174532925199433)

PRIME MERIDIAN Greenwich (0,0)

DATUM D_ETRS_1989

SPHEROID GRS_1980

SEMIMAJOR AXIS 6378137.0

SEMIMINOR AXIS 6356752.314140356

INVERSE FLATTENING 298.257222101



4.2. Nomenclature Table 4: Nomenclature table

CODE CLASS NAME CODE CLASS NAME

111 Continuous urban fabric 311 Broad-leaved forests

112 Discontinuous urban fabric 312 Coniferous forests

121 Industrial and commercial units 313 Mixed forests

122 Road and rail network and associated land

321 Natural grassland

123 Port areas 322 Moors and heathland

124 Airports 323 Sclerophyllous vegetation

131 Mineral extraction sites 324 Transitional woodland/shrub

132 Dump sites 331 Beaches, dunes, and sand plains

133 Construction sites 332 Bare rocks

141 Green urban areas 333 Sparsely vegetated areas

142 Sport and leisure facilities 334 Burnt area

211 non-irrigated arable land 335 Glaciers and perpetual snow

212 Permanently irrigated land 411 Inland marshes

213 Rice field 412 Peatbogs

221 Vineyard 421 Salt marshes

222 Fruit trees and berry plantation 422 Salines

223 Olive grove 423 Intertidal flats

231 Pastures 511 Water courses

241 Annual crops associated with permanent crops

512 Water bodies

242 Complex cultivation patterns 521 Coastal lagoons

243 Land principally occupied by agriculture, with significant areas of natural vegetation

522 Estuaries

244 Agro-forestry areas 523 Sea and Ocean



4.3. Thematic accuracy

4.3.1. CLC 2018 status layer

This section provides the evaluation results of the CORINE Land Cover layers, specifically the Land Cover 2018 status and the change layer for 2012 and 2018. This analysis was performed over 100% of the coverage. The thematic accuracy assessment was conducted in a two-stage process: an initial blind interpretation in which the validation team did not have knowledge of the product’s thematic classes and a plausibility analysis performed on all sample units that show disagreement between the blind interpretation and the production. This chapter provides both results. Thematic evaluation is done 25,695 samples.

4.3.1.1. Results

The overall accuracies obtained in the frame of the Validation exercise are 92.43% for the blind interpretation and 92.67% for the plausibility analysis, so the results are above the 85% threshold expected. We note a clear improvement of the overall accuracy compared to 2012. Indeed, for the plausibility analysis, it increases from 89.66% in 2012 to 92.67% in 2018.

The confusion matrices at the European level including the blind and plausibility analysis are provided in Annex 1.

Table 5 summarizes overall accuracies obtained by zone (country or group of countries) for the blind and plausibility interpretations including the 95% confidence intervals. For the detailed analysis, for both blind and plausibility analysis, accuracy assessments and metrics (confusion matrices, producer, user and overall accuracies per zones) are provided in Annex 1, Annex 3 and Annex 6.

Table 5 Overall accuracy for blind and plausibility accuracy and confidence interval (95%) for CLC2018 per country or group of countries.

Accuracy better than 85%

Accuracy between 80% and 85%

Accuracy less than 80%



The overall accuracies at the biogeographical regions level illustrated in Table 6 show good to very good results except for Black Sea regions with slightly lower accuracies (like in 2012). Annex 2 provides the producer and user accuracies for each land cover classes and the Annex 4 accuracies for each biogeographical region. Confusion matrices per biogeographical regions are presented in Annex 5.

Table 6: Overall accuracy for blind and plausibility analysis per bio-geographical region

Table 7 summarizes Producer and User accuracies obtained by zone (country or group of countries), for the blind and plausibility interpretations.

Figure 7 represents the spatial distribution of user and producer accuracies below the recommendation of 85% in Europe






Table 7: Producer and user accuracy of CLC2018 given by land cover classes– Blind and plausibility analysis

Figure 7: Spatial distribution of user and producer accuracies below the recommendation threshold of 85%

2018 Code CLC 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244User accuracy 82,44% 97,20% 92,28% 92,54% 100,00% 98,53% 81,33% 93,29% 77,24% 94,81% 96,54% 94,98% 96,50% 97,67% 83,52% 85,19% 92,71% 89,45% 49,97% 86,57% 88,94% 96,63%

Producer accuracy 95,01% 93,17% 92,94% 71,80% 96,09% 95,34% 97,05% 81,54% 69,81% 77,93% 92,22% 97,76% 91,96% 99,74% 98,69% 88,55% 95,87% 92,52% 60,77% 83,24% 83,20% 78,29%User accuracy 81,07% 97,68% 93,11% 93,38% 100,00% 98,53% 81,64% 94,18% 78,97% 94,91% 96,78% 94,83% 96,56% 97,77% 83,69% 85,44% 92,31% 89,95% 49,97% 87,68% 88,66% 96,52%

Producer accuracy 95,36% 93,89% 94,06% 72,03% 98,05% 95,34% 97,46% 80,06% 52,05% 77,98% 90,98% 97,91% 91,19% 99,74% 97,95% 89,31% 94,21% 91,55% 61,82% 84,22% 82,98% 80,32%2018 Code CLC 311 312 313 321 322 323 324 331 332 333 334 335 411 412 421 422 423 511 512 521 522 523

User accuracy 94,29% 95,99% 93,15% 81,24% 92,75% 85,98% 91,71% 78,46% 92,70% 82,52% 48,73% 99,91% 96,09% 97,80% 86,40% 88,82% 86,14% 91,97% 98,96% 97,97% 92,86% 93,87%Producer accuracy 96,11% 96,43% 88,17% 81,08% 92,93% 85,98% 82,59% 69,47% 97,14% 94,83% 100,00% 99,80% 73,69% 99,45% 95,11% 95,45% 93,40% 96,67% 99,32% 98,52% 77,47% 90,59%


BLIND ANALYSIS

PLAUSIBILITY ANALYSIS

BLIND ANALYSIS







4.3.1.2. Main findings and discussion

The CLC2018 status product exceeds the accuracy requirements for the blind and plausibility analysis. In addition, these results are relatively homogenous across the European zones from an overall accuracy of 86.35% for Portugal to 98.93% for Island.

Concerning the bio-geographical regions, the accuracy requirement is reached for overall regions, except of Black Sea whose accuracy slightly below the threshold, i.e 85%

In general, there is a small difference between blind analysis and plausibility. This highlights the robustness of the base and the high quality of the photointerpretation despite the complexity of the nomenclature. For information 2018 dataset is the fifth update of CORINE Land Cover.

The CLC2018 product shows both low producer and user accuracies for blind and plausibility analysis for the following land cover classes: 122,133,141,241,244,331,334,411 and 522. Reasons for main sources of errors can be summarised as follows:

Main sources of both omission and commission errors (producer and user accuracy):

Class 111 “Continuous urban fabric”: some difficulties in the visual interpretation of the urban density. Mainly the confusion concerns the class 112 “discontinuous urban fabric” and the class 122 “road and rail network and associated land”.

Class 122 “road and rail network and associated land: omission error, there is an underestimation of roads and confusion with Urban fabric (111 and 112).

Class 131 “Mineral extraction sites”: commission error, there is a confusion with class 132 “Dump sites”, it seems logical. On the other hand, there is a confusion too, with class 313” mixed forest”, it is not consistent, maybe problem with edge of shapefiles.

Class 132 “Dump sites”: omission error, some confusion with the class 131, it is an internal confusion. Need to have ancillary data to identify 131 from 132.

Class 133 “Construction sites”: commission error with several classes (surely due to the polygon boundary), but especially with the class 131 “Mineral extraction sites”. And omission error, some confusion with artificial classes 112, 121 due to temporal issues (progress of construction development).

Class 141 “Green urban areas”: omission error, we have a confusion with 211 “non-irrigated arable land”. It’s not logical, maybe a problem of polygon edge.

Class 221“Vineyards”: commission error, confusion with the classes 24 “heterogeneous agricultural areas” (242 and 243) when the density of plots planted with permanent crops is not enough sufficient and not representative (Density of permanent crops must occupy more than 75 %).

Class 241 “annual crops associated with permanent crops”: Class which remains very difficult to identify (commission and omission errors), it often confused with the other "mosaic" classes like the 242 and the 243 as well as the permanent cultures 222.

Class 244 “Agro-forestry areas”: corresponds to agro-sylvo-pastoral systems made up of an association of forest trees (like 241), pastures or crops. Here, errors of omission with classes 211, 324,311 and 321.

Class 321 “Natural grassland”: Commission and omission errors. Confusion with 323 “sclerophyllous vegetation”, 333 “sparsely vegetation” and 324 “transitional woodland/shrub” in Mediterranean region.

Class 324 “transitional woodland”: which characterizes both a dynamic aspect of the vegetation and a physiognomic state of the vegetation everywhere in Europe (from Boreal to Mediterranean region). Possible confusion with forest according to the forest growing 311 “broad-leaved forest”, 312 “coniferous forest”, 313” mixed forest” or 321 “Natural grassland” ,323 “sclerophyllous vegetation”.

Class 411 “inland marshes”: omission error, with different type land use (errors of polygon edge) or with humid grass and water.

Class 522 “estuaries”: omission error; it is difficult to delineate estuaries and need to have bathymetry data and other marine maps. Possible confusion with 511 (or 512 sometimes)

All these confusions are represented by a map, see figure 6. The values on the map represents, Plausibility values.

- The commission errors (user accuracy) are mainly distributed in southern Europe (West and East) and concerns mainly the classes 133, 241, 331, 334

- The error of omission (producer accuracy), are distributed more uniformly over all of Europe. The land cover classes concern essentially 122, 133, 141, 241, 331, 411, 522



The stratification and sampling design proved efficient ensuring a good representation of all Land-Cover classes whilst providing precise overall thematic accuracy results at EEA39, zones and biogeographical region level.

In comparison with 2012, we see an improvement in user and producer accuracies per land cover class. Particularly for classes, 111, 221,2 42 and 243. But in general, we find the same trend. Below is the table for 2012.



Table 8: Producer and user accuracy of CLC2012 given by land cover classes– Blind and plausibility analysis

2012 Code CLC 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244User accuracy 77,34% 90,31% 89,53% 89,20% 95,43% 96,02% 84,04% 77,75% 76,25% 85,71% 88,14% 89,89% 94,25% 95,22% 67,44% 67,85% 85,41% 76,88% 31,21% 72,04% 78,49% 92,77%

Producer accuracy 83,14% 89,14% 74,35% 66,32% 87,81% 96,46% 80,64% 80,42% 63,34% 66,32% 71,90% 93,74% 96,61% 94,07% 79,19% 76,81% 88,61% 80,16% 20,68% 62,46% 65,22% 75,11%User accuracy 79,13% 94,84% 93,75% 91,87% 95,43% 98,06% 86,76% 85,97% 79,31% 88,67% 92,89% 93,20% 97,92% 98,44% 76,56% 73,98% 89,80% 84,56% 41,17% 79,79% 84,35% 93,03%

Producer accuracy 83,71% 92,93% 83,83% 85,76% 88,36% 96,63% 97,64% 92,89% 62,44% 68,64% 76,47% 95,41% 98,09% 97,29% 93,77% 89,60% 91,76% 87,02% 27,93% 73,62% 74,69% 78,89%2012 Code CLC 311 312 313 321 322 323 324 331 332 333 334 335 411 412 421 422 423 511 512 521 522 523




BLIND ANALYSIS


BLIND ANALYSIS



4.3.2. CLCCH2012-2018 change layer

4.3.2.1. Main observation at the European and bio-geographical region

The first observation is an overestimation of changes during the interpretation phase. This is because the satellite image used during the validation step allowed identifying a land cover change but in some case it’s not clear which kind of change has occurred. Changes are identified and considered when the difference in the spectral radiometry of satellite images acquired between 2012 and 2018 corresponds to a real land cover or land use change.

For the blind analysis, the overall accuracy of CLCCH2012-2018 at the third level of nomenclature is 87.12%. The overall accuracy of CLCCH2012-2018 at the level 2 is 89.56%.

For the plausibility analysis, the overall accuracy of CLCCH2012-2018 at the third level is 87.83%. The overall accuracy of CLCCH2012-2018 at the second level is 90.09%.

The level 3 of the nomenclature permits a high number of changes combinations (44 x 43 classes = 1,936 possible changes), which makes the analysis very complex. Since the goal of the validation is to provide an overall picture about the accuracy of CLC-Change, the analyses were focused essentially at CLC level 2. Main findings are only provided where significant differences are found between the validation.

The matrix of change at the European level (CLC level 2) is provided in Annex 6 and at the biogeographical region in Annex 8.

Table 9 shows the overall accuracy of CLCCH2012-2018 for each bio-geographical region at the second and third level both for the blind and the plausibility analysis. The plausibility analysis shows a very good overall accuracy both at the second and at the third level; except for regions: Anatolian, Black Sea and Mediterranean (only for third level). At the second level, we see an upgrade of statistic Mediterranean region.

Comparing with overall accuracy of CLCCH2006-2012, we observe less good results for the three regions mentioned previously at third level; and two regions at second level: Anatolian and Black Sea.

Confusion matrix of CLCCH2012-2018 per Bio-geographical region is presented in Annex 8 of the document.

Table 9: assessment of CLCCH2012-2018 for blind and plausibility analysis per bio-geographical region at the second and third CLC level






4.3.2.2. Assessment of CLCCH2012-2018 overall accuracy per country or group of countries at the second and third level

Table 10 and Table 11shows the overall accuracy of CLCCH2012-2018 for each zone (country or group of countries) at the second and third level for the blind and plausibility analysis. The European countries have been gathered into 23 areas. Overall, the land cover changes are very good at the second level and good at the third level.

Table 10: assessment of CLCCH2012-2018 for blind and plausibility analysis and confidence interval (95%) per country or group of countries at third CLC level



Table 11: assessment of CLCCH2012-2018 for blind and plausibility analysis per country or group of countries at the second CLC level

At third level, we observe for Turkey, Greece, Portugal, Bosnia-Herzegovina-Croatia-Slovenia a threshold under the recommendations; and slightly below for Z3, Z9, Z11, Z17 and Z19.

Comparing with 2012, if the overall precision on a European scale is slightly improved, this is not the case for the land cover changes, indeed there is a decrease in the overall precision compared to CLCCH2006-2012.

Confusion matrices of CLCCH2012-2018 per zone/country, group of countries are presented in Annex 7.

4.3.2.1. Main findings and discussion

Table 12 below summarizes differences encountered between the validation and production interpretation at level 2 of the nomenclature for the 2012-2018 changes.

Blind analysis Plausibility analysis Blind analysis Plausibility analysis

BLIND ANALYSIS PLAUSIBILITY

ANALYSIS Overall accuracy Overall accuracy

Z1 Turkey 83,16% 88,57% 84,82% 85,37%Z2 France 88,37% 90,88% 94,18% 94,51%Z3 Spain 89,58% 92,01% 88,81% 89,03%Z4 Sweden 82,17% 90,02% 93,20% 93,48%Z5 Germany 83,30% 89,96% 87,46% 88,00%Z6 Finland 85,92% 89,87% 92,01% 92,85%Z7 Norway 95,00% 97,59% 96,72% 97,14%Z8 Poland 92,35% 94,81% 92,07% 92,11%Z9 Italy - Sardinia 80,20% 87,37% 87,14% 87,28%Z10 United Kingdom - Ireland 87,09% 92,72% 87,72% 88,62%Z11 Roumania 79,74% 92,05% 84,42% 86,91%Z12 Greece 85,08% 90,63% 83,07% 84,07%Z13 Bulgaria 89,02% 95,62% 94,09% 95,13%Z14 Island 93,09% 99,46% 99,44% 99,49%Z15 Hungaria 84,73% 90,54% 91,50% 92,07%Z16 Portugal 78,92% 85,63% 80,75% 81,64%Z17 Switzerland - Austria 80,48% 88,72% 88,47% 88,72%Z18 Belgium - Danmark - Luxembourg - Netherlands 86,81% 89,20% 86,55% 86,89%Z19 Albania - Serbia - Macedonia - Montenegro 84,18% 94,18% 87,14% 87,25%Z20 Bosnia Herzegovina - Croatia - Slovenia 84,83% 90,79% 85,35% 86,83%Z21 Czech Republic - Slovakia 84,23% 92,96% 94,61% 95,48%Z22 Estonia - Latvia - Lithuania 87,82% 90,72% 88,95% 88,37%Z23 French overseas departments 97,58% 98,07% 86,62% 86,79%

GLOBAL ACCURACY 85,90% 91,23% 89,56% 90,09%

Overall accuracy CLCCH2006-2012 level 2 Overall accuracy CLCCH2012-2018 level 2



Table 12: Main flow observed at the European level (commission and omission)

CATEGORIESMAP-CLCC_Lvl2 11-12 12-13 12-21 13-11 13-12 13-14 13-21 13-23 13-24 13-31 13-32 13-51 14-12 Weight of U.A 4,16477522 0,80885465 3,27435248 4,84570184 7,51635858 1,23628614 2,61360787 4,68824335 2,01734126 1,69986974 2,53861376 2,77083706 1,20586475User_accuracy 1,96% 10,11% 0,18% 24,41% 46,00% 14,91% 12,99% 8,84% 1,47% 0,59% 38,40% 9,74% 6,78%Prod_accuracy 94,14% 3,77% 100,00% 95,55% 83,72% 91,82% 78,49% 67,53% 16,77% 10,56% 46,79% 72,50% 100,00% Weight of U.P 0,08687836 2,16833414 0,00584491 1,23818781 4,12981981 0,20071424 0,43244224 0,61357993 0,17630353 0,09473993 2,08338952 0,37222103 0,08178622

MAP-CLCC_Lvl2 21-11 21-12 21-13 21-22 21-23 21-24 21-32 21-41 21-51 22-12 22-21 22-23 22-24 Weight of U.A 5,42924878 3,19512446 3,21229213 9,10630839 96,3714615 148,339849 9,23983063 0,17659518 0,87019609 1,3802169 14,8501628 6,89794465 24,9277193User_accuracy 13,14% 90,91% 67,82% 41,68% 2,98% 2,39% 1,67% 37,84% 72,38% 10,52% 13,86% 1,69% 0,27%Prod_accuracy 61,70% 87,38% 90,34% 91,49% 81,24% 100,00% 100,00% 49,71% 82,91% 50,00% 66,04% 50,00% 29,38% Weight of U.P 1,15630599 3,32423308 2,41147006 4,14852027 3,53431909 3,55183383 0,15447522 0,13444286 0,7597107 0,29046586 3,11689251 0,23336706 0,22849143

23-11 23-12 23-13 23-21 23-22 23-24 23-32 23-42 23-51 24-11 24-12 24-13 24-2115,0649606 8,56327472 1,34708111 96,7391592 1,0343321 26,6085153 34,5366388 0,06683206 0,20747804 10,7433773 0,68713587 2,54649281 104,507855

0,96% 16,96% 53,91% 13,48% 33,84% 1,01% 1,82% 100,00% 63,91% 1,35% 22,49% 39,92% 0,69%19,76% 88,24% 10,33% 66,30% 67,55% 3,53% 28,69% 100,00% 36,15% 10,31% 39,43% 86,15% 54,01%

0,7348311 1,64585391 7,02850958 19,6672782 0,51822586 7,61764377 2,19658779 0,06683206 0,36684017 1,40878135 0,39182739 1,1800743 1,3382676224-22 24-32 24-51

38,8297837 35,9521526 3,869673110,30% 0,57% 10,28%

61,70% 78,19% 68,94%0,18911613 0,26340647 0,57704241

MAP-CLCC_Lvl2 31-11 31-12 31-13 31-14 31-21 31-32 31-33 31-41 31-42 32-12 32-13 32-14 32-21 Weight of U.A 0,30662576 0,45993864 1,68644168 0,32805196 14,678316 283,015899 6,99367581 0,79573285 0,01611906 0,78248312 6,0952683 4,72149688 15,6718997User_accuracy 75,00% 50,00% 81,82% 46,73% 1,59% 46,82% 20,01% 10,13% 100,00% 48,98% 24,24% 1,62% 6,93%Prod_accuracy 89,03% 7,14% 74,42% 100,00% 23,35% 84,71% 100,00% 100,00% 100,00% 56,21% 81,11% 100,00% 72,54% Weight of U.P 0,25830435 3,22121317 1,85405044 0,15331288 1,00127815 156,413087 1,39910376 0,0805953 0,01611906 0,68182801 1,82149554 0,07665644 1,49784166

32-22 32-23 32-31 32-33 32-41 32-51 33-21 33-24 33-32 33-512,86960837 34,762757 242,134112 90,4668868 1,91053002 0,47879406 0,44846312 0,91150036 48,7008542 1,25811341

36,74% 1,46% 31,00% 3,09% 13,50% 55,56% 48,45% 7,95% 4,25% 38,06%93,96% 71,01% 82,03% 69,94% 100,00% 25,13% 100,00% 100,00% 54,93% 81,97%

1,12201399 0,71402924 91,5116885 4,00110824 0,25790496 1,05827966 0,2172978 0,0724326 3,76561147 0,5841123MAP-CLCC_Lvl2 41-12 41-13 41-21 41-23 41-32 41-33 41-51 42-33 Weight of U.A 0,61537425 0,06683206 1,73341716 1,04608676 3,17577703 0,27126872 0,58688113 0,41187726User_accuracy 32,58% 100,00% 24,58% 2,40% 1,79% 21,01% 11,39% 4,61%Prod_accuracy 100,00% 100,00% 90,26% 31,87% 41,90% 100,00% 69,21% 100,00% Weight of U.P 0,20049618 0,06683206 0,47212257 0,07864726 0,13599288 0,05698104 0,09656579 0,01899368

MAP-CLCC_Lvl2 51-32 51-33 51-42 Weight of U.A 0,25474399 1,78021924 0,06683206User_accuracy 80,87% 53,97% 100,00%Prod_accuracy 71,95% 100,00% 100,00% Weight of U.P 0,2863502 0,96073429 0,06683206

Urban

Agricultural

Natural and semi-natural

Wetlands

Water bodies






We will study the main changes according to the five categories of the CLC nomenclature:

CLC change classes: Urban

13-11 / 13-12: When we observe the changes of urban, we acknowledge that industrial areas into the construction site are more or less clearly identified.

Generally, there is an overestimation of urbanization, with a threshold below 80%: like 21-11, 31-11, 31-12, 41-12.

CLC change classes: Agricultural

21-23: Overestimation of agriculture withdrawal flow (annual cultivation in pastures). Possible confusion with temporary grass which have to be classified into 211. Confusion with 21-21 (still annual crops in 2018) or 23-23 (already grass in 2012).

21-24: Overestimation of big annual cultivation plots in small plots associated to permanent crops: doubtful change?

23-24: Underestimation Pastures in Heterogeneous agricultural areas.

We see that class 24 “Heterogeneous agricultural areas” is problematic in general.

CLC change classes: Natural and semi-natural

31-X: We have an overestimation of the changes linked to deforestation 32-31: Overestimation of forest regeneration. It was already forest in 2012 (31-31) or still transitional

woodland in 2018 (32-32).

For a threshold under the recommendation, less than 80%, we see that there are more commission errors than omission errors.

CLC change classes: Wetlands and Water bodies

For wetlands we have a slight overestimation, more commission errors than omissions errors. As for the water surface, no problem with the changes, the weights are very low.



5. Conclusions and recommendations

For countries or grouping of countries the validation exercise shows anyway satisfactory overall accuracies, both for CLC2018 and for CLCCH2012-2018 changes products (excepted four areas, with a threshold very under the 85%), for the blind and the plausibility analysis. Indeed, the CLC2018 and CLCCH2012-2018 products show a global accuracy which meets the product specification in the blind and plausibility analysis, with a threshold superior of 85%. There is a slight improvement of precisions for the plausibility analysis compared to the blind analysis, because the plausibility analysis results in revised accuracy metrics based on the results of the blind analysis.

However, disparities exist from a country to another, from 75.39% of overall accuracy for Portugal to 98.18% for Island regarding the CLCCH2012-2018 product.

The CLC2018 product contains a low disparity in overall accuracy from 86.35% of overall accuracy for Portugal to 98.93% for Island. There is an obvious link between landscape complexity and weaker overall accuracy.

Considering the plausibility approach the CLC2018 product show that the most problematic biogeographical region is Black Sea with 84.03% overall accuracies. At the third level, the plausibility results of CLCCH2012-2018 show that problematic biogeographical regions are the ones located in the south of Europe including Black Sea, Anatolian and Mediterranean region with respectively 78.5%, 81.3% and 82% overall accuracies.

It should be noted that the results for CLC2018 are better than CLC2012, by countries, and lower for CLCCH2006-2012 product.

Better results in terms of overall accuracy might be obtained by introducing an error typology.

A typology of mistake or confusion would allow classifying the relevance of the errors without affecting the final accuracy. Indeed “minor confusion” might be filtered such as:

-The three classes 241, 244 ,411 must be improved, because confused with several types of land use

-In Mediterranean region burnt area (334) are also confused with transitional woodland (324) according to state of vegetation regeneration after fire.

Some other errors can be explained by various reasons:



- A correct identification of certain CLC classes requires the use of topical ancillary data. These were missing during our control work (Forest, peat, sclerophylous vegetation maps…)

- The location of the validation points could sometimes be confusing inside the selected polygon (e.g. on the boundary between two land cover types bigger than 25 ha).

- The spatial resolution of satellite images might not be sufficient to identify specific classes (e.g. young vineyards and orchards)

- Generalisation of some polygons including different land cover type.

- The temporal resolution of satellite images is not enough to distinguish grasslands from arable land with vegetation.

- Different acquisition period of satellite images (1 or two years) for the same area could induce some interpretation difference (notably for land cover changes) in forest area.

- Problem of the MMU for the land cover change assessment. Indeed, in some cases the photo-interpreter could generalize the change while the check point itself falls in a part without change.

These errors and difficulties can only be overcame/resolved if: - Very High-Resolution satellite imagery is used for the production - Multi-temporal satellite imagery - Auxiliary data sources are available. - Organisation of some field control

The analysis of the validation results at class and disaggregated zone or biogeographical level should provide insights on where the product could be improved thematically focusing on weaker classes and geographical regions. Another recommendation would be to use the user and producer accuracy of the change classes (or regrouped change classes at Level 2 of the nomenclature) as an indicator of the quality of the change layer rather than overall accuracy which is always likely to be dominated by unchanged areas.



Annex 1. Confusion matrix of CLC2018 European level – Blind and plausibility analysis

A total of 25695 sample units located according to the sampling design have been interpreted by an independent expert’s team. Table 13 and Table 14 shows the confusion matrix between the validation results in column and the production map in line for both blind and plausibility analysis.

Table 13: Confusion matrix of CLC 2018 – blind analysis

The overall accuracy obtained for CLC2018 is 92.43% so the blind interpretation results do not meet the product specification.

CLC CLASSES 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 335 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 30,1603 1,224373 0,053258 4,558836 0,513086 0,074695 36,58455 0,824399967112 1,54102 704,803 1,6746 2,264155 0,003986 2,161301 0,003803 0,075033 3,68785 0,930648 1,199088 2,095339 0,813706 0,008506 3,818748 0,011771 0,002473 725,095 0,97201466121 2,420981 137,9846 0,008939 0,155306 0,323006 0,076656 0,006391 0,380332 0,059242 0,006098 0,216619 6,109876 0,044686 0,252142 0,005614 0,244711 0,780849 0,01837 0,15756 0,01837 0,014119 0,243022 149,5275 0,922804208122 0,013678 0,270127 0,160343 19,44624 0,064204 0,030534 0,155242 0,049277 0,145233 0,090436 0,200027 0,004695 0,081786 0,113735 0,106076 0,081352 21,01298 0,925439166123 3,940906 3,940906 1124 0,059096 14,79377 0,082878 0,015278 0,015278 0,0487 15,015 0,985266058131 0,093137 0,314691 32,99158 1,088051 0,153313 0,107596 0,178683 0,045899 0,057336 0,016347 1,127845 0,146855 0,189642 2,937748 0,080642 0,062472 0,221674 0,184603 0,107596 0,025742 0,432062 40,56351 0,813331366132 0,085077 0,014101 5,049433 0,076656 0,006391 0,095511 0,041777 0,018667 0,025105 5,412718 0,932883113133 0,9776 0,596016 0,216563 0,247631 0,019952 10,39631 0,145233 0,00798 0,145233 0,227019 0,018196 0,290466 0,135647 0,018975 0,012282 0,0055 13,46061 0,772351048141 0,235532 0,174674 14,93703 0,29447 0,051006 0,01225 0,035989 0,013057 15,75401 0,948141545142 0,012072 0,334343 0,043215 0,004282 0,294558 58,84449 0,11692 0,343534 0,248707 0,104104 0,04728 0,004693 0,058744 0,032752 0,379887 0,0863 60,95589 0,965361973211 23,41716 2,170238 0,048339 0,168099 0,003986 3,565778 0,100864 4904,066 18,43336 0,149983 0,258492 0,035257 26,91148 70,71389 62,7638 6,882459 5,858839 9,445734 6,177222 0,010352 1,8556 7,299475 6,747776 5,799262 0,116168 0,066832 5163,067 0,949835929212 0,466794 0,703965 429,6687 0,189116 8,376412 0,575771 4,701601 0,072433 0,144865 0,277451 0,066832 445,244 0,965018638213 0,622264 0,076016 33,30395 0,096626 34,09886 0,97668818221 5,74615 0,289306 141,3268 3,038715 1,575348 0,662866 10,23313 3,886944 0,113616 0,072433 1,214884 0,502787 0,120702 0,395226 0,026665 169,2056 0,835237287222 0,357815 2,880387 0,361017 153,4437 1,156339 2,416661 10,19262 3,42305 3,935523 0,026654 0,035907 1,88537 180,115 0,851920478223 0,13841 0,055939 0,466734 0,816244 211,4382 0,84792 1,251584 5,662608 0,045399 7,342136 228,0652 0,92709553231 8,151622 0,30661 0,479626 0,029569 0,012032 0,37894 0,038733 3,599706 13,59373 4,622281 0,042681 0,904037 1614,982 50,68802 27,01323 1,32141 21,57767 9,189831 10,55845 11,54633 0,360939 3,360327 21,64703 0,029569 0,052328 0,318962 0,579619 1805,385 0,894535945241 1,387141 0,077204 1,317364 0,024036 0,453965 12,01795 6,125685 0,015074 0,429929 1,387141 0,120394 0,69357 24,04945 0,49971819242 4,267998 1,361096 0,00628 0,25202 0,678199 30,9284 7,584129 0,042681 0,193839 12,75592 1,034989 28,73272 1,960393 928,4187 29,35789 3,161931 1,844291 2,079159 11,70727 0,194081 2,080787 3,665971 0,194081 1072,503 0,86565618243 1,613491 0,08543 0,029569 0,051389 34,91865 0,021324 2,705185 1,792757 25,21342 1,496855 10,17298 1058,246 8,910593 7,152938 18,54725 8,355924 0,517228 5,822528 2,363555 0,090397 1,57447 0,002423 0,020732 0,074956 1189,78 0,889446783244 0,74249 0,143855 2,737307 0,718613 124,5616 128,9039 0,966313921311 0,749018 0,006382 0,870511 1,242831 0,082343 7,327019 2,622008 6,219006 2461,043 10,85999 74,37352 0,119664 2,820874 7,797457 22,02041 0,218673 3,691336 1,834667 0,003055 6,234796 2610,136 0,942879012312 0,981243 0,028335 0,007189 0,040656 0,008983 12,0212 2,545192 1,5024 1,494233 6,341017 3577,186 20,32836 1,471516 0,537023 101,5791 0,459909 3726,532 0,959923496313 2,065529 2,991244 0,004265 0,031701 0,765979 0,765979 0,956221 2,796733 3,881156 2,000761 13,45453 30,73485 1238,137 1,245406 2,88148 4,404997 21,94644 0,004265 0,091662 1329,16 0,931518255321 1,291633 0,024657 0,00784 0,031393 0,026184 0,75976 22,70211 0,156258 4,207034 16,79432 4,155542 2,319073 7,794079 0,009543 719,8562 10,52082 19,99104 46,71864 10,23875 0,058661 9,516635 8,714198 0,100618 0,099654 886,0947 0,812392009322 0,018275 0,010044 1,902062 0,83663 6,164181 3,520105 5,96207 0,068054 13,3435 706,8964 0,220174 11,81712 3,968367 7,26208 0,027786 0,060261 0,034721 762,1118 0,927549442323 0,165748 0,056058 0,876644 5,252902 2,630679 0,171001 0,466368 12,05117 1,804096 2,434753 2,64122 8,322696 5,389357 417,415 24,56838 1,2292 485,4752 0,859806917324 0,91005 0,369152 0,031393 0,048067 0,021727 0,002146 1,508306 0,128617 2,075013 0,878657 1,630148 16,82807 6,856568 25,22525 34,67671 13,86147 13,72965 4,531961 3,380107 1441,224 0,025829 2,840194 0,034956 0,758561 1571,577 0,917056168331 0,027321 0,009024 0,036405 0,155827 0,308271 0,020848 0,036405 0,017564 0,150231 1,364714 29,88651 0,10366 0,22454 5,545095 0,031996 0,027321 0,018994 0,115354 0,009024 38,0891 0,784647204332 0,915554 0,333651 0,026647 13,21414 1,864991 2,349176 358,7363 9,366091 0,132819 0,045036 386,9844 0,927004544333 0,116124 4,878502 11,41722 0,335411 7,109394 88,47901 22,96034 5,878479 29,23487 1,894309 6,253166 844,479 0,290708 0,042156 1023,369 0,825195279334 0,466368 0,932736 0,466368 0,084921 0,466368 2,749955 0,081964 5,114285 0,132956 10,49592 0,487264054335 0,058661 65,43301 65,49167 0,999104302411 0,143608 0,008486 0,1833 0,065762 1,122467 0,273619 0,070522 0,552344 66,35951 0,230796 0,052676 69,06309 0,96085347412 0,016119 0,025657 2,812054 0,182598 0,667936 2,839031 0,078471 0,126332 2,79926 0,402039 474,0442 0,014214 0,708687 484,7166 0,977982192421 0,011099 0,016119 1,964418 0,891741 18,5948 0,044532 21,52271 0,863961839422 0,114455 0,053398 0,155538 2,568593 2,891983 0,888177053423 0,004859 0,004859 0,060261 0,060261 0,004859 0,075165 0,019887 2,216725 0,014106 0,068054 0,0445 2,573534 0,861354297511 0,018477 0,014061 0,621902 0,051175 0,456966 0,510903 0,24964 0,128402 0,075602 0,73903 0,608095 0,199589 0,317182 51,18234 0,03315 0,443016 55,64953 0,919726384512 0,016725 0,0266 0,012782 0,009243 0,085171 0,02119 0,03315 0,146794 0,459499 3,21885 0,129842 0,034907 0,042577 0,018477 0,803409 549,5453 0,030243 0,673567 555,3083 0,98962194521 0,091989 0,091989 9,492333 0,012867 9,689178 0,979684007522 0,14773 0,010509 0,133587 4,036005 0,018477 4,346308 0,928605492523 0,122727 0,094324 0,074301 3,666955 0,055953 61,52141 65,53567 0,938746956

Total 31,74555 756,5104 148,4714 27,08544 4,101071 15,51687 33,99314 6,192627 14,89315 19,16698 63,80901 5016,261 467,2406 33,38931 143,2066 173,2921 220,5373 1745,629 19,77469 1115,35 1271,954 159,0978 2560,601 3709,686 1404,266 887,7889 760,6553 485,5039 1744,937 43,02282 369,2864 890,5398 5,114285 65,56583 90,05266 476,6657 19,55041 2,690977 2,373463 52,94814 553,3298 9,635162 5,209955 67,91216 25694,55Prod_accuracy 0,950064 0,93165 0,929368 0,717959 0,960946 0,953399 0,970536 0,815394 0,69806 0,77931 0,922197 0,977634 0,919588 0,997443 0,986874 0,885463 0,958742 0,925158 0,607744 0,832401 0,831985 0,782925 0,961119 0,964283 0,881697 0,810842 0,929326 0,859756 0,825946 0,694666 0,971431 0,948278 1 0,997974 0,736897 0,9945 0,951121 0,95452 0,933962 0,96665 0,99316 0,985176 0,774672 0,905897 0,924312202



Table 14: Confusion matrix of CLC 2018 - Plausibility analysis

The overall accuracy obtained for CLC2018 is 92.7%, so the plausibility results are above the 85% threshold expected.

MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 335 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 29,66032 2,237435 0,053258 4,558836 0,074695 36,58455 0,810733627112 1,398721 708,2593 1,6746 2,29881 0,003986 0,005415 2,306534 0,035989 0,615112 1,423289 3,235936 1,273881 2,007747 0,010009 0,006032 0,532022 0,007629 725,095 0,976781368121 1,298048 139,218 0,027032 0,07352 0,323006 0,098153 6,170322 0,059242 0,025945 0,219194 0,358764 0,023127 0,252142 0,161459 0,005614 0,780849 0,15756 0,01837 0,014119 0,243022 149,5275 0,931052874122 0,013678 0,231394 0,199076 19,62096 0,064204 0,010009 0,049277 0,145233 0,120971 0,179924 0,081786 0,113735 0,106076 0,076656 21,01298 0,933754348123 3,940906 3,940906 1124 0,059096 14,79377 0,082878 0,030556 0,0487 15,015 0,985266058131 0,139381 0,268447 33,11438 1,088051 0,076656 0,107596 0,161958 0,045899 0,066832 0,057336 0,016347 1,127845 0,084383 0,155861 2,937748 0,080642 0,062472 0,513873 0,107596 0,025742 0,324467 40,56351 0,816358773132 0,063371 0,025953 5,097849 0,076656 0,028272 0,095511 0,025105 5,412718 0,941827965133 0,773907 0,596016 0,216563 0,247631 0,019952 10,63049 0,145233 0,00798 0,372252 0,290466 0,135647 0,018975 0,0055 13,46061 0,789747874141 0,119018 0,189429 14,95178 0,381474 0,051006 0,035989 0,013057 0,01225 15,75401 0,94907813142 0,012072 0,327044 0,043215 0,004282 0,199106 58,99452 0,11692 0,343534 0,248707 0,104104 0,004693 0,058744 0,032752 0,379887 0,0863 60,95589 0,967823263211 20,75246 0,477275 0,054619 0,168099 0,003986 3,565778 0,299499 4895,966 23,62031 0,251054 0,237858 0,090459 45,63433 61,73487 60,43186 6,882459 5,038119 9,371986 5,462832 0,921493 1,8556 7,525769 6,747776 5,799262 0,091102 0,08166 5163,067 0,948267077212 0,454743 0,587282 429,9206 0,116684 8,145158 0,575771 4,701601 0,072433 0,309664 0,277451 0,08262 445,244 0,965584248213 0,622264 0,026083 33,33832 0,096626 0,015563 34,09886 0,977696145221 0,007629 3,726475 2,133597 141,6029 2,896766 1,617219 0,88038 9,793024 5,489425 0,460029 0,450778 0,120702 0,026665 169,2056 0,83686893222 0,113481 1,226165 0,361017 153,8851 1,20833 1,12461 2,760307 11,90311 3,239702 2,305429 0,04178 0,035907 0,090848 1,81921 180,115 0,854371414223 0,091904 0,055939 0,466734 0,614629 210,5188 0,171196 3,095875 5,662608 0,045399 7,342136 228,0652 0,923064025231 5,961265 0,30661 0,390918 0,029569 0,033738 0,405429 0,038733 3,599706 22,45818 4,622281 0,042681 0,904037 0,319517 1623,918 43,06931 27,28014 1,492411 15,37214 9,10406 9,945697 11,61667 0,021706 1,77935 21,69286 0,029569 0,052328 0,318962 0,579619 1805,385 0,899485458241 1,387141 0,077204 0,009725 1,317364 0,024036 1,147535 12,01795 4,738545 0,69892 0,429929 0,69357 0,120394 0,69357 0,69357 24,04945 0,49971819242 4,267998 1,361096 0,00628 0,25202 0,678199 18,41013 4,422198 0,042681 0,193839 12,94813 2,006638 30,96461 1,960393 940,3553 33,58252 1,844291 2,079159 11,13253 0,194081 2,080787 3,52581 0,194081 1072,503 0,876785903243 1,583093 0,08543 0,002383 0,063648 0,051389 38,80425 0,033025 1,20833 3,362352 26,68441 1,496855 14,00284 1054,913 0,116684 4,947064 3,366391 17,53709 8,109085 0,517228 2,744696 8,338519 0,090397 1,572047 0,002423 0,012924 0,020732 0,114244 1189,78 0,886645023244 0,74249 0,143855 0,143855 2,737307 0,718613 124,4177 128,9039 0,965197931311 0,749018 0,006382 0,102034 1,242831 5,444464 7,327019 2,588451 5,242632 2456,469 9,561497 69,639 0,119664 2,390258 4,659939 30,81844 0,218673 3,691336 3,627845 0,003055 6,234796 2610,136 0,941126698312 0,981243 0,028335 0,007189 0,040656 0,008565 0,055125 0,013604 12,06336 2,545192 0,521669 1,675565 1,494233 6,341017 3583,247 19,15038 1,471516 96,42796 0,459909 3726,532 0,961549907313 2,065529 3,007759 0,002383 0,004265 0,031701 0,765979 0,765979 0,956221 2,796733 4,030355 2,000761 4,292319 25,31741 1248,974 1,226244 2,88148 1,311792 27,41569 1,209428 0,004265 0,007631 0,091662 1329,16 0,939671986321 1,291633 0,024657 0,00784 0,031393 0,070485 16,70842 0,156258 4,207034 16,73739 4,155542 2,319073 6,827162 0,009543 728,3538 11,37073 20,75148 42,77713 10,08302 1,750237 9,516635 8,60135 0,244226 0,099654 886,0947 0,821981895322 0,018275 0,010044 0,007689 1,902062 0,83663 6,164181 3,520105 5,96207 0,068054 10,77417 711,7177 0,220174 12,53865 3,968367 4,233195 0,075524 0,060261 0,034721 762,1118 0,933875622323 0,165748 0,056058 0,876644 5,252902 2,630679 0,466368 12,15854 1,804096 2,434753 6,5186 5,389357 421,8497 24,64255 1,2292 485,4752 0,868941831324 0,91005 0,369152 0,034658 0,017532 0,004282 0,021727 0,002146 1,119391 0,976374 0,128617 2,126505 0,878657 1,630148 16,52063 6,856568 23,23015 33,18833 13,98022 16,27253 4,531961 0,632107 1445,893 0,025829 1,432957 0,034956 0,758561 1571,577 0,920026787331 0,027321 0,045428 0,155827 0,308271 0,020848 0,036405 0,017564 0,01712 1,497824 29,8735 0,10366 0,22454 5,252902 0,319514 0,14735 0,031996 0,009024 38,0891 0,784305843332 0,84564 0,333651 0,040277 13,18749 1,802572 2,343655 0,100618 359,8319 8,333808 0,132819 0,031996 386,9844 0,929835601333 0,116124 4,878502 12,77023 0,335411 7,109394 82,92204 23,86816 7,353487 30,41587 1,894309 5,515023 845,4331 0,466368 0,290708 1023,369 0,826127556334 0,466368 0,932736 0,466368 2,834876 0,081964 5,580653 0,132956 10,49592 0,53169731335 0,058661 65,43301 65,49167 0,999104302411 0,143608 0,008486 0,10734 0,065762 1,122467 0,273619 0,070522 0,552344 66,33601 0,091144 0,230796 0,060983 69,06309 0,960513333412 0,065428 0,012794 0,182598 0,667936 0,11876 0,384748 482,5615 0,014214 0,708687 484,7166 0,995553763421 0,011099 1,571534 0,891741 19,0038 0,044532 21,52271 0,882965146422 0,114455 0,155538 2,62199 2,891983 0,906641073423 0,004859 0,004859 0,060261 0,060261 0,075165 0,019887 2,221583 0,014106 0,068054 0,0445 2,573534 0,863242207511 0,018477 0,014061 0,621902 0,051175 0,264063 0,510903 0,24964 0,128402 0,075602 0,926483 0,420641 0,199589 0,317182 51,34209 0,066299 0,443016 55,64953 0,922597086512 0,0266 0,012782 0,009243 0,052021 0,02119 0,254389 0,459499 3,21885 0,129842 0,0266 0,042577 0,018477 0,129842 550,2026 0,030243 0,673567 555,3083 0,990805612521 0,091989 0,091989 9,5052 9,689178 0,981012022522 0,018477 0,14773 0,010509 0,133587 4,036005 4,346308 0,928605492523 0,122727 0,094324 0,074301 3,666955 61,57736 65,53567 0,939600732

Total 31,10327 754,3317 148,0139 27,23852 4,019285 15,51687 33,97669 6,367615 20,42319 19,17441 64,84639 5000,369 471,4557 33,42368 144,5718 172,3058 223,4645 1773,794 19,44161 1116,557 1271,276 154,893 2531,816 3699,915 1401,068 886,6118 766,1721 477,3906 1763,964 43,97668 371,3355 882,8285 6,047021 65,56583 89,52323 487,0022 20,49928 2,744375 2,303375 52,46385 554,0098 9,648029 5,197088 67,90748 25694,55Prod_accuracy 0,953608 0,938923 0,940574 0,720339 0,980499 0,953399 0,97462 0,80059 0,520511 0,779778 0,909758 0,979121 0,9119 0,997446 0,979464 0,893093 0,942068 0,915505 0,618156 0,842192 0,829807 0,803249 0,97024 0,968467 0,891445 0,821502 0,928927 0,883657 0,819684 0,679303 0,969021 0,957641 0,922876 0,997974 0,740992 0,990881 0,927047 0,955405 0,96449 0,978618 0,993128 0,985196 0,77659 0,906783 0,92670223



Annex 2. Producer and user accuracy of CLC2018 per country or group of countries

Table 15: Producer, user and overall accuracy per country (from zone 1 to zone 6) – BLIND and PLAUSIBILITY analysis



Table 16: Producer, user and overall accuracy per country (from zone 07 to zone 12) - BLIND and PLAUSIBILITY analysis

Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 86,91% 94,99% 86,64% 94,99% 67,07% 94,74% 98,64% 94,74% 96,97% 100,00% 96,97% 100,00% 100,00% 92,86% 100,00% 92,86%

99,93% 99,94% 99,93% 100,00% 95,24% 97,25% 99,31% 99,87% 88,42% 98,03% 88,39% 97,82% 91,69% 95,64% 91,91% 96,53% 92,43% 94,02% 97,51% 95,83% 93,93% 100,00% 95,78% 100,00%

97,59% 88,18% 97,54% 86,25% 99,39% 47,19% 99,39% 47,19% 99,39% 99,46% 99,22% 99,43% 93,98% 86,79% 93,63% 87,78% 94,14% 97,37% 94,14% 97,37% 51,24% 91,85% 72,14% 91,85%

100,00% 93,74% 100,00% 100,00% 96,28% 100,00% 96,28% 100,00% 97,83% 77,14% 96,76% 77,14% 97,21% 73,14% 97,59% 84,99% 94,03% 100,00% 94,03% 100,00% 94,19% 95,51% 94,19% 95,51%

47,50% 100,00% 47,50% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 93,33% 100,00% 93,33% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 95,00% 100,00% 95,00% 83,33% 100,00% 83,33% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

86,11% 76,59% 87,72% 88,30% 95,80% 90,08% 95,82% 90,53% 93,34% 54,45% 93,34% 54,45% 93,21% 98,53% 96,27% 98,53% 100,00% 50,62% 100,00% 53,59% 100,00% 93,80% 100,00% 93,80%

100,00% 100,00% 100,00% 100,00% 73,44% 94,12% 73,44% 94,12% 20,85% 100,00% 20,85% 100,00% 100,00% 95,77% 93,65% 100,00% 87,98% 100,00% 87,98% 100,00% 100,00% 100,00% 100,00% 100,00%

25,00% 79,54% 33,33% 79,54% 100,00% 65,42% 14,17% 71,12% 100,00% 75,01% 100,00% 75,01% 76,59% 84,75% 86,74% 84,75% 100,00% 2,91% 100,00% 2,91% 100,00% 84,64% 100,00% 84,64%

100,00% 94,74% 100,00% 94,74% 81,51% 94,12% 94,12% 94,12% 100,00% 94,12% 100,00% 94,12% 93,20% 89,01% 92,52% 89,01% 92,78% 92,78% 92,78% 92,78% 100,00% 100,00% 100,00% 100,00%

99,22% 100,00% 98,22% 100,00% 100,00% 95,17% 100,00% 100,00% 94,14% 100,00% 91,20% 100,00% 99,13% 100,00% 99,13% 100,00% 100,00% 78,20% 100,00% 82,77% 100,00% 75,30% 100,00% 75,30%

99,92% 89,00% 99,92% 89,02% 99,96% 98,11% 99,97% 98,11% 96,40% 91,64% 97,50% 91,61% 96,33% 95,97% 96,36% 95,90% 99,37% 93,79% 99,81% 97,94% 91,95% 84,06% 95,41% 85,27%

84,68% 100,00% 46,18% 100,00% 100,00% 50,00% 100,00% 100,00% 94,20% 98,81% 94,23% 99,36%

100,00% 94,50% 100,00% 94,89% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

95,29% 72,24% 95,29% 72,26% 100,00% 78,20% 100,00% 78,20% 100,00% 50,00% 100,00% 56,25%

100,00% 94,99% 100,00% 94,99% 89,08% 84,66% 89,08% 84,66% 100,00% 78,57% 100,00% 78,57% 99,88% 77,61% 99,88% 77,61% 87,16% 86,51% 87,50% 89,20%

99,99% 90,24% 100,00% 86,69% 84,44% 75,82% 84,44% 75,82%

98,92% 95,00% 98,92% 95,00% 93,44% 88,02% 99,62% 88,02% 63,14% 75,00% 41,99% 75,00% 94,51% 94,25% 94,46% 94,24% 94,05% 83,97% 94,29% 89,71% 95,78% 53,33% 99,58% 53,33%

83,03% 48,59% 83,03% 48,59% 100,00% 75,00% 100,00% 75,00%

83,26% 90,00% 83,26% 90,00% 70,04% 100,00% 70,04% 100,00% 82,60% 81,44% 80,69% 81,35% 89,69% 20,80% 89,69% 20,80% 57,75% 92,06% 77,09% 93,68% 86,47% 82,70% 84,69% 82,70%

93,87% 95,00% 93,87% 94,98% 99,70% 91,99% 96,39% 93,36% 69,19% 80,97% 71,31% 82,81% 61,20% 75,21% 68,00% 75,18% 73,52% 83,12% 78,24% 83,58% 77,15% 86,01% 75,54% 89,76%

45,76% 89,47% 45,76% 89,47% 0,00%

99,70% 97,99% 99,70% 97,99% 99,84% 99,79% 99,85% 99,94% 96,63% 97,99% 97,17% 97,08% 97,34% 100,00% 98,26% 99,96% 88,91% 94,24% 91,69% 95,62% 95,57% 97,31% 97,70% 97,31%

98,86% 99,49% 99,11% 99,40% 97,57% 99,53% 99,37% 99,47% 95,74% 100,00% 93,87% 99,92% 88,65% 92,26% 90,75% 94,12% 85,88% 93,51% 83,74% 93,51% 90,09% 97,07% 95,51% 97,07%

97,74% 99,57% 97,71% 99,57% 95,12% 99,86% 96,63% 99,86% 87,26% 99,95% 84,79% 99,90% 87,38% 77,01% 87,64% 78,81% 86,72% 91,61% 91,21% 99,96% 92,74% 80,40% 93,14% 85,36%

0,00% 0,00% 87,47% 100,00% 91,71% 100,00% 58,09% 75,98% 53,81% 75,98% 78,16% 81,50% 81,92% 81,37% 100,00% 13,92% 100,00% 13,80% 90,37% 72,50% 92,77% 72,50%

93,28% 96,00% 93,28% 96,00% 100,00% 93,70% 100,00% 100,00% 42,84% 94,40% 42,84% 94,40% 94,36% 83,29% 94,36% 83,29% 95,76% 87,50% 95,76% 87,50% 100,00% 77,94% 100,00% 90,54%

77,47% 92,07% 82,44% 92,07% 83,83% 92,25% 86,48% 94,64%

97,98% 96,03% 97,50% 97,39% 98,82% 94,97% 92,03% 96,54% 99,65% 83,84% 99,17% 76,59% 68,55% 86,55% 70,80% 89,88% 64,20% 71,11% 62,88% 67,46% 82,90% 92,28% 80,59% 92,39%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 95,08% 95,33% 95,08% 95,33% 90,92% 100,00% 78,96% 100,00% 4,31% 90,18% 4,31% 90,18% 84,62% 100,00% 84,62% 100,00%

95,96% 100,00% 95,96% 100,00% 100,00% 50,00% 100,00% 50,00% 95,54% 100,00% 99,42% 100,00% 80,84% 71,47% 80,50% 69,95% 90,76% 66,83% 90,76% 66,83% 100,00% 100,00% 100,00% 100,00%

97,72% 96,00% 97,73% 96,00% 100,00% 100,00% 100,00% 100,00% 99,97% 48,86% 99,97% 50,74% 69,29% 86,20% 80,53% 86,20% 89,50% 100,00% 89,50% 100,00% 85,62% 68,86% 86,30% 72,83%

100,00% 100,00% 100,00% 100,00% 100,00% 35,18% 100,00% 67,59% 100,00% 30,00% 100,00% 30,00% 100,00% 14,95% 100,00% 14,95%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 37,37% 94,44% 37,37% 94,44% 93,74% 92,66% 95,57% 92,66% 76,88% 99,02% 76,88% 99,02% 67,90% 94,12% 67,90% 94,12% 97,45% 85,06% 97,10% 74,71%

99,98% 100,00% 99,98% 100,00% 100,00% 79,49% 100,00% 79,49% 100,00% 100,00% 99,52% 93,04% 99,55% 99,02%

83,01% 94,91% 83,01% 94,91% 84,91% 100,00% 84,91% 100,00% 0,00% 0,00% 98,23% 100,00% 92,73% 100,00%

75,25% 80,00% 75,25% 80,00% 100,00% 100,00% 100,00% 100,00%

100,00% 85,00% 100,00% 90,00% 90,85% 81,22% 90,85% 81,22%

94,87% 100,00% 95,00% 100,00% 100,00% 90,06% 100,00% 90,06% 98,83% 100,00% 98,83% 100,00% 95,22% 95,22% 95,22% 95,22% 100,00% 94,74% 100,00% 94,74% 93,10% 85,00% 93,10% 85,00%

100,00% 99,97% 100,00% 99,97% 99,35% 99,68% 99,36% 99,97% 95,92% 99,48% 96,80% 98,07% 95,04% 99,87% 95,04% 99,87% 99,64% 100,00% 99,64% 100,00% 99,58% 100,00% 99,58% 100,00%

100,00% 100,00% 100,00% 100,00% 97,38% 90,00% 97,38% 90,00% 100,00% 80,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

0,00% 0,00% 96,33% 68,18% 100,00% 68,18% 100,00% 66,67% 100,00% 66,67%

100,00% 93,33% 100,00% 93,33% 100,00% 100,00% 100,00% 100,00% 100,00% 14,28% 100,00% 14,28% 98,11% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 94,74% 100,00% 94,74% 100,00%

Z12Z7 Z8 Z9 Z10 Z11

Norway Poland Italy Sardinia United Kingdom Roumania GreecePlausibility analysis Blind analysis Plausibility analysis Blind analysis Plausibility analysis Blind analysis Blind analysis Plausibility analysis Blind analysis Plausibility analysis Blind analysis Plausibility analysis

0,971 0,892 0,887 0,918 0,927 0,8870,975 0,975 0,968 0,916 0,876 0,889



Table 17: Producer, user and overall accuracy per country (from zone 13 to zone 18) - BLIND and PLAUSIBILITY analysis

Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 97,99% 100,00% 78,02% 97,76% 100,00% 97,76% 100,00% 100,00% 94,74% 100,00% 100,00%

99,95% 99,95% 99,95% 99,91% 94,36% 100,00% 94,36% 100,00% 94,03% 99,97% 94,07% 99,97% 84,90% 100,00% 80,78% 100,00% 99,35% 90,32% 99,38% 95,14% 77,24% 89,20% 77,76% 89,44%

99,61% 94,82% 99,61% 94,82% 100,00% 87,03% 100,00% 93,51% 97,39% 99,03% 97,62% 99,03% 97,92% 98,33% 97,91% 97,87% 98,33% 94,04% 98,05% 94,04% 96,93% 96,31% 96,76% 100,00%

95,39% 86,67% 95,39% 86,67% 100,00% 100,00% 100,00% 100,00% 100,00% 95,79% 98,01% 99,14% 98,43% 81,33% 98,43% 81,33% 94,08% 83,80% 91,58% 83,80% 32,87% 100,00% 32,87% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 80,00% 100,00% 80,00% 100,00% 100,00% 100,00% 100,00% 90,12% 100,00% 90,12% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 79,36% 99,17% 79,36% 100,00% 100,00% 100,00% 100,00% 99,47% 100,00% 99,47% 100,00% 100,00% 94,68% 100,00% 94,68% 100,00% 87,91% 100,00% 87,91% 99,06% 94,86% 99,06% 94,86%

96,39% 100,00% 96,39% 100,00% 98,18% 100,00% 98,18% 100,00% 66,67% 85,71% 57,03% 85,71% 0,00% 0,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 50,10% 100,00% 50,10% 100,00% 67,14% 100,00% 98,95% 100,00% 91,74% 95,59% 91,74% 0,00% 0,00% 100,00% 81,93% 100,00% 81,93%

100,00% 90,00% 100,00% 90,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 70,00% 100,00% 70,00% 100,00% 69,16% 100,00% 69,16% 26,26% 95,41% 25,94% 95,41%

96,60% 88,15% 96,60% 88,15% 100,00% 100,00% 100,00% 100,00% 65,21% 100,00% 65,21% 100,00% 99,06% 94,01% 97,29% 94,01% 90,62% 97,54% 90,62% 97,54% 75,29% 99,64% 74,62% 99,64%

99,57% 97,23% 99,58% 97,23% 100,00% 100,00% 100,00% 100,00% 99,00% 97,72% 99,47% 97,48% 82,86% 86,13% 83,09% 86,13% 97,94% 85,93% 97,99% 85,92% 95,96% 91,72% 98,02% 91,71%

98,49% 87,68% 97,26% 87,68%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 95,82% 100,00% 95,82%

100,00% 89,95% 99,55% 89,95% 95,90% 97,32% 96,00% 100,00% 93,59% 77,49% 83,20% 78,26% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 93,97% 99,77% 93,97% 90,95% 98,89% 95,34% 100,00% 93,31% 73,98% 95,57% 73,98% 100,00% 77,78% 100,00% 88,89% 100,00% 80,43% 100,00% 80,43%

89,96% 90,98% 90,33% 94,90%

77,85% 87,61% 78,21% 89,66% 99,88% 99,97% 99,88% 99,97% 97,71% 95,32% 94,19% 95,32% 95,27% 83,90% 90,94% 84,34% 82,25% 79,23% 82,50% 80,60% 91,17% 90,03% 87,86% 90,03%

85,13% 41,14% 96,59% 41,14% 0,00%

80,13% 72,07% 80,13% 72,07% 98,47% 94,53% 98,56% 100,00% 99,94% 84,06% 99,89% 84,12% 77,29% 90,17% 79,46% 90,17% 68,82% 93,93% 68,87% 93,93% 87,27% 84,86% 87,50% 86,75%

90,68% 90,23% 89,55% 90,22% 0,00% 93,96% 86,90% 96,36% 81,01% 82,31% 85,50% 79,12% 85,50% 94,95% 87,67% 94,41% 87,67% 99,54% 84,05% 99,77% 83,81%

76,66% 97,00% 78,71% 96,54%

97,91% 99,98% 98,60% 99,98% 100,00% 88,24% 100,00% 88,24% 92,17% 98,07% 92,07% 98,09% 95,08% 78,86% 96,12% 80,58% 97,80% 93,89% 97,82% 93,89% 96,22% 98,35% 96,22% 98,35%

97,45% 97,41% 97,51% 97,41% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 99,90% 100,00% 99,18% 93,97% 98,54% 91,55% 87,70% 94,15% 89,14% 92,96% 87,58% 93,98% 97,43% 94,46%

79,85% 97,96% 81,83% 97,94% 100,00% 88,89% 100,00% 88,89% 82,53% 97,61% 82,98% 97,69% 88,77% 91,33% 93,59% 91,20% 86,80% 87,56% 87,94% 90,44% 96,44% 83,08% 99,57% 92,41%

97,91% 87,10% 92,63% 87,10% 98,49% 100,00% 98,49% 100,00% 99,59% 95,19% 100,00% 99,97% 33,71% 72,43% 33,71% 72,43% 97,30% 98,03% 97,33% 97,72% 100,00% 66,35% 100,00% 77,00%

72,74% 100,00% 97,34% 100,00% 99,84% 99,98% 99,85% 99,98% 82,42% 85,23% 82,37% 84,91% 75,22% 100,00% 75,57% 100,00% 98,11% 92,41% 100,00% 93,69%

87,33% 80,52% 91,38% 80,52%

92,91% 91,11% 92,95% 91,39% 100,00% 76,38% 100,00% 76,38% 96,00% 94,44% 96,27% 96,15% 85,42% 88,13% 84,06% 89,64% 95,13% 85,44% 93,21% 85,68% 93,31% 90,35% 88,74% 90,35%

100,00% 80,00% 100,00% 80,00% 88,62% 98,87% 88,60% 98,65% 100,00% 86,67% 100,00% 86,67% 100,00% 100,00% 100,00% 100,00% 86,00% 100,00% 100,00% 100,00%

100,00% 47,37% 100,00% 63,16% 98,05% 99,96% 98,05% 99,97% 100,00% 66,67% 80,00% 66,67% 96,00% 92,99% 96,00% 92,99%

97,61% 64,14% 100,00% 62,57% 99,97% 93,36% 99,97% 93,36% 100,00% 100,00% 100,00% 100,00% 43,94% 77,53% 88,15% 76,75% 100,00% 79,89% 100,00% 79,89%

100,00% 57,14% 100,00% 57,14%

100,00% 100,00% 100,00% 100,00% 97,79% 100,00% 97,79% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 98,50% 88,98% 98,50% 88,70% 21,67% 100,00% 21,67% 100,00% 94,08% 94,44% 94,08% 94,44% 60,32% 87,28% 61,86% 87,28%

100,00% 100,00% 100,00% 100,00% 99,76% 100,00% 99,76% 100,00% 100,00% 80,00% 100,00% 80,00% 100,00% 100,00% 66,67% 100,00% 100,00% 75,00% 100,00% 75,00% 100,00% 83,84% 100,00% 88,64%

100,00% 100,00% 100,00% 100,00% 96,31% 100,00% 96,31% 100,00% 99,14% 100,00% 91,15% 100,00%

100,00% 100,00% 100,00% 100,00% 93,42% 100,00% 93,42% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 47,49% 100,00% 47,49% 100,00% 86,67% 100,00% 86,67%

100,00% 60,00% 100,00% 60,00% 96,24% 99,21% 95,37% 99,21% 100,00% 99,29% 100,00% 99,29% 85,41% 100,00% 85,41% 100,00% 100,00% 100,00% 100,00% 100,00% 67,65% 80,48% 90,14% 80,48%

100,00% 95,08% 100,00% 95,08% 99,33% 100,00% 99,52% 100,00% 100,00% 99,85% 99,85% 100,00% 99,72% 89,66% 99,72% 89,66% 100,00% 99,96% 100,00% 99,96% 98,85% 90,27% 98,91% 95,14%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 80,00% 100,00% 80,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 15,31% 100,00% 15,31% 100,00%

82,72% 100,00% 82,72% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

Z13 Z14 Z15 Z16 Z17 Z18

Swiss Austria Belgium-Danmark- Luxembourg-Bulgaria Island Hungaria PortugalPlausibility analysis Blind analysis Plausibility analysis Blind analysis Blind analysis Plausibility analysis Blind analysis Plausibility analysis Blind analysis Plausibility analysisPlausibility analysis Blind analysis

0,989 0,967 0,967 0,860 0,863 0,9040,949 0,950 0,989 0,908 0,900 0,910



Table 18: Producer, user and overall accuracy per country (from zone 19 to zone 23 - BLIND and PLAUSIBILITY analysis

Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User Producer User100,00% 100,00% 100,00% 100,00% 53,66% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

93,19% 99,54% 93,27% 99,57% 97,00% 94,53% 97,43% 94,53% 99,65% 99,94% 99,48% 99,94% 99,78% 99,89% 99,63% 100,00% 86,70% 99,83% 86,70% 99,83%

100,00% 93,57% 100,00% 97,72% 98,71% 90,56% 98,71% 90,56% 98,07% 99,57% 99,19% 99,78% 100,00% 100,00% 100,00% 99,41% 49,88% 96,94% 49,88% 96,94%

100,00% 100,00% 100,00% 100,00% 100,00% 82,51% 94,99% 82,51% 94,28% 100,00% 98,61% 100,00% 90,45% 100,00% 97,83% 100,00% 93,61% 91,62% 93,61% 91,62%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

90,49% 82,63% 90,49% 82,63% 66,67% 100,00% 66,67% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

95,83% 92,85% 97,16% 92,85% 88,82% 87,68% 100,00% 87,68% 94,76% 83,24% 94,76% 83,24% 100,00% 96,55% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

74,95% 91,41% 76,60% 100,00% 100,00% 100,00% 100,00% 100,00% 94,55% 100,00% 94,55% 100,00% 100,00% 89,38% 90,40% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 90,35% 100,00% 90,35% 100,00% 100,00% 81,53% 100,00% 81,53% 0,00% 0,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 97,16% 100,00% 100,00% 100,00% 100,00% 100,00%

93,77% 88,28% 88,93% 94,14% 100,00% 62,00% 100,00% 62,00% 99,42% 92,92% 99,42% 92,33% 100,00% 94,54% 100,00% 94,54% 100,00% 100,00% 100,00% 100,00%

99,72% 98,67% 99,91% 97,69% 83,54% 90,99% 90,90% 90,99% 99,26% 99,90% 99,82% 99,89% 99,52% 97,95% 99,53% 96,17% 100,00% 94,55% 100,00% 94,55%

100,00% 96,93% 100,00% 96,93% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

98,56% 75,57% 98,56% 75,57% 100,00% 74,23% 100,00% 80,56% 100,00% 82,74% 100,00% 87,34% 0,00% 0,00%

95,48% 91,49% 95,48% 91,49% 100,00% 74,17% 86,87% 80,24% 87,33% 89,32% 87,33% 89,32% 100,00% 94,92% 100,00% 100,00% 100,00% 80,19% 100,00% 100,00%

68,42% 89,28% 68,42% 89,28% 100,00% 85,26% 100,00% 90,17%

81,77% 72,31% 87,31% 72,31% 99,89% 79,99% 99,48% 79,99% 99,75% 97,71% 98,12% 98,04% 95,01% 98,65% 90,81% 98,73% 98,57% 79,20% 98,57% 79,20%

0,00% 0,00%

96,04% 89,98% 96,23% 89,98% 94,47% 82,18% 94,97% 86,33% 100,00% 99,80% 100,00% 99,80% 99,95% 100,00% 100,00% 100,00% 76,28% 88,58% 79,61% 88,58%

81,60% 92,12% 80,64% 92,12% 90,35% 95,45% 88,64% 97,73% 99,82% 97,71% 100,00% 97,71% 100,00% 99,91% 100,00% 99,91% 97,25% 94,93% 99,47% 94,93%

100,00% 100,00% 100,00% 100,00%

95,46% 96,07% 96,15% 94,44% 96,55% 90,03% 97,82% 91,94% 98,86% 99,39% 98,87% 99,43% 99,91% 94,85% 99,93% 94,85% 99,71% 83,77% 99,71% 83,77%

93,35% 95,93% 93,35% 95,93% 73,88% 91,88% 74,32% 93,91% 95,70% 98,88% 96,50% 98,85% 99,34% 99,96% 99,81% 99,51% 100,00% 100,00% 100,00% 100,00%

69,29% 93,83% 69,58% 93,83% 71,72% 85,34% 70,72% 85,34% 98,10% 95,81% 98,92% 96,66% 94,23% 99,81% 93,96% 94,83% 100,00% 100,00% 100,00% 100,00%

88,16% 85,94% 90,34% 86,53% 94,56% 72,77% 94,56% 72,77% 94,16% 91,34% 100,00% 96,63% 99,15% 99,84% 98,60% 99,84% 89,40% 100,00% 89,40% 100,00%

77,95% 80,25% 79,72% 80,25% 79,25% 85,00% 100,00% 85,00% 82,66% 100,00% 90,83% 100,00% 100,00% 94,44% 100,00% 94,44% 93,53% 90,00% 93,53% 90,00%

86,88% 46,09% 91,42% 46,09% 51,86% 84,24% 58,48% 84,24% 100,00% 67,98% 100,00% 67,98%

80,23% 85,06% 74,51% 85,45% 80,63% 80,58% 79,73% 80,65% 95,92% 93,21% 96,09% 96,23% 99,54% 95,76% 93,20% 96,01% 43,93% 87,35% 43,93% 87,35%

92,41% 40,37% 92,41% 40,37% 0,00% 0,00% 100,00% 100,00% 100,00% 100,00% 20,16% 100,00% 20,16% 100,00%

91,93% 77,40% 92,67% 85,87% 79,67% 100,00% 79,67% 100,00% 100,00% 60,00% 100,00% 60,00% 100,00% 100,00% 100,00% 100,00%

86,10% 72,14% 86,64% 77,47% 74,65% 59,52% 72,15% 52,35% 100,00% 88,03% 100,00% 88,03% 100,00% 81,32% 100,00% 81,32% 100,00% 88,89% 100,00% 88,89%

100,00% 55,41% 100,00% 55,41% 100,00% 100,00% 100,00% 100,00%

0,00% 0,00%

100,00% 89,39% 100,00% 95,83% 92,89% 89,01% 92,58% 85,04% 100,00% 89,47% 100,00% 89,47% 99,52% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 0,00% 0,00% 96,06% 90,00% 96,06% 90,00% 100,00% 99,88% 100,00% 99,88%

100,00% 100,00% 100,00% 100,00% 0,00% 0,00% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

0,00% 0,00% 0,00% 0,00%

100,00% 97,33% 100,00% 97,33% 100,00% 99,26% 100,00% 99,26% 100,00% 90,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 77,58% 90,00% 77,58% 90,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 97,95% 100,00% 97,51% 100,00% 100,00% 99,26% 100,00% 99,26% 100,00% 100,00% 100,00% 100,00%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00%

100,00% 90,12% 100,00% 90,12%

100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 100,00% 81,05% 100,00% 100,00% 100,00% 88,91% 99,96% 88,91% 99,96%

Z23Z19 Z20 Z21 Z22

French overseas departmentsAlbania - Serbia - Macedonia - Bosnia Herzegovina - Croatia -Slovenia Czech Republic - Slovakia Estonia - Latvia- LithuaniaPlausibility analysisPlausibility analysis Blind analysis Plausibility analysis Blind analysis Plausibility analysis Blind analysis Blind analysis Plausibility analysis Blind analysis

0,9230,881 0,984 0,987 0,984 0,972 0,9220,910 0,906 0,868



Annex 3. Confusion matrix CLC2018 per Country or group of countries

Zone 1: part of Turkey Confusion matrix CLC2018 – Blind and plausibility analysis Table 19: Confusion matrix CLC 2018 for zone 1 (Turkey) – BLIND ANALYSIS - In column the validation and line the production

Overall accuracy = 87.4%

MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 335 411 421 422 511 512 521 522 523 Total User_accuracy111 5,020244 0,257551 4,558836 9,83663096 0,510362091112 35,35309 0,145233 35,49832094 0,995908738121 0,126343 9,615122 0,081786 0,049686 0,014119 9,88705647 0,97249589122 0,049991 1,76633 0,081786 0,076656 1,97476364 0,894451196123 0,097174 0,09717377 1124 1,388548 1,38854787 1131 0,070333 6,588084 0,221674 0,145233 0,221674 0,076656 7,32365495 0,89956232132 0,079279 0,075795 0,15507324 0,511233595133 0,253676 0,076656 0,076656 3,029278 0,145233 0,290466 3,87196603 0,782361704141 0,347548 0,34754764 1142 1,392513 1,39251252 1211 0,133714 427,1895 18,36093 0,271481 6,747776 20,24333 6,747776 6,803368 6,747776 493,2456748 0,866078605212 0,454743 0,189116 262,5153 0,189116 4,748723 4,701601 0,066832 272,8654284 0,962068733213 5,846577 5,8465765 1221 0,113616 3,715603 1,39309 1,617255 0,113616 0,387597 0,113616 0,387597 0,026665 7,86865439 0,472203118222 1,863461 47,32854 3,606666 1,690658 1,630094 1,630094 57,7495159 0,819548762223 18,88722 18,8872183 1231 4,558836 0,042681 62,00889 5,061432 71,67184369 0,865177891241 1,630094 1,63009359 1242 0,023953 0,50428 6,44414 0,042681 9,602476 3,292436 145,5994 11,17356 3,161931 3,161931 183,0068121 0,795595637243 0,030398 14,60884 4,866755 0,089487 290,0198 6,623508 0,217298 316,4560717 0,916461442244 0,072433 0,0724326311 2,086095 140,4651 5,462978 4,855195 152,8693865 0,918857086312 0,466368 0,08986 230,0071 4,453557 235,0168934 0,978683299313 5,973159 0,538455 82,97688 3,093205 6,186411 98,76810974 0,840118134321 0,387597 0,026184 4,992967 4,632667 3,093205 322,5167 4,941475 14,03353 0,095349 5,066408 359,7860732 0,896412372323 1,804096 1,804096 1,804096 42,93068 11,90677 60,24973643 0,712545545324 0,369152 0,021727 0,067766 5,650574 2,693878 6,292078 10,41148 0,099016 308,909 0,292193 334,8068978 0,922648365331 0,290708 0,095349 3,088454 0,292193 3,76670364 0,819935406332 11,69377 1,691577 67,14764 6,324244 86,85723783 0,773080582333 0,084731 4,878502 9,773741 4,878502 70,48391 20,08248 308,1408 0,290708 418,6133809 0,736098798334 0,081964 0,08196426335 0,024884 0,02488356 1411 0,286761 8,664127 8,9508871 0,967962891421 1,964418 0,392884 5,114015 7,47131661 0,68448647422 0,114455 0,524651 0,63910611 0,82091423511 0,621902 0,051175 0,24684 0,06357 0,0266 0,374906 3,197374 0,03315 4,61551756 0,692744467512 0,052021 0,03315 55,91874 0,030243 56,03415072 0,997940301521 0,28379 0,28378951 1522 0,002678 0,00267752 1523 1,883854 1,88385385 1

Total 5,020244 36,88735 10,4602 6,325166 0,097174 1,388548 6,749472 0,079279 3,732967 0,395458 1,392513 444,5209 291,9304 5,931939 3,715603 58,39188 18,88722 81,08037 1,630094 162,4425 347,8774 5,546011 151,0989 251,7024 88,43986 433,8791 4,941475 46,45819 384,5941 3,558709 67,14764 328,4401 0,024884 9,363323 5,404723 0,524651 3,197374 56,33758 0,314032 0,002678 1,883854 3331,796136Prod_accuracy 1 0,958407 0,91921 0,279254 1 1 0,976089 1 0,811493 0,878848 1 0,961011 0,899239 0,98561 1 0,810533 1 0,764783 1 0,896314 0,833684 0,929623 0,913806 0,938229 0,743333 0,924071 0,803208 0,867858 1 0,938195 1 0,925326 0,946212 1 1 0,992566 0,903695 1 1 0,873767354



Table 20: Confusion matrix CLC 2018 for zone 1 (Turkey) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 335 411 421 422 511 512 521 522 523 Total User_accuracy111 5,020244 0,257551 4,558836 9,836631 0,510362091112 35,20786 0,145233 0,145233 35,49832 0,991817476121 0,126343 9,615122 0,081786 0,049686 0,014119 9,887056 0,97249589122 0,049991 1,76633 0,081786 0,076656 1,974764 0,894451196123 0,097174 0,097174 1124 1,388548 1,388548 1131 0,070333 6,521252 0,066832 0,221674 0,145233 0,298331 7,323655 0,890436814132 0,079279 0,075795 0,155073 0,511233595133 0,253676 0,076656 0,076656 3,029278 0,145233 0,290466 3,871966 0,782361704141 0,347548 0,347548 1142 1,392513 1,392513 1211 0,198776 414,3583 18,36093 8,187984 11,59748 20,24333 6,747776 6,803368 6,747776 493,2457 0,840064661212 0,454743 0,189116 262,5438 0,116684 4,72017 4,701601 0,072433 0,066832 272,8654 0,962173373213 5,831013 0,015563 5,846577 0,997338095221 0,113616 3,715603 1,232725 1,503639 0,387597 0,387597 0,387597 0,113616 0,026665 7,868654 0,472203118222 0,233367 47,32854 6,585077 1,972434 1,630094 57,74952 0,819548762223 18,88722 18,88722 1231 4,558836 0,042681 61,93856 5,131765 71,67184 0,864196576241 1,630094 1,630094 1242 0,023953 0,116684 3,282209 0,042681 9,602476 0,971648 3,680033 147,7897 14,33549 3,161931 183,0068 0,807563948243 21,33956 0,07274 4,866755 3,281815 279,8137 0,116684 0,084731 6,376669 0,464138 0,039288 316,4561 0,88421022244 0,072433 0,072433311 2,086095 140,5403 5,387756 4,855195 152,8694 0,919349154312 0,155169 0,466368 0,08986 229,9418 4,363697 235,0169 0,978405407313 2,879953 0,538455 89,16329 6,186411 98,76811 0,902753844321 0,387597 0,051492 4,632667 3,093205 330,3993 4,941475 9,427051 0,095349 1,691577 5,066408 359,7861 0,918321406323 1,804096 1,804096 44,73478 11,90677 60,24974 0,742489182324 0,369152 0,021727 0,067766 5,650574 2,693878 6,292078 10,41148 0,07729 308,9308 0,292193 334,8069 0,922713258331 0,290708 0,095349 3,088454 0,292193 3,766704 0,819935406332 11,69377 1,691577 67,14764 6,324244 86,85724 0,773080582333 0,084731 4,878502 9,773741 4,878502 65,60541 20,08248 313,0193 0,290708 418,6134 0,747752756334 0,081964 0,081964335 0,024884 0,024884 1411 0,286761 8,664127 8,950887 0,967962891421 1,571534 0,392884 5,506899 7,471317 0,737072058422 0,114455 0,524651 0,639106 0,82091423511 0,621902 0,051175 0,24684 0,06357 0,214053 0,187453 3,164225 0,066299 4,615518 0,685562269512 0,052021 55,95189 0,030243 56,03415 0,998531896521 0,28379 0,28379 1522 0,002678 0,002678 1523 1,883854 1,883854 1

Total 5,020244 36,71172 10,52526 6,325166 0,097174 1,388548 6,68264 0,079279 3,8782 0,369274 1,392513 436,4026 288,797 5,916376 3,715603 58,29834 19,93161 84,30023 1,630094 175,4779 341,6577 2,387148 146,9232 251,637 94,55105 434,9026 4,941475 44,92568 380,2759 3,371256 68,83922 332,9257 0,024884 9,071129 6,0898 0,524651 3,164225 56,44316 0,314032 0,002678 1,883854 3331,796Prod_accuracy 1 0,959036 0,913528 0,279254 1 1 0,97585 1 0,781104 0,941164 1 0,949486 0,909095 0,985572 1 0,811833 0,947601 0,734738 1 0,842213 0,818988 0,956556 0,913784 0,943017 0,759709 0,995751 0,812386 0,916114 0,975427 0,940208 1 0,955132 0,904282 1 1 0,991296 0,903695 1 1 0,873785246



Zone 2: France confusion matrix CLC2018 - Blind and plausibility analysis Table 21: Confusion matrix CLC 2018 for zone2 (France) – BLIND ANALYSIS- In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 242 243 311 312 313 321 322 323 324 331 332 333 335 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 1,870393 1,870393 1112 100,4435 0,183345 100,6268 0,998177973121 0,166792 18,90907 0,081786 0,081786 0,021559 0,227019 19,48801 0,970292396122 0,217717 2,533095 0,145233 2,896045 0,874674093123 0,458603 0,458603 1124 2,259634 2,259634 1131 1,409343 1,409343 1132 0,063371 0,266771 0,330142 0,808048068133 0,145233 0,290466 0,081786 0,517485 0,561302945141 1,057654 1,057654 1142 4,30981 0,248707 4,558517 0,945441189211 0,021559 625,4061 0,072433 0,139605 13,05424 0,009432 638,7033 0,979180834213 1,559928 1,559928 1221 0,072433 47,43378 0,922251 0,922251 49,35072 0,961156898222 0,37487 4,37962 1,12461 1,53514 7,41424 0,590703869223 0,045399 0,181594 0,045399 0,090797 0,045399 0,408587 0,444444444231 0,013954 335,3504 7,241837 14,46473 0,019326 0,009432 357,0997 0,939094655242 4,937268 9,835883 229,2092 4,917941 248,9003 0,920887628243 0,029569 12,97587 63,57761 1,293925 0,010495 77,88747 0,816275187311 356,9156 32,16531 1,398989 390,4799 0,914043458312 152,8691 2,891146 0,223885 155,9841 0,980029819313 0,524484 91,23449 0,466368 92,22534 0,989256189321 2,080373 4,160747 2,080373 39,56172 1,040187 1,040187 49,96359 0,791811059322 1,673261 0,83663 2,046058 0,83663 12,76247 18,15505 0,702970822323 25,79543 25,79543 1324 0,031393 0,051492 1,209428 0,637356 0,637356 75,3494 77,91642 0,967054128331 0,13311 1,064883 1,197993 0,888888889332 15,87977 0,882209 16,76198 0,947368421333 1,815632 1,815632 0,907816 14,56834 19,10742 0,762444067334 0,466368 0,466368335 1,078768 1,078768 1411 3,453235 3,453235 1412 0,195662 0,195662 1421 3,094958 3,094958 1422 0,053398 0,480579 0,533976 0,9423 0,348565 0,348565 1511 0,249265 4,840164 5,089429 0,951022966512 0,459499 0,0266 10,15941 10,64551 0,954337648521 2,469442 2,469442 1522 0,416505 0,416505 1523 0,204982 0,204982 1

Total 1,870393 100,8873 19,13923 2,533095 0,458603 2,259634 1,438913 0,266771 0,290466 1,057654 4,30981 643,8483 0,072433 1,559928 47,43378 4,37962 0,181594 350,3991 253,1011 85,05595 360,7151 156,9672 131,9011 41,37736 13,93577 26,83562 79,9965 1,064883 16,78759 15,45054 1,078768 3,506632 0,195662 3,094958 0,480579 0,348565 4,840164 10,16991 2,469442 0,416505 0,204982 2392,381Prod_accuracy 1 0,9956 0,987974 1 1 1 0,97945 1 1 1 1 0,971356 1 1 1 1 0,957053 0,905603 0,74748 0,989467 0,973892 0,691689 0,95612 0,915807 0,961239 0,941909 1 0,945923 0,942901 1 0,984772 1 1 1 1 1 0,998968 1 1 1 0,942011101



Table 22: Confusion matrix CLC 2018 for zone2 (France) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 242 243 311 312 313 321 322 323 324 331 332 333 335 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 1,870393 1,870393 1112 100,3947 0,048761 0,183345 100,6268 0,997693395121 0,166792 18,84569 0,063371 0,103345 0,081786 0,227019 19,48801 0,96704058122 0,217717 2,533095 0,145233 2,896045 0,874674093123 0,458603 0,458603 1124 2,259634 2,259634 1131 1,409343 1,409343 1132 0,063371 0,266771 0,330142 0,808048068133 0,145233 0,290466 0,081786 0,517485 0,561302945141 1,057654 1,057654 1142 4,30981 0,248707 4,558517 0,945441189211 0,021559 0,198635 625,2074 0,072433 0,139605 13,05424 0,009432 638,7033 0,978869836213 1,559928 1,559928 1221 0,072433 47,3706 0,922251 0,922251 0,063181 49,35072 0,959876652222 0,37487 4,37962 1,12461 1,53514 7,41424 0,590703869223 0,045399 0,181594 0,045399 0,090797 0,045399 0,408587 0,444444444231 0,013954 335,3504 7,241837 14,46473 0,019326 0,009432 357,0997 0,939094655242 0,019326 9,835883 234,1271 4,917941 248,9003 0,94064631243 12,97587 63,60718 1,293925 0,010495 77,88747 0,816654827311 356,8328 32,16531 1,481814 390,4799 0,913831349312 155,7602 0,223885 155,9841 0,998564697313 0,05823 90,46064 0,497048 1,209428 92,22534 0,980865283321 2,080373 4,160747 1,040187 39,56172 2,080373 1,040187 49,96359 0,791811059322 1,673261 0,83663 2,046058 0,83663 12,76247 18,15505 0,702970822323 25,79543 25,79543 1324 0,031393 0,051492 1,209428 1,274712 75,3494 77,91642 0,967054128331 0,13311 1,064883 1,197993 0,888888889332 16,76198 16,76198 1333 0,907816 0,907816 1,815632 0,907816 14,56834 19,10742 0,762444067334 0,466368 0,466368335 1,078768 1,078768 1411 3,453235 3,453235 1412 0,195662 0,195662 1421 3,094958 3,094958 1422 0,533976 0,533976 1423 0,348565 0,348565 1511 0,249265 4,840164 5,089429 0,951022966512 0,459499 0,0266 10,15941 10,64551 0,954337648521 2,469442 2,469442 1522 0,416505 0,416505 1523 0,204982 0,204982 1

Total 1,870393 100,8386 19,07586 2,533095 0,458603 2,259634 1,409343 0,330142 0,290466 1,057654 4,508445 638,7533 0,072433 1,559928 47,3706 4,37962 0,181594 350,4478 257,9975 85,08552 360,6322 158,9893 127,5987 40,53272 15,75066 26,83562 80,24312 2,274311 17,66979 14,56834 1,078768 3,453235 0,195662 3,094958 0,533976 0,348565 4,840164 10,16991 2,469442 0,416505 0,204982 2392,381Prod_accuracy 1 0,995598 0,987934 1 1 1 1 0,808048 1 1 0,955941 0,978793 1 1 1 1 0,95692 0,907478 0,747568 0,989464 0,97969 0,708946 0,976044 0,810282 0,961239 0,939014 0,468222 0,948623 1 1 1 1 1 1 1 1 0,998968 1 1 1 0,945164292



Zone 3: Spain - confusion matrix CLC2018 - Blind and plausibility analysis Table 23: Confusion matrix CLC 2018 for zone3 (SPAIN) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 335 411 421 422 423 511 512 521 522 523 Total User_accuracy111 7,855715 0,513086 0,513086 8,881886 0,884464735112 22,49837 0,032214 0,074753 0,092366 22,6977 0,991217876121 0,040454 11,75535 11,7958 0,996570455122 3,443094 0,07142 3,514514 0,979678478123 0,188339 0,188339 1124 0,745898 0,082878 0,828776 0,9131 2,87419 0,045899 2,920089 0,984281538132 0,47707 0,47707 1133 0,07142 2,161792 2,233212 0,968019038141 0,149507 0,567371 0,716878 0,791447255142 0,047558 3,522 3,569558 0,986676918211 0,102343 413,8606 0,116684 0,035257 2,844649 8,456044 4,202845 0,072433 429,6909 0,96315897212 0,398166 115,4343 2,583306 0,072433 0,072433 118,5607 0,973630912213 5,874414 5,874414 1221 1,473505 36,7245 1,249577 1,164513 3,682912 44,295 0,829088894222 45,03837 2,416661 1,261619 48,71665 0,924496445223 0,116684 0,683834 99,6078 100,4083 0,992027383231 0,131527 0,029569 0,37894 0,512893 0,063445 56,64139 0,029569 2,331343 2,597083 3,026588 0,065994 65,80834 0,860702295241 0,361181 0,120394 0,120394 0,601968 0,6242 2,080787 0,030182 0,155651 2,583306 1,960393 72,78443 0,07142 1,818258 2,080787 83,56521 0,870989576243 2,705185 4,185774 1,496855 56,18534 1,496855 66,07001 0,85039098244 2,608935 87,90506 90,514 0,971176443311 206,0243 0,15775 0,072576 0,218386 206,473 0,997826771312 183,6812 1,638619 11,74455 197,0644 0,932087348313 1,48236 1,48236 46,18025 3,558382 52,70335 0,87622983321 4,188395 0,156258 4,155542 4,186935 4,155542 92,25607 0,030232 8,371547 13,55279 131,0533 0,703958326322 5,252902 2,076022 76,44577 9,404945 93,17964 0,820412812323 0,056058 5,252902 2,147442 0,085059 5,316347 5,252902 170,8391 5,287537 0,156258 194,3936 0,878830851324 0,051492 2,295884 6,766217 2,210825 0,466368 0,070817 2,210825 104,8194 0,466368 119,3582 0,878191863331 1,292566 0,143618 5,252902 6,689087 0,193235079332 9,73584 9,73584 1333 1,556692 1,556692 0,466368 0,654019 2,155416 31,02449 37,41368 0,829228563334 0,984228 1,204211 2,188439 0,550260421335 0,009491 0,009491 1411 0,066832 0,284231 0,351063 0,80962944421 0,016119 0,186584 2,761893 2,964596 0,931625328422 0,077643 0,687975 0,765618 0,89858796423 0,026195 0,026195 1511 0,199589 1,796298 1,995887 0,9512 11,8104 11,8104 1521 0,348754 0,348754 1522 0,378164 0,378164 1523 0,473893 0,473893 1

Total 7,855715 23,24897 12,09285 3,472663 0,188339 0,745898 2,957067 0,47707 3,184629 0,567371 4,034893 418,0238 120,7966 5,874414 36,87136 49,9493 100,8076 73,05245 6,391348 93,07382 79,71316 100,3816 208,3201 187,2139 48,35781 102,9031 81,7289 185,797 154,8407 1,292566 9,73584 31,52395 1,204211 0,009491 5,723717 2,839536 0,687975 0,026195 1,796298 12,34276 0,348754 0,378164 0,473893 2181,306Prod_accuracy 1 0,967715 0,972091 0,991485 1 1 0,971973 1 0,678821 1 0,872886 0,990041 0,955609 1 0,996017 0,901682 0,988098 0,775352 0,056511 0,782008 0,704844 0,875709 0,988979 0,98113 0,95497 0,896533 0,935358 0,919493 0,67695 1 1 0,984156 1 1 0,049658 0,972656 1 1 1 0,956869 1 1 1 0,91164982



Table 24: Confusion matrix CLC 2018 for zone3 (SPAIN) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 335 411 421 422 423 511 512 521 522 523 Total User_accuracy111 7,855715 1,026171 8,881886 0,884464735112 0,513086 21,98528 0,032214 0,074753 0,092366 22,6977 0,9686127121 11,7958 11,7958 1122 3,443094 0,07142 3,514514 0,979678478123 0,188339 0,188339 1124 0,745898 0,082878 0,828776 0,9131 2,87419 0,045899 2,920089 0,984281538132 0,47707 0,47707 1133 0,07142 2,161792 2,233212 0,968019038141 0,074753 0,567371 0,074753 0,716878 0,791447255142 0,047558 3,522 3,569558 0,986676918211 0,102343 408,4934 5,166612 0,08937 0,116684 0,090459 2,844649 8,456044 4,202845 0,072433 0,056058 429,6909 0,950668031212 0,281482 115,4429 2,583306 0,072433 0,164799 0,015788 118,5607 0,973702856213 5,874414 5,874414 1221 1,581819 36,47803 1,340426 1,211816 3,682912 44,295 0,823524717222 44,94752 1,20833 2,416661 0,053289 0,090848 48,71665 0,922631612223 0,116684 0,482218 99,80941 100,4083 0,994035336231 0,131527 0,029569 0,405429 0,512893 0,072433 0,063445 56,5129 0,029569 2,331343 2,597083 3,056157 0,065994 65,80834 0,858749796241 0,361181 0,120394 0,120394 0,601968 0,6242 1,960393 0,030182 0,276044 2,583306 1,960393 72,78443 0,07142 1,818258 2,080787 83,56521 0,870989576243 1,20833 1,496855 4,185774 1,496855 57,68219 66,07001 0,87304657244 2,608935 87,90506 90,514 0,971176443311 205,9392 0,15775 0,072576 0,303445 206,473 0,997414809312 183,6812 1,638619 11,74455 197,0644 0,932087348313 1,48236 1,48236 46,18025 3,558382 52,70335 0,87622983321 4,188395 0,156258 4,155542 4,186935 4,155542 92,28631 0,030232 8,371547 13,52256 131,0533 0,704189007322 5,252902 78,52179 9,404945 93,17964 0,842692589323 0,056058 5,252902 2,147442 0,085059 5,316347 5,252902 170,8391 5,287537 0,156258 194,3936 0,878830851324 0,051492 2,295884 6,766217 2,210825 107,5674 0,466368 119,3582 0,901215087331 1,292566 0,143618 5,252902 6,689087 0,193235079332 9,73584 9,73584 1333 1,556692 1,556692 5,906921 2,155416 25,77159 0,466368 37,41368 0,688827975334 0,984228 1,204211 2,188439 0,550260421335 0,009491 0,009491 1411 0,066832 0,284231 0,351063 0,80962944421 0,186584 2,778012 2,964596 0,937062514422 0,077643 0,687975 0,765618 0,89858796423 0,026195 0,026195 1511 0,199589 1,796298 1,995887 0,9512 11,8104 11,8104 1521 0,348754 0,348754 1522 0,378164 0,378164 1523 0,473893 0,473893 1

Total 8,3688 23,13376 12,13331 3,472663 0,188339 0,745898 2,957067 0,47707 2,698033 0,567371 4,109647 412,6002 125,9717 5,874414 36,71427 48,37122 103,8169 72,92396 6,391348 91,86549 79,65332 100,3816 208,2351 187,2139 47,89144 101,9329 83,80492 187,433 157,7494 1,292566 9,73584 26,27105 1,670579 0,009491 5,723717 2,855655 0,687975 0,026195 1,796298 12,35855 0,348754 0,378164 0,473893 2181,306Prod_accuracy 0,938691 0,950355 0,972184 0,991485 1 1 0,971973 1 0,801247 1 0,857008 0,990046 0,916419 1 0,993566 0,92922 0,961399 0,774957 0,056511 0,792294 0,724166 0,875709 0,988975 0,98113 0,964269 0,905363 0,936959 0,911467 0,681888 1 1 0,980988 0,720835 1 0,049658 0,972811 1 1 1 0,955646 1 1 1 0,90932724



Zone 4: Sweden confusion matrix CLC2018 - Blind and plausibility analysis Table 25: Confusion matrix CLC 2018 for zone4 (Sweden – BLIND ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 334 335 411 412 421 511 512 521 522 523 Total User_accuracy111 0,156321 0,156321 1112 18,80077 0,14188 0,006032 18,94869 0,992194061121 3,327491 0,076656 3,404147 0,977481456122 0,37637 0,37637 1123 0,115086 0,115086 1124 0,624809 0,624809 1131 0,062603 0,751124 0,813727 0,923066408132 0,442825 0,076656 0,041777 0,561258 0,788985871133 0,043997 0,043997 1141 0,004362 1,202119 1,20648 0,996384773142 2,385068 2,385068 1211 2,537884 0,029569 108,9604 5,066714 2,52619 5,06225 2,52619 0,072433 126,7817 0,859433704222 0,045381 0,030254 0,075634 0,6231 0,588396 5,619426 1,680184 0,560061 1,685558 0,560061 0,565435 11,25912 0,499099896242 0,25202 0,00448 3,02424 1,00808 0,257394 0,50404 5,050254 0,598829252243 0,00964 0,004935 0,905366 19,78619 1,57871 22,28484 0,887876617311 78,87173 5,417838 0,01875 1,767275 86,07559 0,916307716312 0,028335 0,004362 0,004935 1107,565 2,398792 61,29727 1171,299 0,945587153313 0,466368 0,932736 0,454873 118,1502 0,453183 120,4573 0,980846673321 8,125175 8,125175 1322 114,1904 2,330416 116,5208 0,98324 1,32855 225,1625 226,491 0,994134205331 0,036405 0,036405 0,109214 0,182024 0,6332 15,28244 0,804339 16,08678 0,95333 0,026746 0,789355 0,968955 28,0997 29,88476 0,940268663334 0,023431 0,023431 0,046862 0,5335 1,126684 1,126684 1411 2,247814 2,247814 1412 120,1329 120,1329 1421 0,011099 0,033298 0,044397 0,75511 0,24964 4,493521 4,743161 0,947368421512 3,055519 149,8913 152,9468 0,980022341521 0,068242 0,068242 1522 0,080239 0,080239 1523 1,613215 1,613215 1

Total 0,156321 22,45603 3,511708 0,405939 0,115086 0,876829 0,751124 0,442825 0,19731 1,202119 2,394364 109,8707 0,045381 10,72703 5,55043 27,5367 80,4174 1117,165 128,1056 8,125175 114,2172 288,9166 0,109214 16,2514 31,23445 0,023431 1,126684 2,247814 121,9001 0,033298 4,493521 149,8913 0,068242 0,080239 1,613215 2252,26Prod_accuracy 1 0,837226 0,947542 0,927158 1 0,712578 1 1 0,222985 1 0,996117 0,991715 1 0,523857 0,544866 0,718539 0,980779 0,991407 0,922288 1 0,999766 0,779334 1 0,940377 0,899638 1 1 1 0,985502 1 1 1 1 1 1 0,950569032



Table 26: Confusion matrix CLC 2018 for zone4 (Sweden – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 334 335 411 412 421 511 512 521 522 523 Total User_accuracy111 0,156321 0,156321 1112 18,80077 0,14188 0,006032 18,94869 0,992194061121 3,327491 0,076656 3,404147 0,977481456122 0,37637 0,37637 1123 0,115086 0,115086 1124 0,624809 0,624809 1131 0,062603 0,751124 0,813727 0,923066408132 0,484602 0,076656 0,561258 0,863420365133 0,043997 0,043997 1141 0,004362 1,202119 1,20648 0,996384773142 2,385068 2,385068 1211 2,537884 0,029569 108,9604 5,066714 2,52619 5,06225 2,52619 0,072433 126,7817 0,859433704222 0,060507 0,015127 0,075634 0,8231 0,588396 5,619426 1,680184 0,560061 1,685558 0,560061 0,565435 11,25912 0,499099896242 0,25202 0,00448 3,27626 1,00808 0,257394 0,25202 5,050254 0,64873169243 0,00964 0,004935 0,789355 19,89726 1,57871 0,004935 22,28484 0,892861012311 80,63901 3,650562 0,01875 1,767275 86,07559 0,936839383312 0,028335 0,004362 0,004935 1112,581 1,932424 56,74792 1171,299 0,949869339313 0,466368 0,466368 0,453183 119,0714 120,4573 0,988494529321 8,125175 8,125175 1322 116,5208 116,5208 1324 1,32855 225,1625 226,491 0,994134205331 0,036405 0,036405 0,109214 0,182024 0,6332 15,28244 0,804339 16,08678 0,95333 0,026746 0,789355 0,968955 28,0997 29,88476 0,940268663334 0,023431 0,023431 0,046862 0,5335 1,126684 1,126684 1411 2,247814 2,247814 1412 120,1329 120,1329 1421 0,011099 0,033298 0,044397 0,75511 0,24964 4,493521 4,743161 0,947368421512 3,055519 149,8913 152,9468 0,980022341521 0,068242 0,068242 1522 0,080239 0,080239 1523 1,613215 1,613215 1

Total 0,156321 22,45603 3,511708 0,405939 0,115086 0,876829 0,751124 0,484602 0,19731 1,202119 2,394364 109,7547 0,060507 10,72703 5,80245 27,64778 81,67653 1122,194 126,7932 8,125175 116,5476 283,6368 0,109214 16,2514 28,90404 0,023431 1,126684 2,247814 121,9001 0,033298 4,493521 149,8913 0,068242 0,080239 1,613215 2252,26Prod_accuracy 1 0,837226 0,947542 0,927158 1 0,712578 1 1 0,222985 1 0,996117 0,992763 1 0,523857 0,564634 0,71967 0,987297 0,991433 0,9391 1 0,999771 0,793841 1 0,940377 0,972172 1 1 1 0,985502 1 1 1 1 1 1 0,955210882



Zone 5: Germany confusion matrix CLC2018 - Blind and plausibility analysis Table 27: Confusion matrix CLC 2018 for zone5 (Germany) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 221 222 231 242 243 311 312 313 321 322 324 331 332 333 411 412 421 423 511 512 521 522 523 Total User_accuracy111 2,459355 0,053258 2,512613 0,978803674112 98,61332 2,086548 0,087592 100,7875 0,978428468121 0,69684 22,91661 0,081786 0,081786 23,77702 0,963813282122 0,878929 0,878929 1123 0,30771 0,30771 1124 1,804427 1,804427 1131 4,150031 0,145233 4,295264 0,966187661132 0,493755 0,493755 1133 0,145233 0,110891 0,256124 0,432957997141 3,920323 3,920323 1142 0,151826 4,961307 0,343534 0,343534 5,800202 0,855367991211 2,086548 0,035026 586,5947 0,132154 5,560379 0,151826 2,933972 597,4946 0,981757316221 4,437227 0,261013 4,69824 0,944444444222 0,115916 4,792758 0,319517 0,319517 5,547708 0,863916788231 4,173096 0,145514 0,365176 0,562609 218,7942 22,26359 0,319517 10,88893 4,995687 0,117741 0,124814 0,315513 0,513626 263,58 0,830086469242 0,18705 2,186434 0,323702 2,697185 0,810635307243 0,18705 3,028208 0,18705 0,087592 3,4899 0,86770637311 0,082343 147,8628 6,612704 9,290291 0,17406 164,0222 0,901480394312 0,040656 0,337065 4,995687 234,2193 1,253808 1,064004 0,459909 242,3704 0,966369125313 2,933972 0,204584 0,019204 38,45204 1,226244 42,83604 0,897656185321 6,118593 4,774571 0,204584 0,040678 0,337065 0,048163 11,52365 0,414327854322 0,204584 3,368192 3,572776 0,942738014324 1,692612 18,94169 0,025829 20,66013 0,916823306331 0,266642 0,046681 0,018994 0,332317 0,802373003332 0,046681 0,280087 0,081355 0,408124 0,686280068333 0,292229 0,292229 1411 0,020309 1,681156 1,701465 0,988064032412 0,315504 2,839534 3,155037 0,9421 0,887839 0,887839 1423 0,356 0,0445 0,400499 0,888888889511 3,105893 3,105893 1512 0,0266 12,81602 12,84262 0,997928796521 0,055574 0,055574 1522 0,99368 0,99368 1523 0,055953 0,111906 0,167858 0,666666667

Total 2,459355 105,715 26,04936 1,244105 0,389496 1,845084 4,211657 0,493755 2,197439 4,072149 4,961307 587,6873 4,437227 4,792758 225,5189 30,93447 4,567427 163,9536 242,5449 56,9258 6,323139 3,619457 20,43284 0,292472 0,280087 0,420265 2,333725 2,839534 0,887839 0,430946 3,421406 14,18125 0,055574 1,03818 0,111906 1531,67Prod_accuracy 1 0,932822 0,879738 0,706475 0,79002 0,977965 0,985368 1 0,050464 0,962716 1 0,998141 1 1 0,970181 0,07068 0,663001 0,901857 0,965674 0,675477 0,755095 0,930579 0,927022 0,911686 1 0,695343 0,720375 1 1 0,826089 0,907783 0,90373 1 0,957137 1 0,934767591



Table 28: Confusion matrix CLC 2018 for zone5 (Germany) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 221 222 231 241 242 243 311 312 313 321 322 324 331 332 333 411 412 421 423 511 512 521 522 523 Total User_accuracy111 2,459355 0,053258 2,512613 0,978803674112 98,26978 2,086548 0,343534 0,087592 100,7875 0,975019965121 23,69524 0,081786 23,77702 0,996560284122 0,878929 0,878929 1123 0,30771 0,30771 1124 1,804427 1,804427 1131 4,150031 0,145233 4,295264 0,966187661132 0,493755 0,493755 1133 0,145233 0,110891 0,256124 0,432957997141 3,920323 3,920323 1142 0,151826 4,961307 0,343534 0,343534 5,800202 0,855367991211 2,086548 0,035026 586,7269 0,115916 5,444464 0,151826 2,933972 597,4946 0,981978496221 4,437227 0,261013 4,69824 0,944444444222 0,115916 4,792758 0,319517 0,319517 5,547708 0,863916788231 4,173096 0,145514 0,335607 10,25992 0,319517 219,5999 16,81882 0,333443 5,444464 4,995687 0,117741 0,207157 0,315513 0,513626 263,58 0,833143294242 0,18705 2,186434 0,323702 2,697185 0,810635307243 0,18705 3,028208 0,18705 0,087592 3,4899 0,86770637311 5,444464 141,5633 5,38646 6,265608 5,362284 164,0222 0,863074501312 0,040656 0,337065 4,995687 232,993 2,466126 1,077929 0,459909 242,3704 0,961309745313 2,933972 0,204584 0,019204 38,45204 1,226244 42,83604 0,897656185321 6,118593 4,459057 0,204584 0,356191 0,337065 0,048163 11,52365 0,386948239322 0,204584 3,368192 3,572776 0,942738014324 0,466368 20,16793 0,025829 20,66013 0,976176464331 0,285636 0,046681 0,332317 0,859528258332 0,046681 0,280087 0,081355 0,408124 0,686280068333 0,292229 0,292229 1411 0,020309 1,681156 1,701465 0,988064032412 0,315504 2,839534 3,155037 0,9421 0,887839 0,887839 1423 0,356 0,0445 0,400499 0,888888889511 3,105893 3,105893 1512 0,0266 12,81602 12,84262 0,997928796521 0,055574 0,055574 1522 0,99368 0,99368 1523 0,167858 0,167858 1

Total 2,459355 104,6747 26,82798 1,214536 0,30771 1,845084 4,211657 0,493755 2,197439 4,072149 5,304842 597,5168 4,437227 5,112275 231,6705 0,319517 25,46137 4,174244 152,2097 238,8662 55,11343 6,007626 3,619457 27,25909 0,311466 0,280087 0,420265 2,333725 2,839534 0,887839 0,356 3,421406 14,18125 0,055574 1,03818 0,167858 1531,67Prod_accuracy 1 0,938812 0,883228 0,723675 1 0,977965 0,985368 1 0,050464 0,962716 0,935241 0,981942 1 0,9375 0,947898 0,085873 0,725451 0,930054 0,975412 0,697689 0,742233 0,930579 0,739861 0,917071 1 0,695343 0,720375 1 1 1 0,907783 0,90373 1 0,957137 1 0,931394135



Zone 6: Finland confusion matrix CLC2018 - Blind and plausibility analysis Table 29: Confusion matrix CLC 2018 for zone6 (Finland) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 112 121 122 123 124 131 132 133 141 142 211 231 243 311 312 313 321 322 324 332 333 411 412 421 511 512 523 Total User_accuracy112 11,8641 0,724283 0,003803 0,002146 12,59434 0,942018977121 0,276292 2,356324 2,632616 0,895050365122 0,095002 0,095002 1123 0,198427 0,198427 1124 0,371019 0,371019 1131 0,001689 0,588195 0,001689 2,860336 3,451908 0,170396947132 0,555807 0,555807 1133 0,232525 0,232525 1141 0,073775 0,17706 0,250835 0,705882353142 0,004282 0,64095 0,645232 0,993363228211 70,0682 0,242364 2,467198 0,072433 0,099922 72,95012 0,960494696231 0,070577 0,013631 0,086063 0,052328 0,222598 0,31705847243 2,306558 36,54621 1,153279 4,636642 0,002423 0,002423 44,64753 0,818549324311 0,58327 25,38077 0,590347 4,549255 0,58327 31,68691 0,800985933312 0,138146 11,92892 1,153279 589,6734 1,523776 15,53305 619,9506 0,951161973313 0,724283 0,057272 0,004265 0,007077 8,557524 269,2984 2,860336 9,83759 0,004265 291,351 0,924309137321 0,584739 0,08996 0,674699 0,866666667322 1,474046 29,80006 31,27411 0,952866873324 0,002146 11,94674 0,420263 128,9522 141,3214 0,912475048331 0,01712 0,034241 0,051361332 0,321259 0,316534 1,60469 0,392556 3,165345 0,633069 6,433452 0,49201338333 1,820689 1,820689 1411 1,439459 1,439459 1412 0,016119 0,064476 87,32012 87,40071 0,999077864421 0,206786 0,206786 1511 0,128402 0,128402 2,311238 2,568042 0,9512 132,1183 132,1183 1523 0,074301 0,074301 0,965907 1,114508 0,866666667

Total 13,65987 3,139567 0,095002 0,198427 0,371019 0,592477 0,555807 0,232525 0,180863 0,649508 84,3198 0,312941 37,84152 27,25745 612,2395 286,0447 0,584739 34,28221 155,4356 3,165345 2,577958 1,446147 87,42246 0,259113 2,311238 132,1183 0,965907 1488,26Prod_accuracy 0,868537 0,750525 1 1 1 0,992772 1 1 0,978971 0,986824 0,830982 0,225527 0,96577 0,93115 0,963142 0,941456 1 0,869257 0,829618 1 0,706252 0,995375 0,998829 0,798051 1 1 1 0,938546964



Table 30: Confusion matrix CLC 2018 for zone6 (Finland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 112 121 122 123 124 131 132 133 141 142 211 231 243 311 312 313 321 322 324 332 333 411 412 421 511 512 523 Total User_accuracy112 11,86791 0,724283 0,002146 12,59434 0,942320969121 0,276292 2,356324 2,632616 0,895050365122 0,095002 0,095002 1123 0,198427 0,198427 1124 0,371019 0,371019 1131 0,001689 0,588195 0,001689 2,860336 3,451908 0,170396947132 0,025953 0,507973 0,021881 0,555807 0,913937635133 0,232525 0,232525 1141 0,044265 0,014755 0,191815 0,250835 0,764705882142 0,004282 0,64095 0,645232 0,993363228211 70,0682 0,194997 0,072433 2,467198 0,072433 0,074856 72,95012 0,960494696231 0,070577 0,013631 0,086063 0,052328 0,222598 0,31705847243 0,002383 2,306558 0,002423 36,5309 1,153279 4,636642 0,002423 0,012924 44,64753 0,81820648311 0,58327 23,58759 0,590347 4,549255 0,58327 1,793178 31,68691 0,744395435312 0,138146 0,008565 0,055125 11,93134 1,153279 589,7565 1,52941 15,37828 619,9506 0,95129589313 0,724283 0,061554 0,002383 0,004265 0,007077 0,007077 8,557524 269,2771 2,860336 9,83759 0,004265 0,007631 291,351 0,924235776321 0,584739 0,08996 0,674699 0,866666667322 1,474046 29,80006 31,27411 0,952866873324 0,004282 0,002146 0,013631 11,94674 0,322171 129,0324 141,3214 0,913042402331 0,01712 0,034241 0,051361332 0,325983 0,316534 0,013631 1,591059 0,387831 3,165345 0,633069 6,433452 0,49201338333 1,820689 1,820689 1411 1,439459 1,439459 1412 0,048357 87,35235 87,40071 0,999446719421 0,206786 0,206786 1511 0,128402 2,43964 2,568042 0,95512 132,1183 132,1183 1523 0,074301 0,074301 0,965907 1,114508 0,866666667

Total 13,63416 3,158604 0,099768 0,198427 0,371019 0,626994 0,507973 0,291932 0,191815 0,671389 84,3061 0,267997 37,70489 25,48263 612,395 285,9445 0,584739 34,26858 155,3402 3,165345 2,577958 1,443724 89,23044 0,272037 2,43964 132,1183 0,965907 1488,26Prod_accuracy 0,870454 0,746002 0,952229 1 1 0,938118 1 0,796503 1 0,954663 0,831117 0,263349 0,968864 0,925634 0,963033 0,941711 1 0,869603 0,830644 1 0,706252 0,997046 0,978952 0,760137 1 1 1 0,937515362



Zone 7: Norway confusion matrix CLC2018- Blind and plausibility analysis Table 31: Confusion matrix CLC 2018 for zone 7 (Norway) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 231 242 243 311 312 313 321 322 324 331 332 333 334 335 411 412 423 511 512 523 Total User_accuracy111 0,082994 0,0829944 1112 7,961314 0,002473 0,002473 7,96626086 0,999379066121 0,903209 0,044367 0,076656 1,02423303 0,881839458122 0,140702 0,004695 0,004695 0,15009288 0,937434607123 0,044536 0,04453605 1124 0,300792 0,30079185 1131 0,501689 0,153313 0,65500158 0,765935099132 0,019873 0,01987341 1133 0,076656 0,014215 0,0055 0,09637183 0,795423725141 0,250418 0,013912 0,2643299 0,947368421142 2,382662 2,38266231 1211 0,02232 0,075439 21,84986 0,0055 1,21327 1,217194 0,072433 0,0055 0,072433 0,016246 24,5501966 0,890007585231 1,005403 0,052916 1,0583192 0,95242 6,036309 0,670426 6,70673526 0,900036877243 0,003007 0,0055 38,79777 2,0353 40,84158152 0,949957685311 180,9361 0,014925 0,004777 0,002881 3,691336 184,650067 0,979886717312 0,002473 0,004621 0,003007 251,9656 0,469249 0,811878 253,2567892 0,994901504313 21,15429 0,091662 21,24594984 0,995685682322 190,4816 3,968367 3,968367 198,418333 0,96324 0,0055 0,466368 0,466368 0,845221 0,005763 43,25722 45,04644079 0,960280545331 0,066875 0,06687478 1332 94,19374 94,19373976 1333 13,71235 329,1163 342,8286899 0,960002316334 0,032527 0,03252707 1335 11,06402 11,06401644 1411 0,012457 0,01245731 1412 89,91967 89,91966839 1423 0,004859 0,004859 0,004859 0,082596 0,097172 0,85511 1,741574 1,74157382 1512 0,009243 0,004621 0,004621 56,30441 56,32289752 0,999671794523 0,122727 1,718181 1,8409083 0,933333333

Total 0,082994 7,966794 0,925529 0,140702 0,093762 0,300792 0,582628 0,019873 0,306626 0,250418 2,401385 21,86678 1,016404 7,249579 41,33203 181,4892 254,8634 21,64422 0,004777 204,194 44,14911 0,066875 98,16211 336,7809 0,032527 11,06402 0,012457 89,94142 0,082596 1,835709 56,30441 1,718181 1386,882086Prod_accuracy 1 0,999312 0,975884 1 0,47499 1 0,861079 1 0,25 1 0,992203 0,999226 0,989177 0,832643 0,938685 0,996953 0,98863 0,977364 0,932846 0,979798 1 0,959573 0,977242 1 1 1 0,999758 1 0,94872 1 1 0,975137979



Table 32: Confusion matrix CLC 2018 for zone 7 (Norway) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 231 242 243 311 312 313 321 322 324 331 332 333 334 335 411 412 423 511 512 523 Total User_accuracy111 0,082994 0,082994 1112 7,966261 7,966261 1121 0,883363 0,044367 0,076656 0,019846 1,024233 0,862462666122 0,150093 0,150093 1123 0,044536 0,044536 1124 0,300792 0,300792 1131 0,578345 0,076656 0,655002 0,882967549132 0,019873 0,019873 1133 0,076656 0,014215 0,0055 0,096372 0,795423725141 0,250418 0,013912 0,26433 0,947368421142 2,382662 2,382662 1211 0,02232 0,075439 21,85536 0,0055 1,21327 1,217194 0,072433 0,072433 0,016246 24,5502 0,890231621231 1,005403 0,052916 1,058319 0,95242 6,036309 0,670426 6,706735 0,900036877243 0,003007 0,0055 38,79227 2,0353 0,0055 40,84158 0,949823015311 180,9322 0,014925 0,004777 0,006806 3,691336 184,6501 0,979865464312 0,002473 0,009243 0,003007 251,7267 0,469249 1,046142 253,2568 0,993958249313 21,15429 0,091662 21,24595 0,995685682322 190,4816 3,968367 3,968367 198,4183 0,96324 0,0055 0,466368 0,466368 0,23034 0,005763 43,8721 45,04644 0,97393049331 0,066875 0,066875 1332 94,19374 94,19374 1333 13,71235 329,1163 342,8287 0,960002316334 0,032527 0,032527 1335 11,06402 11,06402 1411 0,012457 0,012457 1412 89,91967 89,91967 1423 0,004859 0,004859 0,087455 0,097172 0,9511 1,741574 1,741574 1512 0,009243 0,004621 0,004621 56,30441 56,3229 0,999671794523 0,122727 1,718181 1,840908 0,933333333

Total 0,082994 7,971741 0,905682 0,150093 0,093762 0,300792 0,659285 0,019873 0,229969 0,250418 2,425853 21,87228 1,016404 7,249579 41,32653 181,4852 253,9969 21,64972 0,004777 204,194 44,99748 0,066875 98,16211 336,776 0,032527 11,06402 0,012457 89,94142 0,087455 1,833236 56,30441 1,718181 1386,882Prod_accuracy 1 0,999313 0,975356 1 0,47499 1 0,877231 1 0,333333 1 0,982196 0,999226 0,989177 0,832643 0,938677 0,996953 0,991062 0,977116 0,932846 0,97499 1 0,959573 0,977256 1 1 1 0,999758 1 0,95 1 1 0,975461061



Zone 8: Poland- Confusion matrix CLC2018 - Blind and plausibility analysis Table 33: Confusion matrix CLC 2018 for zone 8 (Poland) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 411 412 511 512 521 523 Total User_accuracy111 0,299801 0,299801 1112 64,55899 0,033311 0,024106 1,769362 66,38577 0,97248237121 0,315987 5,455285 5,78999 11,56126 0,471858971122 2,533649 2,533649 1123 0,108988 0,108988 1124 0,888701 0,888701 1131 3,312948 0,145233 0,03345 0,076656 0,109688 3,677975 0,900753128132 0,401679 0,025105 0,426784 0,941176471133 0,221889 0,097828 0,145233 0,879478 1,344428 0,654164818141 0,575823 0,035989 0,611811 0,941176471142 0,13066 2,574207 2,704867 0,951694601211 2,674756 546,1846 0,275108 1,769362 0,008096 5,78999 556,7019 0,98110782222 6,670639 0,351542 7,022181 0,949938299231 0,029427 87,31078 11,57998 0,257317 0,015382 99,19288 0,880212113242 32,03069 32,03069 1243 0,035988 74,98726 3,793908 2,674756 0,029148 81,52106 0,919851387311 0,035988 63,59583 0,072245 0,027531 63,7316 0,997869763312 0,084338 0,008443 238,6977 0,932736 0,105624 239,8288 0,99528355313 0,06858 0,008443 0,06858 105,7815 105,9271 0,998625437321 1,081184 1,081184 1322 0,021106 0,313815 0,334921 0,936981823324 0,069488 0,059935 1,748438 0,050965 0,035988 37,12122 39,08604 0,949731058331 0,176829 0,176829 1332 0,021106 0,021106 0,042212 0,5333 0,348594 0,348594 1411 0,214382 3,644492 3,858874 0,944444444412 0,025657 0,025657 0,025657 0,298344 0,375314 0,794917465511 0,317182 2,874285 3,191467 0,900615632512 0,016725 0,03315 0,004314 16,85477 16,90895 0,996795258521 0,022981 0,022981 1523 0,046602 0,046602 1

Total 0,299801 67,78835 5,488596 2,631477 0,108988 0,888701 3,458181 0,546912 0,879478 0,706482 2,574207 546,389 6,670639 93,43752 45,73157 75,20971 63,69831 244,6381 111,2093 1,236041 0,313815 37,56405 0,176829 0,021106 0,348594 9,751664 0,298344 2,874285 16,96445 0,022981 0,046602 1341,974Prod_accuracy 1 0,952361 0,993931 0,962824 1 1 0,958003 0,734449 1 0,815056 1 0,999626 1 0,93443 0,700406 0,997042 0,998391 0,975717 0,951193 0,874716 1 0,988211 1 1 1 0,37373 1 1 0,993534 1 1 0,96846325



Table 34: Confusion matrix CLC 2018 for zone 8 (Poland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 411 412 511 512 521 523 Total User_accuracy111 0,299801 0,299801 1112 66,3004 0,033311 0,035989 0,016071 66,38577 0,99871402121 0,315987 5,455285 5,78999 11,56126 0,471858971122 2,533649 2,533649 1123 0,108988 0,108988 1124 0,888701 0,888701 1131 3,329673 0,145233 0,016725 0,076656 0,109688 3,677975 0,905300524132 0,401679 0,025105 0,426784 0,941176471133 0,145233 0,097828 0,145233 0,956134 1,344428 0,7111827141 0,575823 0,035989 0,611811 0,941176471142 2,704867 2,704867 1211 546,1565 0,275108 1,769362 2,682852 0,0281 5,78999 556,7019 0,981057344222 6,670639 0,351542 7,022181 0,949938299231 0,029427 87,31078 11,57998 0,257317 0,015382 99,19288 0,880212113242 32,03069 32,03069 1243 0,035988 76,10641 2,674756 2,703903 81,52106 0,933579772311 0,035988 63,69561 63,7316 0,999435323312 0,084338 0,017997 0,008443 238,5686 0,932736 0,216735 239,8288 0,994745217313 0,008443 0,06858 105,7815 0,06858 105,9271 0,998625437321 1,081184 1,081184 1322 0,334921 0,334921 1324 0,069488 0,051492 1,179087 0,050965 37,735 39,08604 0,965434414331 0,176829 0,176829 1332 0,021106 0,021106 0,042212 0,5333 0,348594 0,348594 1411 0,214382 3,644492 3,858874 0,944444444412 0,025657 0,025657 0,025657 0,298344 0,375314 0,794917465511 0,317182 2,874285 3,191467 0,900615632512 0,004314 16,90464 16,90895 0,999744865521 0,022981 0,022981 1523 0,046602 0,046602 1

Total 0,299801 66,76162 5,488596 2,631477 0,108988 0,888701 3,474906 0,546912 6,746124 0,611811 2,704867 546,303 6,670639 87,64753 45,73157 78,95304 63,78964 240,0735 109,4681 1,178947 0,334921 41,00475 0,176829 0,021106 0,348594 9,751664 0,298344 2,874285 17,01433 0,022981 0,046602 1341,974Prod_accuracy 1 0,993092 0,993931 0,962824 1 1 0,958205 0,734449 0,141731 0,941176 1 0,999732 1 0,996158 0,700406 0,963945 0,998526 0,993731 0,966323 0,917076 1 0,920259 1 1 1 0,37373 1 1 0,993553 1 1 0,971229274



Zone 9: Italy confusion matrix CLC2018 - Blind and plausibility analysis Table 35: Confusion matrix CLC 2018 for zone 9 (Italy) – BLIND ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 335 411 412 421 422 511 512 521 523 Total User_accuracy111 5,740912 0,302919 6,043831 0,949879629112 0,864702 43,85903 0,003883 0,003986 0,003883 0,006157 44,74164 0,980273159121 0,020266 13,54394 0,006098 0,024357 0,023127 13,61779 0,994576992122 0,063897 0,559647 0,031948 0,031948 0,006098 0,031948 0,725488 0,771408012123 0,434197 0,434197 1124 0,925298 0,0487 0,973998 0,95131 0,006098 1,577003 0,878657 0,107596 0,003986 0,107596 0,215191 2,896126 0,544521385132 0,232444 0,232444 1133 0,006157 0,073962 0,01849 0,098609 0,750051212141 0,384578 0,024036 0,408614 0,941176471142 2,252054 2,252054 1211 0,864702 0,003986 0,026423 311,1501 0,016621 0,003986 20,45229 6,810026 0,026083 0,020767 0,026083 0,072433 0,066832 339,5403 0,916386266212 1,843295 1,843295 1213 0,622264 0,076016 11,99891 12,69719 0,945005112221 3,059175 0,233367 18,30474 0,005432 0,005432 1,300381 1,214884 1,214884 25,3383 0,722414034222 15,08186 1,844291 0,888657 17,81481 0,846591283223 46,90911 2,537674 2,537674 51,98446 0,902367963231 0,904037 0,904037 10,84844 0,904037 0,904037 14,46458 0,75241 0,077204 0,429929 0,024036 0,453965 4,299291 3,134078 0,429929 8,848433 0,485881631242 1,870373 0,008583 0,00628 5,532873 1,844291 64,93872 3,688582 1,844291 79,734 0,814442109243 5,39565 5,39565 77,01772 3,603257 3,642841 0,026083 0,039069 95,12026 0,809687781244 0,718613 6,108211 6,826824 0,894736842311 0,102034 0,033558 246,265 2,322866 0,019926 2,322866 0,033558 0,218673 251,3184 0,979892119312 52,55788 52,55788 1313 0,016621 33,54021 33,55683 0,999504683321 0,904037 21,27196 2,909703 2,909703 27,9954 0,759837596322 0,313514 6,670942 0,082193 7,066649 0,944003581323 0,876644 2,865226 43,4627 47,20457 0,920730776324 0,878657 0,930148 0,878657 0,878657 0,980691 3,102338 1,757313 48,81692 0,006157 58,22954 0,838353216331 0,155827 4,229541 0,031996 0,019367 4,436731 0,953301214332 18,50946 18,50946 1333 0,031393 13,19306 3,666955 2,915859 0,757252 19,64415 40,20867 0,488555128334 0,466368 0,466368 0,506219 1,438955 0,351796443335 1,482746 1,482746 1411 0,066832 0,843653 0,910486 0,926597339412 0,017291 0,017291421 0,829754 0,044532 0,874286 0,949064476422 0,077895 0,311579 0,389474 0,8511 1,642822 1,642822 1512 0,039069 7,541087 7,580155 0,994845906521 0,091989 0,091989 1,655801 1,839779 0,9522 0,010509 0,010509523 3,666955 0,610892 4,277847 0,142803635

Total 6,605614 49,60402 13,62641 0,572084 0,434197 0,925298 1,689586 1,115087 0,073962 0,384578 2,392171 322,7835 2,176714 11,99891 19,20878 16,93159 46,91454 17,18104 5,177948 78,61459 111,308 13,34817 254,8594 54,89737 38,43862 36,62048 15,57047 56,09977 48,98975 4,448214 19,37431 19,65031 0,506219 1,482746 0,900014 0,031996 0,999637 0,414076 1,662189 7,862179 1,700333 0,610892 1288,186Prod_accuracy 0,869096 0,884183 0,993948 0,978261 1 1 0,933366 0,208454 1 1 0,941427 0,963959 0,846825 1 0,952936 0,890753 0,999884 0,631419 0,830308 0,826039 0,691933 0,457607 0,966278 0,957384 0,872565 0,580876 0,428436 0,774739 0,996472 0,95084 0,955361 0,999687 1 1 0,937378 0,830055 0,752467 0,988349 0,95916 0,97381 1 0,891545879



Table 36: Confusion matrix CLC 2018 for zone 9 (Italy) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 335 411 412 421 422 511 512 521 523 Total User_accuracy111 5,740912 0,302919 6,043831 0,949879629112 0,885636 43,76705 0,003883 0,003986 0,077204 0,003883 44,74164 0,978217336121 0,02415 13,54006 0,006098 0,024357 0,023127 13,61779 0,994291835122 0,063897 0,559647 0,031948 0,031948 0,006098 0,031948 0,725488 0,771408012123 0,434197 0,434197 1124 0,925298 0,0487 0,973998 0,95131 0,006098 1,577003 0,878657 0,107596 0,003986 0,107596 0,107596 0,107596 2,896126 0,544521385132 0,232444 0,232444 1133 0,006157 0,073962 0,01849 0,098609 0,750051212141 0,384578 0,024036 0,408614 0,941176471142 2,252054 2,252054 1211 0,864702 0,024357 0,00628 0,003986 0,026423 311,0507 0,020335 6,826647 0,003986 13,64227 6,810026 0,060445 0,020767 0,026083 0,08646 0,066832 339,5403 0,916093626212 1,843295 1,843295 1213 0,622264 0,026083 12,04884 12,69719 0,948937752221 1,214884 2,077658 18,31017 0,005432 1,300381 2,429769 25,3383 0,722628405222 15,08186 1,844291 0,888657 17,81481 0,846591283223 45,06482 1,844291 2,537674 2,537674 51,98446 0,866890227231 0,904037 0,904037 10,84844 0,904037 0,904037 14,46458 0,75241 0,077204 0,429929 0,024036 0,453965 4,299291 3,134078 0,429929 8,848433 0,485881631242 1,870373 0,008583 0,00628 3,688582 1,844291 1,844291 64,86152 3,688582 1,844291 0,077204 79,734 0,813473837243 5,39565 5,39565 78,76572 1,849093 3,648998 0,026083 0,039069 95,12026 0,828064594244 0,718613 6,108211 6,826824 0,894736842311 0,102034 243,9756 2,322866 2,342792 2,322866 0,033558 0,218673 251,3184 0,970782925312 0,039744 52,51814 52,55788 0,999243809313 0,016621 0,016621 33,52358 33,55683 0,999009366321 0,904037 21,27196 2,909703 2,909703 27,9954 0,759837596322 0,313514 6,670942 0,082193 7,066649 0,944003581323 0,876644 2,865226 43,4627 47,20457 0,920730776324 0,878657 0,930148 0,878657 0,878657 0,980691 3,321011 1,089572 4,667016 44,59898 0,006157 58,22954 0,765916651331 0,155827 4,229541 0,019367 0,031996 4,436731 0,953301214332 18,50946 18,50946 1333 0,031393 2,909703 13,19306 3,666955 0,006157 20,4014 40,20867 0,507388183334 0,466368 0,972587 1,438955 0,675898222335 1,482746 1,482746 1411 0,066832 0,843653 0,910486 0,926597339412 0,017291 0,017291 1421 0,829754 0,044532 0,874286 0,949064476422 0,077895 0,311579 0,389474 0,8511 1,642822 1,642822 1512 0,107596 0,039069 7,433491 7,580155 0,980651527521 0,091989 0,091989 1,655801 1,839779 0,9522 0,010509 0,010509523 3,666955 0,610892 4,277847 0,142803635

Total 6,626548 49,51593 13,64688 0,578364 0,434197 0,925298 1,689586 1,115087 0,073962 0,384578 2,469376 319,0353 3,991407 12,04884 19,21421 16,93159 45,06482 25,83536 5,177948 80,38168 110,4613 13,34817 251,069 55,9472 39,53614 39,53018 15,57047 52,71755 44,97063 4,448214 18,61706 20,40756 0,972587 1,482746 0,882722 0,017291 0,999637 0,414076 1,662189 7,678983 1,700333 0,610892 1288,186Prod_accuracy 0,86635 0,883898 0,992173 0,967639 1 1 0,933366 0,208454 1 1 0,911993 0,974973 0,461816 1 0,95295 0,890753 1 0,419907 0,830308 0,806919 0,713062 0,457607 0,971747 0,938709 0,847923 0,538119 0,428436 0,824445 0,991736 0,95084 0,994221 0,999698 1 1 0,955741 1 0,830055 0,752467 0,988349 0,968031 0,97381 1 0,887087163



Zone 10: United Kingdom/Ireland confusion matrix CLC2018 - Blind and plausibility analysis Table 37: Confusion matrix CLC 2018 for zone 10 (United Kingdom & Ireland) – BLIND ANALYSIS- In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 334 411 412 421 423 511 512 521 522 523 Total User_accuracy111 1,344513 0,074695 1,419208 0,947368421112 0,641663 68,78994 0,491392 0,005989 1,99625 71,92523 0,956408989121 0,081786 11,33843 0,029153 0,323006 0,076656 0,145233 0,059242 0,087775 0,562875 0,117457 0,243022 13,06464 0,867871957122 0,038733 0,896425 0,145233 0,145233 1,225623 0,731403028123 0,408139 0,408139 1124 1,615029 1,615029 1131 2,240799 0,007689 0,025742 2,27423 0,985300315132 0,021706 0,49174 0,513445 0,957725622133 0,145233 0,025742 0,95024 1,121214 0,847509345141 0,14599 2,365935 0,14599 2,657915 0,890146753142 16,61384 16,61384 1211 5,915841 0,037348 289,8295 6,199774 0,010352 301,9928 0,959723165222 0,053307 0,293189 0,026654 0,373149 0,785714286231 0,029569 0,025742 0,029569 0,038733 10,31523 408,0278 3,63851 0,052397 0,045035 0,029569 0,021706 10,61463 0,029569 432,8981 0,942549385242 0,194081 9,15903 2,558239 0,194081 0,194081 12,29951 0,207995198243 0,517228 3,79408 16,24032 0,007361 0,517228 0,517228 21,59345 0,75209491311 22,52348 22,52348 1312 72,94358 0,398055 1,471516 4,24922 79,06237 0,922608037313 0,228048 0,293931 0,587862 0,488012 0,881793 12,21749 1,168204 15,86534 0,770074293321 0,031393 3,851154 0,517228 47,5269 0,062786 3,113921 3,113921 0,100618 58,31792 0,814962198322 0,653451 4,52305 9,673848 74,83342 0,10497 0,060261 89,849 0,83287982324 0,102983 0,102983 3,212646 1,358394 0,010352 1,119819 38,17707 0,027542 44,11179 0,865461808331 0,603709 0,603709 1332 0,074638 1,220195 0,412527 1,70736 0,714667528333 1,338901 0,65658 0,28923 14,27577 16,56048 0,862038447334 0,056981 0,132956 0,189937 0,3411 0,07136 0,021706 10,45548 0,010352 10,5589 0,990205594412 2,79926 0,653451 2,79926 2,79926 130,4881 0,708687 140,248 0,93040956421 1,583208 1,583208 1423 0,060261 0,060261 0,060261 0,781964 0,962747 0,812222111511 0,018477 0,368056 0,386533 0,95219885512 0,018477 13,77229 13,79077 0,998660211521 0,05147 0,012867 0,064337 0,8522 0,120522 0,018477 0,337412 0,018477 0,494887 0,68179565523 0,958938 0,958938 1

Total 2,004652 75,02484 12,06444 0,922166 0,437291 1,938035 2,404159 0,49174 1,240705 2,538605 16,75983 300,8561 0,293189 431,7412 2,85217 26,53587 23,13852 82,28621 13,9813 60,80724 79,30259 55,68985 0,663969 1,509424 20,60148 0,056981 13,59897 131,1114 1,864608 0,860702 0,386533 14,49133 0,05147 0,350279 0,977415 1379,835Prod_accuracy 0,670696 0,916896 0,939823 0,972086 0,933333 0,833333 0,932051 1 0,765887 0,931982 0,991289 0,963349 1 0,945075 0,896945 0,612014 0,973419 0,886462 0,873845 0,781599 0,943644 0,68553 0,909242 0,808384 0,692949 1 0,768843 0,995246 0,849083 0,908519 0,952199 0,950381 1 0,963265 0,981096 0,918355738



Table 38: Confusion matrix CLC 2018 for zone 10 (United Kingdom & Ireland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 334 411 412 421 423 511 512 521 522 523 Total User_accuracy111 1,344513 0,074695 1,419208 0,947368421112 69,42619 0,491392 0,005415 0,005989 1,99625 71,92523 0,965254947121 11,46772 0,029153 0,323006 0,145233 0,059242 0,116928 0,562875 0,117457 0,243022 13,06464 0,877768129122 0,038733 1,041658 0,145233 1,225623 0,849900216123 0,408139 0,408139 1124 1,615029 1,615029 1131 2,240799 0,007689 0,025742 2,27423 0,985300315132 0,513445 0,513445 1133 0,145233 0,025742 0,95024 1,121214 0,847509345141 0,14599 2,365935 0,14599 2,657915 0,890146753142 16,61384 16,61384 1211 5,915841 0,074696 289,6066 6,38532 0,010352 301,9928 0,958985091222 0,053307 0,293189 0,026654 0,373149 0,785714286231 0,029569 0,025742 0,029569 0,021706 0,038733 10,23374 407,9479 3,63851 0,052397 0,045035 0,029569 0,021706 10,75436 0,029569 432,8981 0,94236473242 0,194081 9,15903 2,558239 0,194081 0,194081 12,29951 0,207995198243 0,517228 3,79408 16,23296 0,007361 0,007361 0,517228 0,517228 21,59345 0,751754016311 22,51493 0,008548 22,52348 0,999620487312 74,4151 0,398055 1,471516 2,777704 79,06237 0,941220133313 0,228048 0,293931 0,781943 0,293931 0,587862 12,5038 1,175827 15,86534 0,78812042321 0,031393 3,851154 0,517228 47,45455 0,135139 3,113921 3,113921 0,100618 58,31792 0,813721521322 0,007689 0,653451 4,52305 9,666159 74,83342 0,10497 0,060261 89,849 0,83287982324 0,102983 0,051492 0,051492 1,74113 1,358394 0,010352 1,119819 39,64859 0,027542 44,11179 0,89882061331 0,603709 0,603709 1332 0,074638 0,100618 1,194215 0,337888 1,70736 0,699451252333 1,338901 0,65658 0,28923 14,27577 16,56048 0,862038447334 0,056981 0,132956 0,189937 0,3411 0,07136 0,021706 10,45548 0,010352 10,5589 0,990205594412 0,653451 0,008548 138,8773 0,708687 140,248 0,990226694421 1,583208 1,583208 1423 0,060261 0,060261 0,060261 0,781964 0,962747 0,812222111511 0,018477 0,368056 0,386533 0,95219885512 0,018477 13,77229 13,79077 0,998660211521 0,064337 0,064337 1522 0,018477 0,120522 0,018477 0,337412 0,494887 0,68179565523 0,958938 0,958938 1

Total 1,36299 75,54057 12,2481 1,067399 0,437291 1,938035 2,327503 0,548255 1,095473 2,557082 16,75983 300,5517 0,293189 431,876 2,85217 23,87184 22,91275 81,99964 14,26761 57,92794 79,30259 56,00129 0,764588 1,483445 17,72758 0,056981 13,59897 139,5006 1,864608 0,860702 0,386533 14,49133 0,064337 0,337412 0,958938 1379,835Prod_accuracy 0,986444 0,919058 0,936286 0,975884 0,933333 0,833333 0,962748 0,936509 0,867424 0,925248 0,991289 0,963583 1 0,944595 0,896945 0,680005 0,982638 0,907505 0,876377 0,8192 0,943644 0,707994 0,789587 0,805028 0,805286 1 0,768843 0,995532 0,849083 0,908519 0,952199 0,950381 1 1 1 0,92715885



Zone 11: Romania confusion matrix CLC2018 - Blind and plausibility analysis Table 39: Confusion matrix CLC 2018 for zone 11 (Romania) – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 242 243 311 312 313 321 322 324 331 332 333 411 511 512 521 523 Total User_accuracy111 0,386562 0,386562 1112 41,76859 0,005322 0,924659 0,924659 0,803698 44,42693 0,94016379121 0,005322 5,578714 0,145233 5,729269 0,973721721122 0,465197 0,465197 1123 0,107208 0,107208 1124 0,292919 0,292919 1131 0,062472 1,06647 0,024586 0,803698 0,062472 0,062472 0,024586 2,106756 0,506214371132 0,107975 0,107975 1133 0,165313 0,267344 0,029516 0,014758 0,014758 0,014758 0,506447 0,029140386141 0,012072 0,155242 0,167314 0,927848115142 0,012072 0,021431 0,012072 0,206849 0,012072 0,264496 0,782049647211 0,924659 331,0659 0,92974 17,1233 2,173926 0,768476 352,986 0,937900922212 0,012051 0,012051 0,024101 0,5213 1,319254 1,319254 1221 0,662866 4,756745 0,662866 6,082477 0,78204079222 7,991897 2,305429 10,29733 0,776113787231 2,173926 0,662866 104,494 2,173926 2,173926 9,474285 1,09397 2,20201 124,4489 0,839653823242 0,116684 37,64959 3,132132 40,8984 0,92056376243 3,227085 25,22921 0,803698 1,09397 30,35396 0,831166933311 0,768476 7,327019 200,6066 1,104074 3,066495 212,8726 0,942378388312 36,3611 2,487698 0,037611 38,88641 0,935059349313 4,147797 45,3776 0,008781 49,53418 0,91608667321 1,248459 1,250025 4,314192 9,205578 9,987669 4,993835 30,99976 0,139168569322 0,312111 2,184779 2,496891 0,875324 0,009359 0,803698 5,346831 2,187939 0,299758 21,28602 29,93361 0,711107792331 0,020848 0,449337 0,028084 0,498269 0,901796119332 0,034234 0,017117 0,034234 0,034234 0,275873 0,017117 0,412807 0,668285445333 0,145939 0,145939 1411 0,697515 11,16023 11,85775 0,941176471421 0,281568 0,281568511 0,38344 6,901925 7,285365 0,947368421512 6,877523 6,877523 1521 2,83367 2,83367 1523 0,089409 0,089409 1

Total 0,398634 45,18797 5,925923 0,494713 0,107208 0,292919 1,06647 0,122734 0,014758 0,167314 0,206849 333,1601 0,012051 1,319254 4,756745 8,001255 111,1057 65,19849 34,31659 225,6375 42,33841 52,32553 4,314192 2,281485 33,15767 10,43701 0,303957 0,163055 16,43564 6,901925 6,90211 2,83367 0,089409 1015,977Prod_accuracy 0,969716 0,92433 0,941408 0,940337 1 1 1 0,879755 1 0,927848 1 0,993714 1 1 1 0,99883 0,940492 0,577461 0,73519 0,889066 0,858821 0,867217 1 0,957613 0,641964 0,043052 0,907607 0,895025 0,679027 1 0,996438 1 1 0,887355764



Table 40: Confusion matrix CLC 2018 for zone 11 (Romania) – PLAUSIBILITY ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 242 243 311 312 313 321 322 324 331 332 333 411 511 512 521 523 Total User_accuracy111 0,386562 0,386562 1112 42,57228 0,005322 0,924659 0,924659 44,42693 0,958254118121 0,005322 5,578714 0,145233 5,729269 0,973721721122 0,465197 0,465197 1123 0,107208 0,107208 1124 0,292919 0,292919 1131 0,062472 1,128942 0,024586 0,803698 0,062472 0,024586 2,106756 0,535867441132 0,107975 0,107975 1133 0,02008 0,267344 0,029516 0,014758 0,014758 0,145233 0,014758 0,506447 0,029140386141 0,012072 0,155242 0,167314 0,927848115142 0,012072 0,021431 0,012072 0,218921 0,264496 0,827691326211 0,924659 345,7199 0,92974 2,469266 2,173926 0,768476 352,986 0,979415422212 0,024101 0,024101 1213 1,319254 1,319254 1221 0,662866 4,756745 0,662866 6,082477 0,78204079222 7,991897 2,305429 10,29733 0,776113787231 111,6434 0,803698 8,705809 1,09397 2,20201 124,4489 0,897102478242 0,116684 38,31245 2,469266 40,8984 0,936771384243 3,227085 0,662866 25,37004 1,09397 30,35396 0,835806582311 7,327019 203,549 1,104074 0,892568 212,8726 0,956200751312 36,3611 2,487698 0,037611 38,88641 0,935059349313 49,51662 0,017562 49,53418 0,999645456321 1,248459 1,250025 4,276581 9,243189 9,987669 4,993835 30,99976 0,13795531322 0,312111 2,184779 2,496891 0,875324 0,009359 0,803698 5,346831 3,281909 0,299758 20,19205 29,93361 0,674561252331 0,020848 0,449337 0,028084 0,498269 0,901796119332 0,034234 0,017117 0,034234 0,034234 0,275873 0,017117 0,412807 0,668285445333 0,145939 0,145939 1411 0,697515 11,16023 11,85775 0,941176471421 0,281568 0,281568511 0,38344 6,901925 7,285365 0,947368421512 6,877523 6,877523 1521 2,83367 2,83367 1523 0,089409 0,089409 1

Total 0,398634 43,66046 5,925923 0,494713 0,107208 0,292919 1,128942 0,122734 0,014758 0,167314 0,218921 346,3828 0,024101 1,319254 4,756745 8,001255 118,4004 49,69626 32,42432 221,9938 43,42031 54,29062 4,276581 2,281485 32,1101 10,43701 0,303957 0,163055 16,43564 6,901925 6,90211 2,83367 0,089409 1015,977Prod_accuracy 0,969716 0,975076 0,941408 0,940337 1 1 1 0,879755 1 0,927848 1 0,998086 1 1 1 0,99883 0,942932 0,770932 0,782438 0,916913 0,837422 0,912066 1 0,957613 0,628838 0,043052 0,907607 0,895025 0,679027 1 0,996438 1 1 0,916339964



Zone 12: Greece confusion matrix CLC2018 - Blind and plausibility analysis Table 41: Confusion matrix CLC 2018 for zone 12 (Greece) –BLIND ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 311 312 313 321 322 323 324 331 332 333 334 411 421 422 511 512 521 522 523 Total User_accuracy111 0,939956 0,072304 1,01226 0,928571429112 11,86502 11,86502 1121 0,138024 3,236431 0,149313 3,523767 0,918457523122 1,242854 0,058488 1,301342 0,955055689123 0,034025 0,034025 1124 0,637332 0,637332 1131 0,096214 1,455349 1,551563 0,937988818132 0,100919 0,100919 1133 0,020284 0,076656 0,534347 0,631287 0,84644034141 0,058869 0,058869 1142 0,120975 0,810866 0,058744 0,0863 1,076886 0,752973271211 1,829517 47,14874 1,869909 3,410494 1,829517 56,08818 0,84061815212 36,01956 0,405403 0,009574 0,019623 36,45416 0,988078195213 2,699039 2,699039 1221 1,621611 0,405403 0,810805 0,405403 3,243221 0,5222 0,244333 0,244333 0,244333 7,831483 0,488666 9,053149 0,865056246223 26,68225 1,034989 2,669558 4,804462 35,19126 0,758206733231 0,171001 4,289621 0,171001 1,466685 1,7746 0,171001 8,043908 0,533275693241 0,193865 0,872391 0,096932 1,163188 0,75242 1,153507 1,842111 1,139989 1,153507 1,034989 0,018203 30,77457 0,096932 37,21381 0,826966431243 1,829517 0,060341 41,92074 1,580977 3,238752 0,090397 0,018203 48,73892 0,86010796311 0,019623 54,70669 1,493258 56,21957 0,973089783312 0,012056 1,247028 41,74436 43,00344 0,970721327313 0,765979 0,765979 0,765979 1,28645 20,20905 1,311792 0,031479 25,13671 0,803965629321 0,018994 1,311792 0,045613 31,52181 4,018404 6,558961 43,47557 0,725046434322 0,721542 2,54872 3,270262 0,779362778323 2,630679 0,171001 3,097047 2,630679 101,4982 110,0276 0,922479418324 0,051492 1,4268 0,041397 0,609491 42,48088 1,4268 46,03686 0,922757984331 0,994367 0,994367 1332 0,920855 0,920855 1333 0,489355 0,978709 0,438947 1,934432 8,495513 12,33696 0,688623128334 0,466368 0,081958 0,548326 0,149469126411 0,065762 0,748759 0,065762 0,880282 0,850589887421 1,509275 1,509275 1422 0,120125 0,120125 1511 0,066222 0,090397 0,887492 1,044111 0,84999737512 4,295982 4,295982 1521 0,361479 0,361479 1522 0,027208 0,054417 0,081625 0,666666667523 1,553804 1,553804 1

Total 0,939956 12,63194 6,315669 1,31951 0,034025 0,637332 1,455349 0,100919 0,534347 0,058869 0,810866 51,27756 38,23562 2,699039 1,621611 8,984989 31,59926 4,478825 0,872391 35,59125 54,33694 57,24016 46,3368 21,79003 34,87945 2,54872 121,0762 51,24298 1,175161 0,920855 9,922313 0,081958 0,768382 1,536484 0,120125 0,953253 4,314185 0,361479 0,054417 1,640105 611,4993Prod_accuracy 1 0,939287 0,512445 0,941905 1 1 1 1 1 1 1 0,919481 0,942042 1 1 0,871618 0,844395 0,957756 1 0,864667 0,771496 0,95574 0,90089 0,927445 0,903736 1 0,8383 0,829009 0,846154 1 0,856203 1 0,974462 0,982292 1 0,931014 0,995781 1 1 0,947381 0,875732304



Table 42: Confusion matrix CLC 2018 for zone 12 (Greece) –PLAUSIBILITY ANALYSIS - In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 411 421 422 511 512 521 522 523 Total User_accuracy111 0,939956 0,072304 1,01226 0,928571429112 11,86502 11,86502 1121 0,138024 3,236431 0,149313 3,523767 0,918457523122 1,242854 0,058488 1,301342 0,955055689123 0,034025 0,034025 1124 0,637332 0,637332 1131 0,096214 1,455349 1,551563 0,937988818132 0,100919 0,100919 1133 0,020284 0,076656 0,534347 0,631287 0,84644034141 0,058869 0,058869 1142 0,120975 0,810866 0,058744 0,0863 1,076886 0,752973271211 47,82476 3,023416 3,410494 1,829517 56,08818 0,852670792212 36,22226 0,202701 0,009574 0,019623 36,45416 0,99363864213 2,699039 2,699039 1221 1,824312 0,405403 0,608104 0,405403 3,243221 0,5625222 0,244333 0,244333 8,075816 0,488666 9,053149 0,892044997223 26,68225 1,034989 2,669558 4,804462 35,19126 0,758206733231 0,171001 4,289621 1,751978 0,171001 1,466685 0,193623 8,043908 0,533275693241 0,193865 0,872391 0,096932 1,163188 0,75242 1,153507 1,842111 1,139989 1,153507 1,034989 0,018203 30,77457 0,096932 37,21381 0,826966431243 0,060341 43,75025 1,580977 1,657775 1,580977 0,090397 0,018203 48,73892 0,897645053311 0,019623 54,70669 1,493258 56,21957 0,973089783312 0,012056 1,247028 41,74436 43,00344 0,970721327313 0,765979 0,765979 0,765979 0,039422 21,45608 1,311792 0,031479 25,13671 0,853575442321 0,018994 1,311792 0,045613 31,52181 4,018404 6,558961 43,47557 0,725046434322 0,309232 2,96103 3,270262 0,905441191323 2,630679 3,268048 104,1289 110,0276 0,946388675324 0,051492 1,4268 0,041397 0,554817 42,53556 1,4268 46,03686 0,92394559331 0,994367 0,994367 1332 0,920855 0,920855 1333 0,489355 0,489355 0,363347 2,010032 8,984867 12,33696 0,728288883334 0,466368 0,081958 0,548326 0,149469126411 0,065762 0,657615 0,091144 0,065762 0,880282 0,747050565421 1,509275 1,509275 1422 0,120125 0,120125 1511 0,066222 0,090397 0,887492 1,044111 0,84999737512 4,295982 4,295982 1521 0,361479 0,361479 1522 0,027208 0,054417 0,081625 0,666666667523 1,553804 1,553804 1

Total 0,939956 12,38761 4,486151 1,31951 0,034025 0,637332 1,455349 0,100919 0,534347 0,058869 0,810866 50,12406 38,43832 2,699039 1,824312 9,229323 31,59926 4,307824 0,872391 36,33936 57,91844 0,171001 55,99314 43,70612 23,03706 33,97779 2,96103 120,4146 52,78323 1,175161 0,920855 10,41167 0,081958 0,677238 1,627627 0,120125 0,953253 4,314185 0,361479 0,054417 1,640105 611,4993Prod_accuracy 1 0,957814 0,721427 0,941905 1 1 1 1 1 1 1 0,954128 0,942348 1 1 0,875017 0,844395 0,995774 1 0,846866 0,755377 0,977025 0,955115 0,931372 0,927718 1 0,864753 0,805854 0,846154 1 0,862961 1 0,971025 0,927285 1 0,931014 0,995781 1 1 0,947381 0,888648367



Zone 13: Bulgaria confusion matrix CLC2018- Blind and plausibility analysis Table 43: Confusion matrix CLC 2018 for zone 13 (Bulgaria) – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 213 221 222 231 242 243 311 312 313 321 322 324 331 332 333 411 412 422 511 512 521 523 Total User_accuracy111 0,034319 0,034319 1112 16,53504 0,007629 16,54267 0,999538845121 3,094942 0,007629 0,161459 3,26403 0,94819664122 0,012134 0,157746 0,012134 0,182014 0,866666667123 0,032255 0,032255 1124 0,241416 0,241416 1131 0,913215 0,005304 0,077412 0,077412 0,077412 1,150754 0,793579276132 0,141614 0,141614 1133 0,038081 0,038081 1141 0,160007 0,017779 0,177786 0,9142 0,007629 0,504572 0,027448 0,032752 0,5724 0,881502631211 159,0416 3,533318 0,116684 0,862169 0,007087 0,007593 163,5685 0,972324435213 0,817024 0,817024 1221 5,128373 0,282611 0,282611 0,007629 5,701224 0,899521283222 1,936908 0,007629 0,116684 2,06122 0,939689949231 0,007087 14,43771 0,678467 0,339233 1,0177 16,4802 0,876064169242 0,574736 0,574736 10,58159 1,226883 1,724207 14,68215 0,720711145243 0,017006 2,225051 41,22999 2,22056 45,69261 0,902333954311 97,40642 0,005156 0,010312 97,42189 0,999841226312 21,88108 0,582234 22,46331 0,974080664313 0,558045 26,80161 27,35966 0,979603375321 0,855082 0,855082 14,69447 0,465388 16,87002 0,871040384322 0,976416 0,976416 1324 0,058579 0,619652 0,072286 0,007859 1,96562 27,9064 30,6304 0,911068854331 0,009024 0,07219 0,009024 0,090238 0,8332 0,026647 0,053293 0,026647 0,133233 0,239819 0,026647 0,506285 0,473684211333 0,086786 0,260359 0,260359 1,086657 1,694162 0,641412869411 0,363618 0,363618 1412 0,055519 0,055519 1422 0,033373 0,033373 1511 0,264063 0,264063 0,792188 1,320314 0,6512 0,137858 2,663276 2,801134 0,950784822521 0,030999 0,030999 1523 0,043203 0,043203 1

Total 0,034319 16,54267 3,107076 0,165374 0,032255 0,241416 0,913215 0,146918 0,038081 0,160007 0,522351 159,7278 0,817024 5,128373 1,936908 18,54577 13,20594 45,46644 99,48747 22,45407 33,56491 15,00812 1,342296 30,03546 0,07219 0,239819 1,113304 0,363618 0,055519 0,033373 0,792188 2,663276 0,030999 0,052227 474,0408Prod_accuracy 1 0,999539 0,996095 0,95387 1 1 1 0,963898 1 1 0,965964 0,995704 1 1 1 0,778491 0,801275 0,906823 0,979082 0,974482 0,798501 0,979101 0,727422 0,929115 1 1 0,976065 1 1 1 1 1 1 0,827221 0,949440835



Table 44: Confusion matrix CLC 2018 for zone 13 (Bulgaria) – PLAUSIBILITY ANALYSIS -In column the validation and line the production


MAP2018 111 112 121 122 123 124 131 132 133 141 142 211 213 221 222 231 242 243 311 312 313 321 322 324 331 332 333 411 412 422 511 512 521 523 Total User_accuracy111 0,034319 0,034319 1112 16,52741 0,007629 0,007629 16,54267 0,999077689121 3,094942 0,007629 0,161459 3,26403 0,94819664122 0,012134 0,157746 0,012134 0,182014 0,866666667123 0,032255 0,032255 1124 0,241416 0,241416 1131 0,913215 0,005304 0,077412 0,077412 0,077412 1,150754 0,793579276132 0,141614 0,141614 1133 0,038081 0,038081 1141 0,160007 0,017779 0,177786 0,9142 0,007629 0,504572 0,027448 0,032752 0,5724 0,881502631211 159,0325 0,011702 0,004491 3,533318 0,116684 0,007087 0,855082 0,007593 163,5685 0,972268767213 0,817024 0,817024 1221 0,007629 5,128373 0,282611 0,282611 5,701224 0,899521283222 1,936908 0,007629 0,116684 2,06122 0,939689949231 0,007087 14,77695 0,678467 1,0177 16,4802 0,896648469242 0,574736 0,574736 10,58159 1,801619 1,149471 14,68215 0,720711145243 0,005304 0,011702 2,225051 41,2224 2,22056 0,007593 45,69261 0,902167786311 97,39856 0,005156 0,018171 97,42189 0,999760556312 21,88108 0,582234 22,46331 0,974080664313 0,558045 26,79646 0,005156 27,35966 0,979414922321 0,855082 0,855082 14,69447 0,465388 16,87002 0,871040384322 0,976416 0,976416 1324 0,058579 0,619652 0,072286 1,888208 27,99167 30,6304 0,913852719331 0,009024 0,07219 0,009024 0,090238 0,8332 0,026647 0,026647 0,026647 0,106586 0,319759 0,506285 0,631578947333 0,086786 0,287006 0,260359 1,060011 1,694162 0,625684398411 0,363618 0,363618 1412 0,055519 0,055519 1422 0,033373 0,033373 1511 0,264063 0,264063 0,792188 1,320314 0,6512 0,137858 2,663276 2,801134 0,950784822521 0,030999 0,030999 1523 0,043203 0,043203 1

Total 0,034319 16,53504 3,107076 0,165374 0,032255 0,241416 0,920843 0,146918 0,038081 0,160007 0,522351 159,698 0,817024 5,151776 1,941398 18,89402 13,20594 46,03358 98,78599 22,43912 32,74615 15,86321 1,003063 30,11469 0,07219 0,319759 1,060011 0,363618 0,055519 0,033373 0,792188 2,663276 0,030999 0,052227 474,0408Prod_accuracy 1 0,999539 0,996095 0,95387 1 1 0,991715 0,963898 1 1 0,965964 0,995833 1 0,995457 0,997687 0,782096 0,801275 0,895485 0,985955 0,975131 0,818309 0,926324 0,973435 0,929502 1 1 1 1 1 1 1 1 1 0,827221 0,950369986



Zone 14: Island confusion matrix CLC2018 - Blind and plausibility analysis Table 45: Confusion matrix CLC 2018 for zone 14 (Island) –BLIND ANALYSIS - In column the validation and line the production


CLC Classes 112 121 122 123 124 131 133 141 142 211 231 242 243 311 312 313 321 322 324 331 332 333 335 411 412 421 423 511 512 521 522 523 Total User_accuracy112 0,434877 0,434877 1121 0,246524 0,01837 0,01837 0,283265 0,870295642122 0,012019 0,012019 1123 0,029903 0,029903 1124 0,118513 0,118513 1131 0,049736 0,049736 1133 0,025971 0,02608 0,052051 0,501044546141 0,070456 0,070456 1142 0,655897 0,655897 1211 0,098413 0,098413 1231 10,74798 0,002925 10,7509 0,999727923242 0,188863 0,010938 0,199801 0,945257773311 1,010877 0,067392 0,067392 1,14566 0,882352941312 0,116659 0,116659 1313 0,169149 0,021144 0,190292 0,888888889321 13,51783 13,51783 1322 149,5998 0,034721 149,6345 0,999767962324 0,01304 0,206876 0,1313 1,135995 1,487211 0,763842388331 14,96041 0,075577 0,095987 15,13198 0,988662135332 102,8136 0,045036 102,8586 0,999562158333 1,894309 1,969886 54,37007 58,23427 0,933643963335 44,76702 44,76702 1411 1,838871 1,838871 1412 28,49133 28,49133 1421 0,109774 0,109774 1423 0,358474 0,358474 1511 0,0266 3,348642 3,375241 0,99211918512 6,637691 6,637691 1521 0,622728 0,622728 1522 0,119445 0,119445 1523 0,132759 0,132759 1

Total 0,460849 0,246524 0,012019 0,029903 0,118513 0,049736 0,02608 0,070456 0,655897 0,098413 10,76102 0,191788 0,010938 1,010877 0,116659 0,169149 13,72471 149,838 1,135995 16,88132 104,8591 54,38844 44,76702 1,838871 28,55872 0,109774 0,358474 3,47935 6,682727 0,622728 0,119445 0,132759 441,5262Prod_accuracy 0,943645 1 1 1 1 1 1 1 1 1 0,998788 0,984748 1 1 1 0,984927 0,99841 1 0,886211 0,980493 0,999662 1 1 0,99764 1 1 0,962433 0,993261 1 1 1 0,989296595



Table 46: Confusion matrix CLC 2018 for zone 14 (Island) –PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 112 121 122 123 124 131 133 141 142 211 231 242 311 312 313 321 322 324 331 332 333 335 411 412 421 423 511 512 521 522 523 Total User_accuracy112 0,434877 0,434877 1121 0,264894 0,01837 0,283265 0,935147821122 0,012019 0,012019 1123 0,029903 0,029903 1124 0,118513 0,118513 1131 0,049736 0,049736 1133 0,025971 0,02608 0,052051 0,501044546141 0,070456 0,070456 1142 0,655897 0,655897 1211 0,098413 0,098413 1231 10,74798 0,002925 10,7509 0,999727923242 0,199801 0,199801 1311 1,010877 0,067392 0,067392 1,14566 0,882352941312 0,116659 0,116659 1313 0,169149 0,021144 0,190292 0,888888889321 13,51783 13,51783 1322 149,5998 0,034721 149,6345 0,999767962324 0,01304 0,206876 0,1313 1,135995 1,487211 0,763842388331 14,92842 0,075577 0,127983 15,13198 0,986547684332 102,8266 0,031996 102,8586 0,999688934333 1,894309 1,969886 54,37007 58,23427 0,933643963335 44,76702 44,76702 1411 1,838871 1,838871 1412 28,49133 28,49133 1421 0,109774 0,109774 1423 0,358474 0,358474 1511 0,0266 3,348642 3,375241 0,99211918512 6,637691 6,637691 1521 0,622728 0,622728 1522 0,119445 0,119445 1523 0,132759 0,132759 1

Total 0,460849 0,264894 0,012019 0,029903 0,118513 0,049736 0,02608 0,070456 0,655897 0,098413 10,76102 0,202726 1,010877 0,116659 0,169149 13,72471 149,8196 1,135995 16,84933 104,8721 54,38844 44,76702 1,838871 28,55872 0,109774 0,358474 3,511346 6,669687 0,622728 0,119445 0,132759 441,5262Prod_accuracy 0,943645 1 1 1 1 1 1 1 1 1 0,998788 0,985571 1 1 1 0,984927 0,998533 1 0,885995 0,980496 0,999662 1 1 0,99764 1 1 0,953663 0,995203 1 1 1 0,989320041



Zone 15: Hungary confusion matrix CLC2018 - Blind and plausibility analysis Table 47: Confusion matrix CLC 2018 for zone 15 (Hungary) – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 213 221 222 231 242 243 311 312 313 321 324 333 411 412 511 512 Total User_accuracy111 0,073506 0,073506 1112 19,52914 0,005278 19,53442 0,999729819121 0,008833 3,470767 0,025123 3,504723 0,990311262122 0,575703 0,005194 0,020103 0,601 0,957907867123 0,01206 0,01206 1124 0,059096 0,236385 0,295481 0,8131 0,544362 0,544362 1132 0,280381 0,280381 1133 0,005194 0,332392 0,145233 0,012282 0,495101 0,671361146141 0,213254 0,213254 1142 1,271268 1,271268 1211 0,011747 0,002903 194,5543 0,017429 0,141808 0,124422 0,006805 0,10454 4,129678 199,0936 0,977200005213 0,348184 0,348184 1221 0,116684 4,232062 4,348746 0,973168462222 3,401843 0,038326 3,440169 0,988859241231 0,954273 31,41776 0,580672 0,007564 32,96027 0,953200938242 1,230959 0,678199 0,009587 0,163657 0,006805 12,29502 0,242382 14,62661 0,840592768243 0,002903 0,605428 8,664183 0,697217 9,969731 0,869048821311 68,11169 1,247466 0,096176 69,45533 0,980654583312 3,94405 3,94405 1313 0,140482 6,112618 0,009319 6,262419 0,976079339321 0,48205 0,003266 9,611126 10,09644 0,95193197324 0,404546 0,051492 0,126816 0,773302 0,046379 23,81801 25,22055 0,944389206333 0,114331 0,114331 1411 0,161695 0,161695 2,611346 2,934736 0,889806111412 0,039771 0,039771 0,318169 0,397711 0,8511 0,014061 1,955482 1,969543 0,992860752512 0,008308 5,66416 5,672468 0,998535465

Total 0,073506 20,76893 3,563852 0,575703 0,01206 0,236385 0,547266 0,285575 0,332392 0,213254 1,949467 196,5266 0,348184 4,413148 3,740376 32,15441 12,30183 9,221473 73,90078 3,94405 7,406463 9,650897 24,81058 0,114331 2,651118 0,318169 1,955482 5,66416 417,6804Prod_accuracy 1 0,940305 0,973881 1 1 1 0,994695 0,981812 1 1 0,652111 0,989964 1 0,958967 0,909492 0,97709 0,999447 0,939566 0,921664 1 0,825309 0,995879 0,959994 1 0,984998 1 1 1 0,96656075



Table 48: Confusion matrix CLC 2018 for zone 15 (Hungary) – PLAUSIBILITY ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 213 221 222 231 242 243 311 312 313 321 324 333 411 412 511 512 Total User_accuracy111 0,073506 0,073506 1112 19,52914 0,005278 19,53442 0,999729819121 3,470767 0,008833 0,025123 3,504723 0,990311262122 0,595806 0,005194 0,601 0,99135749123 0,01206 0,01206 1124 0,059096 0,236385 0,295481 0,8131 0,544362 0,544362 1132 0,280381 0,280381 1133 0,005194 0,489907 0,495101 0,989508917141 0,213254 0,213254 1142 1,271268 1,271268 1211 0,00344 0,002903 194,0741 0,017429 0,116684 0,705094 0,006805 0,037417 4,129678 199,0936 0,974788494213 0,348184 0,348184 1221 4,348746 4,348746 1222 3,440169 3,440169 1231 0,954273 31,41776 0,580672 0,007564 32,96027 0,953200938242 1,230959 0,678199 0,163657 0,006805 12,30461 0,242382 14,62661 0,84124821243 0,002903 1,1861 0,006805 8,076707 0,697217 9,969731 0,810122808311 68,1263 1,255268 0,073769 69,45533 0,980864874312 3,94405 3,94405 1313 0,140482 0,003901 6,118036 6,262419 0,976944596321 0,003266 10,09318 10,09644 0,999676553324 0,003266 0,067123 0,051492 0,849954 24,24871 25,22055 0,961466561333 0,114331 0,114331 1411 0,161695 0,161695 2,603039 0,008308 2,934736 0,886975353412 0,039771 0,039771 0,318169 0,397711 0,8511 0,014061 1,955482 1,969543 0,992860752512 5,672468 5,672468 1

Total 0,073506 20,7601 3,555545 0,607905 0,01206 0,236385 0,547266 0,285575 0,489907 0,213254 1,949467 195,1007 0,348184 4,529832 3,608344 33,35553 12,31822 8,381628 73,99204 3,94795 7,373304 10,09318 25,18896 0,114331 2,64281 0,318169 1,955482 5,680775 417,6804Prod_accuracy 1 0,940706 0,976156 0,980097 1 1 0,994695 0,981812 1 1 0,652111 0,994738 1 0,960024 0,953393 0,941906 0,998895 0,96362 0,920725 0,999012 0,829755 1 0,962672 1 0,984951 1 1 0,998538 0,967057296



Zone 16: Portugal confusion matrix CLC2018 - Blind and plausibility analysis Table 49: Confusion matrix CLC 2018 for zone 16 (Portugal) – BLIND ANALYSIS - In column the validation and line the production

Overall accuracy = 86%

CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 2,578688 0,052946 2,631634 0,979880965112 8,557148 8,557148 1121 2,069475 0,006391 0,009725 0,018975 2,104566 0,983326573122 0,451073 0,021768 0,081786 0,554627 0,813291056123 0,07552 0,07552 1124 0,267615 0,267615 1131 0,031642 0,56319 0,594832 0,946805844132 0,038345 0,006391 0,044736 0,857142857133 0,210838 0,018975 0,229813 0,917433013141 0,01225 0,01225 0,085752 0,01225 0,122503 0,7142 0,042703 0,670109 0,712812 0,940092457211 24,944 0,116684 1,673713 1,484981 0,74249 28,96186 0,861270388212 0,116684 11,24151 0,566198 0,566198 0,072433 0,257828 12,82085 0,876814719213 2,213118 0,096626 2,309744 0,958165893221 0,055939 7,206947 0,072433 0,946605 0,946605 0,072433 9,30096 0,774860518222 0,116684 2,856661 0,644498 0,171196 0,072433 3,861472 0,739785592223 0,055939 0,350051 0,132411 15,71302 0,84792 0,171196 17,27054 0,909816585231 0,072433 13,92558 0,39574 1,32141 0,072433 0,026326 0,784083 16,598 0,838991251241 1,387141 0,69357 4,854992 2,774281 0,009725 1,387141 0,69357 11,80042 0,411425378242 2,709232 24,84384 27,55307 0,901672243243 0,676724 1,732416 29,14481 0,015727 1,732416 0,778452 0,007189 34,08773 0,854994038244 0,74249 0,143855 0,055939 30,45614 31,39843 0,969989432311 6,219006 44,68022 0,031701 5,729956 56,66088 0,788554964312 0,007189 1,027866 24,25462 0,521669 25,81134 0,939688363313 0,031701 0,5184 0,045992 0,976374 0,5184 22,02174 24,11261 0,913287402321 0,051492 1,573132 0,515656 0,031642 2,171922 0,724304352322 0,257828 0,184845 20,14729 0,137981 1,948844 0,963296 23,64008 0,852251178323 1,065798 9,09012 1,133522 11,28944 0,805187876324 0,466368 1,432729 0,09035 2,237444 0,077693 3,280842 0,460775 70,17381 1,407237 79,62725 0,88127885331 0,027321 0,355176 0,027321 0,409818 0,866666667332 0,076437 0,038218 0,114655 0,666666667333 0,184845 0,36969 1,912964 2,467499 0,775264595334 0,466368 0,932736 1,865472 3,264575 0,571428571411 0,071346 0,071346 1412 0,151048 0,151048 1421 0,713832 0,713832 1422 0,282253 0,282253 1423 0,019887 0,079548 0,068054 0,167489 0,474946659511 0,760128 0,760128 1512 0,012782 0,02119 0,129842 0,129842 2,547221 2,840877 0,896632048521 0,272214 0,272214 1522 0,402013 0,402013 1523 0,138739 0,138739 1

Total 2,578688 10,07951 2,113367 0,458262 0,07552 0,267615 0,56319 0,057517 0,210838 0,085752 0,6765 30,10398 11,41413 2,213118 7,700853 3,061504 17,46663 14,6166 5,702912 32,14494 35,40795 39,7298 46,9901 24,45519 24,80892 4,666574 24,44332 10,40877 82,14793 0,355176 0,076437 4,353358 1,865472 0,329174 0,151048 0,741153 0,30214 0,079548 0,88997 2,55441 0,340268 0,402013 0,138739 447,2289Prod_accuracy 1 0,848965 0,979231 0,984312 1 1 1 0,666667 1 1 0,990553 0,828594 0,984876 1 0,935863 0,933091 0,899602 0,952723 0,851318 0,772869 0,823115 0,766582 0,950843 0,991798 0,887654 0,337107 0,824245 0,873313 0,854237 1 1 0,439423 1 0,216743 1 0,963137 0,934179 1 0,854105 0,997186 0,8 1 1 0,859822994



Table 50: Confusion matrix CLC 2018 for zone 16 (Portugal) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 2,053145 0,57849 2,631634 0,780178553112 8,557148 8,557148 1121 2,059751 0,016115 0,009725 0,018975 2,104566 0,9787059122 0,451073 0,021768 0,081786 0,554627 0,813291056123 0,07552 0,07552 1124 0,267615 0,267615 1131 0,031642 0,56319 0,594832 0,946805844132 0,038345 0,006391 0,044736 0,857142857133 0,210838 0,018975 0,229813 0,917433013141 0,01225 0,085752 0,01225 0,01225 0,122503 0,7142 0,042703 0,670109 0,712812 0,940092457211 24,944 0,116684 1,673713 2,227471 28,96186 0,861270388212 0,116684 11,24151 0,566198 0,566198 0,072433 0,257828 12,82085 0,876814719213 2,213118 0,096626 2,309744 0,958165893221 0,055939 7,27938 0,946605 0,946605 0,072433 9,30096 0,782648165222 0,116684 2,856661 0,644498 0,171196 0,072433 3,861472 0,739785592223 0,055939 0,350051 0,132411 16,38975 0,171196 0,171196 17,27054 0,949000306231 13,99801 0,39574 1,32141 0,072433 0,026326 0,784083 16,598 0,843355186241 1,387141 0,009725 0,69357 0,69357 4,854992 1,387141 0,69357 0,69357 0,69357 0,69357 11,80042 0,411425378242 2,709232 24,84384 27,55307 0,901672243243 0,676724 1,732416 29,14481 0,015727 1,732416 0,778452 0,007189 34,08773 0,854994038244 0,74249 0,143855 0,143855 0,055939 30,31229 31,39843 0,965407821311 5,242632 45,65659 0,031701 5,729956 56,66088 0,805786849312 0,007189 0,521669 1,027866 23,63124 0,045992 0,577386 25,81134 0,915537031313 0,031701 0,5184 0,045992 0,976374 0,5184 21,9901 0,031642 24,11261 0,91197516321 0,051492 1,573132 0,515656 0,031642 2,171922 0,724304352322 0,257828 0,184845 20,07176 0,137981 2,727296 0,184845 0,075524 23,64008 0,84905643323 1,065798 9,09012 1,133522 11,28944 0,805187876324 0,976374 0,466368 1,432729 0,09035 1,771077 0,150479 0,077693 3,280842 71,38134 79,62725 0,8964436331 0,027321 0,355176 0,027321 0,409818 0,866666667332 0,076437 0,038218 0,114655 0,666666667333 0,184845 0,36969 0,019109 1,893855 2,467499 0,767520251334 0,466368 0,932736 1,865472 3,264575 0,571428571411 0,071346 0,071346 1412 0,151048 0,151048 1421 0,713832 0,713832 1422 0,282253 0,282253 1423 0,019887 0,079548 0,068054 0,167489 0,474946659511 0,760128 0,760128 1512 0,012782 0,02119 0,129842 0,129842 2,547221 2,840877 0,896632048521 0,272214 0,272214 1522 0,402013 0,402013 1523 0,138739 0,138739 1

Total 2,053145 10,5928 2,103643 0,458262 0,07552 0,267615 0,56319 0,067242 0,220563 0,085752 0,68875 30,02183 11,55799 2,213118 8,749659 2,989072 18,14335 15,39233 5,026188 31,26722 36,83429 38,51294 47,5001 23,98229 23,49608 4,666574 24,36779 9,947997 84,91484 0,355176 0,095546 2,14856 1,865472 0,329174 0,226572 0,741153 0,30214 0,079548 0,88997 2,55441 0,340268 0,402013 0,138739 447,2289Prod_accuracy 1 0,807827 0,979135 0,984312 1 1 1 0,570253 0,95591 1 0,972935 0,830862 0,972618 1 0,831961 0,955702 0,903347 0,909415 0,965939 0,794565 0,791241 0,787067 0,961189 0,985362 0,935905 0,337107 0,823701 0,913764 0,840623 1 0,8 0,881453 1 0,216743 0,666667 0,963137 0,934179 1 0,854105 0,997186 0,8 1 1 0,863348513



Zone 17: Austria/Switzerland confusion matrix CLC2018 - Blind and plausibility analysis Table 51: Confusion matrix CLC 2018 for zone 17 (Austria/Switzerland) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 141 142 211 221 222 231 242 243 311 312 313 321 322 324 331 332 333 335 411 412 511 512 Total User_accuracy111 0,596104 0,596104 1112 24,15739 0,004154 1,288562 0,006405 1,288562 26,74507 0,903246338121 0,131867 2,261225 0,011336 2,404428 0,940441723122 0,013678 0,013678 0,034321 0,319063 0,380739 0,838010149123 0,017963 0,017963 1124 0,254938 0,254938 1131 0,431726 0,025061 0,009259 0,025061 0,491108 0,879086192132 0,019717 0,019717133 0,006405 0,006405141 0,208918 0,067053 0,013057 0,013057 0,302085 0,691585298142 0,027937 1,295331 0,004693 1,327961 0,975428849211 0,013678 0,013678 0,067053 63,65674 3,461954 6,814179 0,056513 74,0838 0,859253256221 3,488172 3,488172 1222 0,024128 0,168899 0,024128 0,217156 0,777777778231 35,40622 3,405336 5,193318 0,61275 0,072433 44,69005 0,792261699242 22,63336 0,61275 0,003508 0,847595 24,09721 0,939252183243 1,702668 12,10271 13,80538 0,87666634311 22,36016 1,456271 23,81643 0,938854355312 2,430662 100,0845 3,683196 0,099306 106,2976 0,941549361313 8,593538 60,62548 0,019162 69,23818 0,875607639321 0,110157 0,009543 49,53073 0,767059 0,060009 0,050213 50,52771 0,980268642322 12,95573 12,95573 1324 0,003957 0,072168 1,320713 8,195076 9,591913 0,854373438331 0,01693 0,01693 1332 0,485424 1,348392 26,10769 0,132819 28,07433 0,92994899333 0,003508 3,500277 0,131362 1,088777 18,76883 23,49276 0,798919959335 5,879403 5,879403 1411 0,050213 0,853623 0,903836 0,944444444412 0,014485 0,043455 0,05794 0,75511 1,099601 1,099601 1512 0,003508 7,882281 7,885789 0,99955519

Total 0,609782 24,31661 2,299699 0,339146 0,017963 0,282874 0,431726 0,208918 1,429437 64,99383 3,488172 0,168899 43,04628 32,88626 12,74693 22,86259 114,1218 69,84411 50,90649 17,22307 8,614697 0,01693 27,19647 18,76883 6,012222 0,907343 0,043455 1,099601 7,882281 532,7665Prod_accuracy 0,97757 0,993452 0,98327 0,940784 1 0,90124 1 1 0,906183 0,979428 1 1 0,822515 0,688231 0,949461 0,978024 0,876997 0,868011 0,972975 0,752231 0,95129 1 0,959966 1 0,977908 0,940793 1 1 1 0,90358956



Table 52: Confusion matrix CLC 2018 for zone 17 (Austria / Switzerland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 141 142 211 221 222 231 241 242 243 311 312 313 321 322 324 331 332 333 335 411 412 511 512 Total User_accuracy111 0,596104 0,596104 1112 25,44595 0,004154 1,288562 0,006405 26,74507 0,951425771121 0,131867 2,261225 0,009259 0,002077 2,404428 0,940441723122 0,013678 0,013678 0,034321 0,319063 0,380739 0,838010149123 0,017963 0,017963 1124 0,254938 0,254938 1131 0,431726 0,025061 0,009259 0,025061 0,491108 0,879086192132 0,019717 0,019717133 0,006405 0,006405141 0,208918 0,067053 0,013057 0,013057 0,302085 0,691585298142 0,027937 1,295331 0,004693 1,327961 0,975428849211 0,013678 0,006405 0,013678 0,067053 63,65034 3,461954 6,814179 0,056513 74,0838 0,859166797221 3,488172 3,488172 1222 0,193028 0,024128 0,217156 0,888888889231 36,01897 3,405336 0,072433 5,114961 0,078357 44,69005 0,805972805242 22,63336 0,61275 0,003508 0,847595 24,09721 0,939252183243 1,702668 12,10271 13,80538 0,87666634311 22,36016 1,456271 23,81643 0,938854355312 2,430662 98,811 4,950904 0,105061 106,2976 0,929569197313 6,614456 62,61796 0,005755 69,23818 0,904384957321 0,183426 0,009543 49,37402 0,688702 0,221809 0,050213 50,52771 0,977167112322 12,95573 12,95573 1324 0,053005 1,320713 8,218195 9,591913 0,856783703331 0,01693 0,01693 1332 0,485424 1,348392 26,10769 0,132819 28,07433 0,92994899333 0,003508 3,500277 0,131362 1,088777 18,76883 23,49276 0,798919959335 5,879403 5,879403 1411 0,050213 0,853623 0,903836 0,944444444412 0,014485 0,043455 0,05794 0,75511 1,099601 1,099601 1512 0,003508 7,882281 7,885789 0,99955519

Total 0,609782 25,60517 2,306104 0,348405 0,017963 0,282874 0,431726 0,208918 1,429437 64,95404 3,488172 0,193028 43,65903 0,024128 32,86213 12,81936 22,85864 110,8451 71,20299 50,73061 17,14471 8,81705 0,01693 27,19647 18,76883 6,012222 0,907343 0,043455 1,099601 7,882281 532,7665Prod_accuracy 0,97757 0,993782 0,980539 0,915781 1 0,90124 1 1 0,906183 0,979929 1 1 0,825006 0,688737 0,944096 0,978193 0,891434 0,879429 0,973259 0,755669 0,93208 1 0,959966 1 0,977908 0,940793 1 1 1 0,908290434



Zone 18: Denmark/Netherland/Belgium /Luxembourg confusion matrix CLC2018 - Blind and plausibility analysis Table 53: Confusion matrix CLC 2018 for zone 18 (Denmark, Netherland, Belgium, Luxembourg) – BLIND ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 221 222 231 242 243 311 312 313 321 322 324 331 411 412 421 423 511 512 521 522 523 Total User_accuracy111 0,460203 0,025567 0,48577 0,947368421112 40,44692 0,072887 2,256526 0,072887 2,268052 0,228801 45,34607 0,891960803121 0,290675 7,587624 7,878298 0,963104395122 1,125164 1,125164 1123 1,064262 1,064262 1124 0,847207 0,847207 1131 0,67125 0,036353 0,707603 0,948625103132 0,134559 0,134559 1133 0,010044 1,103542 0,145233 0,088183 1,347001 0,819258126141 1,321766 0,063648 1,385414 0,954058395142 9,963599 0,036353 9,999952 0,99636468211 7,1374 0,01169 3,565778 158,918 3,565778 0,025587 0,012794 0,025587 173,2626 0,917208828221 0,064006 0,064006 1222 0,122249 0,670077 0,04075 0,833076 0,80434086231 3,086813 55,72019 3,086813 61,89382 0,900254573242 1,020937 0,029569 4,083748 3,062811 45,94725 54,14431 0,848607093243 1,572047 0,072887 0,046454 0,006595 1,176669 23,67205 0,025587 1,572047 0,020732 28,16507 0,840475498311 0,006382 17,36008 0,056927 0,228801 17,65219 0,983451888312 0,822427 19,67161 0,436801 20,93083 0,939838603313 0,874879 0,437439 2,739337 19,92771 0,006595 23,98596 0,830807257321 0,024657 0,207224 0,397682 0,051492 0,056927 2,296202 0,155732 0,219165 0,051492 3,460572 0,663532412322 0,018275 0,010044 0,228801 4,081829 0,078353 4,417303 0,92405474324 0,031393 0,031393 0,466368 4,954814 5,483968 0,903508995331 0,95676 0,95676 1411 0,143608 0,066832 2,722477 0,165034 0,021426 3,119378 0,872762829412 0,012794 0,156941 0,078471 0,016119 1,371546 1,635871 0,838419582421 1,624186 1,624186 1423 0,014106 0,183383 0,014106 0,211596 0,866666667511 1,82664 0,443016 2,269656 0,804809166512 0,673567 12,4993 0,673567 13,84643 0,902708985521 0,167662 0,167662 1522 0,201809 0,201809 1523 0,340171 0,340171 1

Total 0,460203 52,36585 7,827632 3,423126 1,064262 0,847207 0,677632 0,134559 1,103542 5,032776 13,2334 165,6059 0,064006 0,670077 61,11935 52,65133 23,78252 18,04264 22,46212 20,66303 2,296202 4,1603 5,31027 1,112492 4,513689 1,371546 1,638293 0,183383 2,700079 12,64492 0,167662 1,318392 0,340171 488,9885Prod_accuracy 1 0,772391 0,969338 0,328695 1 1 0,990582 1 1 0,262632 0,752913 0,959616 1 1 0,911662 0,87267 0,995355 0,962169 0,875768 0,964414 1 0,981138 0,933063 0,860015 0,60316 1 0,99139 1 0,676513 0,988484 1 0,153072 1 0,899619929



Table 54: Confusion matrix CLC 2018 for zone 18 (Denmark, Netherland, Belgium, Luxembourg) –PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 221 222 231 242 243 311 312 313 321 322 324 331 411 412 421 423 511 512 521 522 523 Total User_accuracy111 0,48577 0,48577 1112 40,55638 0,072887 2,256526 0,192227 0,011526 2,256526 45,34607 0,894374703121 7,878298 7,878298 1122 1,125164 1,125164 1123 1,064262 1,064262 1124 0,847207 0,847207 1131 0,67125 0,036353 0,707603 0,948625103132 0,134559 0,134559 1133 0,010044 1,103542 0,145233 0,088183 1,347001 0,819258126141 1,321766 0,063648 1,385414 0,954058395142 9,963599 0,036353 9,999952 0,99636468211 7,131555 0,02338 3,565778 158,8914 0,020732 3,565778 0,025587 0,012794 0,025587 173,2626 0,917055435221 0,064006 0,064006 1222 0,122249 0,670077 0,04075 0,833076 0,80434086231 3,086813 55,72019 3,086813 61,89382 0,900254573242 1,020937 0,029569 3,062811 3,062811 46,96818 54,14431 0,867462941243 1,572047 0,072887 0,063648 0,046454 0,006595 1,176669 0,003767 23,60463 0,025587 1,572047 0,020732 28,16507 0,838081932311 0,006382 17,36008 0,056927 0,228801 17,65219 0,983451888312 0,822427 19,77179 0,025587 0,311026 20,93083 0,944625199313 0,874879 0,012233 0,437439 0,469622 22,1658 0,025983 23,98596 0,924115785321 0,024657 0,418414 0,051492 2,664593 0,106316 0,143608 0,051492 3,460572 0,769986255322 0,018275 0,010044 0,228801 4,138756 0,021426 4,417303 0,936942005324 0,031393 0,031393 0,466368 4,954814 5,483968 0,903508995331 0,95676 0,95676 1411 0,143608 0,066832 2,722477 0,165034 0,021426 3,119378 0,872762829412 0,012794 0,156941 0,016119 1,450017 1,635871 0,886388308421 1,624186 1,624186 1423 0,014106 0,183383 0,014106 0,211596 0,866666667511 1,82664 0,443016 2,269656 0,804809166512 13,17286 0,673567 13,84643 0,951354493521 0,167662 0,167662 1522 0,201809 0,201809 1523 0,340171 0,340171 1

Total 0,48577 52,15322 8,142229 3,423126 1,064262 0,847207 0,677632 0,134559 1,103542 5,096424 13,35274 162,0946 0,064006 0,670077 63,41734 53,67603 23,65818 18,04264 20,29259 22,26111 2,664593 4,138756 5,583758 0,95676 4,400841 1,450017 1,781901 0,183383 2,026513 13,31849 0,167662 1,318392 0,340171 488,9885Prod_accuracy 1 0,777639 0,967585 0,328695 1 1 0,990582 1 1 0,259352 0,746184 0,980239 1 1 0,878627 0,875031 0,997737 0,962169 0,974336 0,995719 1 1 0,887362 1 0,618627 1 0,911491 1 0,901371 0,989066 1 0,153072 1 0,909575755



Zone 19: Albania/Serbia/Macedonia confusion matrix CLC2018 - Blind and plausibility analysis Table 55: Confusion matrix CLC 2018 for zone 19 (Albania/Serbia/Macedonia) – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 242 243 311 312 313 321 322 323 324 331 332 333 334 411 412 421 422 511 512 521 523 Total User_accuracy111 0,048159 0,048159 1112 17,35936 0,074402 0,005614 17,43937 0,995411747121 1,877352 0,005614 0,083252 0,040103 2,006321 0,93571854122 0,153003 0,153003 1123 0,013351 0,013351 1124 0,14539 0,015278 0,015278 0,175946 0,826331577131 0,991042 0,038139 0,038139 1,06732 0,928532602132 0,014101 0,150092 0,164193 0,91412088133 0,046237 0,046237 1141 0,176481 0,176481 1142 0,015278 0,015278 0,230087 0,260644 0,882765923211 1,253714 0,008486 112,9997 0,021324 0,212267 0,025066 114,5206 0,986719789212 2,296311 0,072782 2,369093 0,969278397213 0,349847 0,349847 1221 0,161716 1,463136 0,080858 0,11519 0,11519 1,936089 0,755717204222 1,709686 0,159037 1,868723 0,914895468223 2,650302 0,318074 2,968375 0,892845918231 0,012032 12,33054 0,159037 0,021324 1,098448 2,196896 1,234902 17,05317 0,723063968241 0,00535 0,00535242 0,021324 63,98107 7,100101 71,10249 0,899842818243 0,021324 0,198442 2,264536 64,54594 2,897191 0,129136 0,008486 70,06506 0,921228723311 1,223208 0,466368 177,4677 1,517632 4,053612 184,7286 0,960694654312 14,06754 0,596834 14,66437 0,959300376313 0,872384 13,25532 14,1277 0,938250107321 1,072941 1,072941 0,212267 31,08982 2,66981 0,058661 36,17644 0,859394131322 0,068054 0,148038 1,709342 0,204509 2,129943 0,802529673323 1,706739 2,255927 0,136454 0,136454 8,192802 4,27596 1,072941 17,77728 0,460858061324 0,012032 1,456733 0,011896 2,96228 3,007677 3,106748 0,148092 60,93417 71,63962 0,850565136331 1,269365 0,859211 2,128576 0,403655463332 0,097577 0,048789 0,097577 1,336403 0,146366 1,726711 0,77395872333 1,235306 0,298417 1,223208 0,159967 7,551536 10,46843 0,721362504334 0,466368 0,084921 0,343193 1,111666 2,006147 0,554129702335 0,058661 0,058661411 0,008486 0,116468 0,066832 1,615054 1,80684 0,893855135412 0,001524 0,001524 1421 0,094313 0,094313 1422 0,086378 0,086378 1511 0,012032 0,070607 3,007373 3,090012 0,97325601512 6,486278 6,486278 1521 0,220983 0,220983 1523 0,277344 0,277344 1

Total 0,048159 18,62835 1,877352 0,153003 0,013351 0,160668 1,034147 0,200263 0,046237 0,176481 0,245366 113,3145 2,296311 0,349847 1,484459 1,790544 3,87351 15,07997 66,61695 79,10249 185,9059 15,06906 19,12945 35,26433 2,193002 9,430111 75,94683 0,929819 1,453725 8,770843 1,111666 1,615054 0,001524 0,094313 0,086378 3,007373 6,486278 0,220983 0,277344 673,4859Prod_accuracy 1 0,931878 1 1 1 0,904909 0,958318 0,749474 1 1 0,937733 0,997222 1 1 0,985635 0,954842 0,684212 0,817676 0,960432 0,815979 0,954611 0,933538 0,692927 0,881622 0,779453 0,868792 0,802327 0,924063 0,919296 0,860982 1 1 1 1 1 1 1 1 1 0,91001439



Table 56: Confusion matrix CLC 2018 for zone 19 (Albania/Serbia/Macedonia) – PLAUSIBILITY ANALYSIS In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 242 243 311 312 313 321 322 323 324 331 332 333 334 411 412 421 422 511 512 521 523 Total User_accuracy111 0,048159 0,048159 1112 17,36497 0,074402 17,43937 0,995733684121 1,960604 0,005614 0,040103 2,006321 0,977213328122 0,153003 0,153003 1123 0,013351 0,013351 1124 0,14539 0,030556 0,175946 0,826331577131 0,991042 0,038139 0,038139 1,06732 0,928532602132 0,164193 0,164193 1133 0,046237 0,046237 1141 0,176481 0,176481 1142 0,015278 0,245366 0,260644 0,941382962211 1,253714 0,008486 111,8717 0,021324 1,153029 0,212267 114,5206 0,97687035212 2,296311 0,072782 2,369093 0,969278397213 0,349847 0,349847 1221 0,080858 1,463136 0,080858 0,11519 0,080858 0,11519 1,936089 0,755717204222 1,709686 0,159037 1,868723 0,914895468223 2,650302 0,318074 2,968375 0,892845918231 0,012032 12,33054 0,159037 0,021324 1,098448 2,196896 1,234902 17,05317 0,723063968241 0,00535 0,00535242 0,021324 63,98107 7,100101 71,10249 0,899842818243 0,021324 0,198442 2,264536 64,54594 1,448595 0,129136 0,008486 1,448595 70,06506 0,921228723311 1,223208 0,466368 174,4604 1,517632 7,060931 184,7286 0,944414987312 14,06754 0,596834 14,66437 0,959300376313 0,872384 13,25532 14,1277 0,938250107321 1,072941 0,212267 31,30181 0,76044 2,770321 0,058661 36,17644 0,865254019322 0,068054 0,068054 1,709342 0,204509 0,079983 2,129943 0,802529673323 1,643108 2,255927 0,136454 0,136454 8,192802 4,339591 1,072941 17,77728 0,460858061324 0,012032 1,456733 0,011896 2,833145 3,001729 3,106748 61,21734 71,63962 0,854517914331 1,269365 0,859211 2,128576 0,403655463332 0,097577 0,048789 1,482769 0,097577 1,726711 0,8587242333 0,837044 0,298417 1,223208 8,109765 10,46843 0,774687494334 0,466368 0,428114 1,111666 2,006147 0,554129702335 0,058661 0,058661411 0,008486 0,066832 1,731522 1,80684 0,958314851412 0,001524 0,001524 1421 0,094313 0,094313 1422 0,086378 0,086378 1511 0,012032 0,070607 3,007373 3,090012 0,97325601512 6,486278 6,486278 1521 0,220983 0,220983 1523 0,277344 0,277344 1

Total 0,048159 18,61869 1,960604 0,153003 0,013351 0,160668 1,020046 0,214364 0,046237 0,176481 0,275922 111,9739 2,296311 0,349847 1,484459 1,790544 3,87351 14,12222 66,48554 80,03769 181,4384 15,06906 19,05182 34,64987 2,144214 8,961728 82,1617 0,929819 1,60009 9,360267 1,111666 1,731522 0,001524 0,094313 0,086378 3,007373 6,486278 0,220983 0,277344 673,4859Prod_accuracy 1 0,932664 1 1 1 0,904909 0,971565 0,765953 1 1 0,889257 0,999087 1 1 0,985635 0,954842 0,684212 0,87313 0,962331 0,806444 0,961541 0,933538 0,695751 0,903375 0,797188 0,914199 0,745084 0,924063 0,926678 0,866403 1 1 1 1 1 1 1 1 1 0,906004197



Zone 20: Bosnia and Herzegovina/Croatia confusion matrix CLC2018 - Blind and plausibility analysis Table 57: Confusion matrix CLC 2018 for zone 20 (Bosnia Herzegovina/Croatia) – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 221 222 223 231 242 243 311 312 313 321 322 323 324 332 333 334 411 421 422 511 512 521 523 Total User_accuracy111 0,040137 0,040137 1112 0,034655 10,21952 0,007087 0,007087 0,010009 0,532022 10,81038 0,945343182121 0,113272 1,086053 1,199325 0,905553694122 0,657515 0,064204 0,030534 0,010009 0,034655 0,796918 0,825072235123 0,02249 0,02249 1124 0,128409 0,128409 1131 0,030534 0,484994 0,007087 0,030534 0,55315 0,876785578132 0,114379 0,114379 1133 0,093752 0,093752 1141 0,096999 0,096999 1142 0,078769 0,285701 0,019692 0,076656 0,460819 0,619985344211 42,96536 0,027815 4,217524 0,009272 47,21998 0,909898063212 0,306375 0,306375 1221 1,199111 0,409297 0,007086 1,615494 0,742256473222 0,43915 0,045179 0,035907 0,035907 0,035907 0,59205 0,741745107223 0,093011 0,806951 0,046505 0,946467 0,852592446231 25,04824 0,013503 3,118804 1,559402 1,576194 31,31614 0,799850731242 0,007087 8,438373 58,38501 4,217524 71,04799 0,821768582243 0,035907 45,56521 0,030534 1,052352 1,052352 47,73635 0,954517974311 146,4475 6,331 0,430616 6,304199 3,154311 162,6677 0,900286724312 24,30329 1,61107 0,537023 26,45138 0,918790884313 2,45681 4,91362 42,90908 50,27951 0,853410857321 1,214705 16,27462 3,651199 0,010009 1,214705 22,36524 0,727674834322 0,290278 1,644908 1,935186 0,85323 0,466368 0,430616 0,010541 14,85579 1,870828 17,63414 0,842444614324 0,030534 0,102983 4,732596 2,163621 0,935414 33,0409 41,00605 0,805756725331 0,017564 0,017564 0,035127332 1,062698 1,062698 1333 0,271249 0,646446 1,244365 0,271249 3,577346 6,010655 0,595167364334 0,23182 0,23182 1411 0,111924 0,906945 1,01887 0,890148593412 0,029473 0,029473421 0,030706 0,030706422 0,04168 0,04168 1423 0,000798 0,000798511 0,013503 1,812493 1,825995 0,992605304512 2,223559 2,223559 1521 0,001875 0,001875 1523 0,18065 0,18065 1

Total 0,074792 10,5351 1,100227 0,657515 0,02249 0,192613 0,546063 0,114379 0,103761 0,096999 0,285701 51,43052 0,306375 1,199111 0,43915 0,806951 25,07605 61,80566 50,42981 151,6805 32,89606 59,82532 17,21004 2,075525 28,64815 40,97655 1,333947 4,79205 0,23182 0,976396 0,000798 0,04168 1,812493 2,223559 0,001875 0,18065 550,1307Prod_accuracy 0,536644 0,970044 0,987117 1 1 0,666667 0,888165 1 0,90354 1 1 0,835406 1 1 1 1 0,998891 0,944655 0,903537 0,9655 0,73879 0,717239 0,945647 0,792526 0,51856 0,806337 0,796657 0,746517 1 0,92887 1 1 1 1 1 0,867903857



Table 58: Confusion matrix CLC 2018 for zone 20 (Bosnia Herzegovina/Croatia) – PLAUSIBILITY ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 221 222 223 231 242 243 311 312 313 321 322 323 324 332 333 334 411 421 422 511 512 521 523 Total User_accuracy111 0,040137 0,040137 1112 10,21952 0,007087 0,034655 0,007087 0,010009 0,532022 10,81038 0,945343182121 0,113272 1,086053 1,199325 0,905553694122 0,657515 0,064204 0,010009 0,030534 0,034655 0,796918 0,825072235123 0,02249 0,02249 1124 0,128409 0,128409 1131 0,030534 0,484994 0,007087 0,030534 0,55315 0,876785578132 0,114379 0,114379 1133 0,093752 0,093752 1141 0,096999 0,096999 1142 0,078769 0,285701 0,019692 0,076656 0,460819 0,619985344211 42,96536 0,027815 4,217524 0,009272 47,21998 0,909898063212 0,306375 0,306375 1221 1,301436 0,102324 0,204649 0,007086 1,615494 0,805595794222 0,475057 0,081086 0,035907 0,59205 0,802393698223 0,046505 0,853456 0,046505 0,946467 0,901728297231 0,013503 25,04824 3,118804 1,559402 1,576194 31,31614 0,799850731242 0,007087 4,220849 0,071814 61,3343 1,161763 4,217524 0,034655 71,04799 0,863279845243 46,65347 0,030534 1,052352 47,73635 0,97731526311 149,5515 6,331 3,166681 3,618512 162,6677 0,91936816312 24,84031 1,61107 26,45138 0,939093163313 2,45681 4,91362 42,90908 50,27951 0,853410857321 1,214705 16,27462 3,651199 0,010009 1,214705 22,36524 0,727674834322 0,290278 1,644908 1,935186 0,85323 0,466368 0,430616 14,85579 1,881369 17,63414 0,842444614324 0,102983 2,861768 2,163621 1,870828 0,935414 33,07143 41,00605 0,806501358331 0,017564 0,017564 0,035127332 1,062698 1,062698 1333 0,271249 1,077062 1,244365 0,271249 3,146729 6,010655 0,52352518334 0,23182 0,23182 1411 0,040508 0,111924 0,866437 1,01887 0,850390768412 0,029473 0,029473421 0,030706 0,030706422 0,04168 0,04168 1423 0,000798 0,000798511 0,013503 1,812493 1,825995 0,992605304512 2,223559 2,223559 1521 0,001875 0,001875 1523 0,18065 0,18065 1

Total 0,040137 10,4886 1,100227 0,692171 0,02249 0,192613 0,484994 0,114379 0,103761 0,096999 0,285701 47,267 0,306375 1,301436 0,546872 0,853456 25,17838 64,58083 52,63042 152,8831 33,42254 60,67433 17,21004 1,644908 25,40422 41,48058 1,333947 4,361434 0,23182 0,935888 0,000798 0,04168 1,812493 2,223559 0,001875 0,18065 550,1307Prod_accuracy 1 0,974345 0,987117 0,949932 1 0,666667 1 1 0,90354 1 1 0,908993 1 1 0,868682 1 0,994831 0,949729 0,886435 0,978208 0,74322 0,707203 0,945647 1 0,584776 0,797275 0,796657 0,72149 1 0,925792 1 1 1 1 1 0,881396386



Zone 21: Czech Republic/Slovakia confusion matrix CLC2018 - Blind and plausibility analysis Table 59: Confusion matrix CLC 2018 for zone 21 (Czech Republic/Slovakia) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 221 222 231 242 243 311 312 313 321 322 324 332 333 411 412 511 512 Total User_accuracy111 0,098557 0,098557 1112 26,38881 0,007676 0,007676 26,40416 0,999418576121 0,008227 4,016369 0,008939 4,033536 0,995743985122 0,634909 0,634909 1123 0,013726 0,013726 1124 0,30641 0,30641 1131 0,046244 0,836331 0,020718 0,046244 0,008939 0,046244 1,00472 0,832401616132 0,359594 0,359594 1133 0,025319 0,147004 0,00798 0,180303 0,815317475141 0,317046 0,317046 1142 1,275266 0,097228 1,372493 0,929159814211 0,00798 0,046244 0,007388 192,1328 0,00754 0,116684 192,3186 0,999033711221 0,086156 1,550806 0,237325 1,874287 0,827411065222 0,060174 0,13543 1,63626 1,831864 0,893221349231 0,016431 0,029569 0,210316 53,11679 0,016687 0,895307 0,077202 54,36231 0,977088685242 0,00798 3,890897 3,898876 0,997953318243 0,887893 45,40661 0,094938 0,059079 0,024571 46,47309 0,977051632311 58,77608 0,338621 0,024571 59,13927 0,993858697312 0,11453 84,21198 0,840695 85,16721 0,988784123313 0,005189 2,015601 46,46092 0,011718 48,49343 0,958086944321 1,803369 0,111923 0,059099 1,97439 0,913380071322 1,029097 1,029097 1324 0,513476 0,862552 0,426471 0,111923 26,40241 0,007414 28,32424 0,93214872332 0,103951 0,155926 0,259877 0,6333 0,022006 0,004921 0,198055 0,224982 0,88031586411 0,020897 0,35525 0,020897 0,397044 0,894736842412 0,020079 0,180715 0,200795 0,9511 0,064501 0,580506 0,645007 0,9512 3,214614 3,214614 1

Total 0,098557 26,48162 4,095608 0,673418 0,013726 0,30641 0,882575 0,380312 0,147004 0,317046 1,282653 193,5654 1,550806 1,873585 53,25203 3,890897 45,4878 59,45274 87,99438 47,36229 1,915292 1,244971 27,52564 0,155926 0,198055 0,35525 0,188129 0,580506 3,281755 564,5544Prod_accuracy 1 0,996495 0,980653 0,942816 1 1 0,947603 0,945524 1 1 0,99424 0,992598 1 0,873331 0,99746 1 0,998215 0,988618 0,957015 0,980969 0,941564 0,826603 0,959193 1 1 1 0,96059 1 0,979541 0,983956617



Table 60: Confusion matrix CLC 2018 for zone 21 (Czech Republic/Slovakia) –PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 221 222 231 242 243 311 312 313 321 322 324 332 333 411 412 511 512 Total User_accuracy111 0,098557 0,098557 1112 26,38881 0,007676 0,007676 26,40416 0,999418576121 4,024596 0,008939 4,033536 0,997783714122 0,634909 0,634909 1123 0,013726 0,013726 1124 0,30641 0,30641 1131 0,046244 0,836331 0,020718 0,046244 0,008939 0,046244 1,00472 0,832401616132 0,359594 0,359594 1133 0,025319 0,147004 0,00798 0,180303 0,815317475141 0,317046 0,317046 1142 0,00798 1,267286 0,097228 1,372493 0,923345754211 0,023883 0,046244 0,007388 192,102 0,00754 0,116684 0,014828 192,3186 0,998873916221 1,636962 0,237325 1,874287 0,873378346222 0,060174 0,13543 1,63626 1,831864 0,893221349231 0,093633 53,29616 0,007414 0,887893 0,077202 54,36231 0,980388222242 0,00798 3,890897 3,898876 0,997953318243 0,887893 45,40661 0,08367 0,059079 0,035839 46,47309 0,977051632311 58,80015 0,314548 0,024571 59,13927 0,994265748312 0,11453 84,18718 0,059099 0,806393 85,16721 0,988492972313 0,005189 1,604926 46,87159 0,011718 48,49343 0,966555612321 1,907877 0,066513 1,97439 0,966312237322 1,029097 1,029097 1324 0,513476 0,548003 27,25535 0,007414 28,32424 0,962262243332 0,103951 0,155926 0,259877 0,6333 0,022006 0,004921 0,198055 0,224982 0,88031586411 0,020897 0,35525 0,020897 0,397044 0,894736842412 0,020079 0,180715 0,200795 0,9511 0,645007 0,645007 1512 3,214614 3,214614 1

Total 0,098557 26,52709 4,057591 0,643849 0,013726 0,30641 0,882575 0,380312 0,147004 0,317046 1,274674 192,444 1,636962 1,873585 54,3193 3,890897 45,40661 59,47296 87,23695 47,38152 1,907877 1,133048 28,36296 0,155926 0,198055 0,35525 0,188129 0,645007 3,296584 564,5544Prod_accuracy 1 0,994787 0,991868 0,986116 1 1 0,947603 0,945524 1 1 0,994204 0,998223 1 0,873331 0,981164 1 1 0,988687 0,96504 0,989238 1 0,908256 0,960949 1 1 1 0,96059 1 0,975135 0,986909291



Zone 22: Estonia/Latvia/Lithuania confusion matrix CLC2018 - Blind and plausibility analysis Table 61: Confusion matrix CLC 2018 for zone 22 (Estonia/Latvia/Lithuania) – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 141 142 211 222 231 242 243 311 312 313 321 322 324 331 333 411 412 421 511 512 521 523 Total User_accuracy111 0,055973 0,055973 1112 11,88188 0,012799 11,89468 0,998923959121 3,176702 3,176702 1122 0,354121 0,354121 1123 0,133922 0,133922 1124 0,328481 0,328481 1131 0,945545 0,033781 0,979326 0,965505992132 0,157174 0,018667 0,17584 0,893842765133 0,018196 0,018196141 1,20418 1,20418 1142 0,60936 0,035208 0,644568 0,94537701211 173,0576 3,494709 0,133594 176,6859 0,979464671222 0,592611 0,031729 0,62434 0,949180691231 0,029569 0,779489 67,47022 0,116684 68,39596 0,986464965242 57,58115 57,58115 1243 0,008039 0,015937 41,47102 0,012049 41,50705 0,999132049311 62,74379 3,329148 0,079575 66,15252 0,948471764312 0,018196 92,2725 0,021175 92,31187 0,9995735313 0,013735 115,0503 0,208406 115,2724 0,998072903321 0,00784 4,92338 4,931219 0,998410166322 0,472359 0,027786 0,500145 0,944444444324 0,063541 0,252129 3,678983 90,12174 94,11639 0,957556248331 0,311894 0,311894 1333 0,042156 0,042156 0,550679 0,042156 0,677147 0,813235162411 5,709729 5,709729 1412 12,23667 0,014214 12,25088 0,998839797511 1,428387 1,428387 1512 0,15871 21,34806 21,50677 0,992620478521 0,016718 0,016718 1523 0,180254 0,180254 1

Total 0,055973 11,90812 3,176702 0,39153 0,133922 0,328481 0,945545 0,157174 1,20418 0,60936 173,9006 0,592611 71,01259 57,61215 41,47102 62,79969 92,88593 122,0983 4,965535 0,472359 90,53845 0,311894 0,550679 5,737514 12,23667 0,014214 1,428387 21,34806 0,016718 0,22241 779,1267Prod_accuracy 1 0,997797 1 0,904454 1 1 1 1 1 1 0,995152 1 0,950116 0,999462 1 0,99911 0,993396 0,942276 0,99151 1 0,995397 1 1 0,995157 1 1 1 1 0,810459 0,983647906



Table 62: Confusion matrix CLC 2018 for zone 22 (Estonia/Latvia/Lithuania) – PLAUSIBILITY ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 141 142 211 222 231 242 243 311 312 313 321 322 324 331 333 411 412 421 511 512 521 523 Total User_accuracy111 0,055973 0,055973 1112 11,89468 11,89468 1121 3,158036 0,018667 3,176702 0,994123869122 0,354121 0,354121 1123 0,133922 0,133922 1124 0,328481 0,328481 1131 0,979326 0,979326 1132 0,17584 0,17584 1133 0,018196 0,018196141 1,20418 1,20418 1142 0,035208 0,60936 0,644568 0,94537701211 169,9182 6,76769 176,6859 0,961696488222 0,62434 0,62434 1231 0,794174 67,52583 0,075956 68,39596 0,987278038242 57,58115 57,58115 1243 0,008039 0,015937 41,47102 0,012049 41,50705 0,999132049311 62,74379 3,329148 0,079575 66,15252 0,948471764312 0,018196 91,85569 0,021175 0,416811 92,31187 0,995058248313 109,3099 5,96256 115,2724 0,94827419321 0,00784 4,92338 4,931219 0,998410166322 0,027786 0,472359 0,500145 0,944444444324 0,012049 0,051492 0,015937 3,678983 90,35793 94,11639 0,960065816331 0,311894 0,311894 1333 0,042156 0,042156 0,042156 0,550679 0,677147 0,813235162411 5,709729 5,709729 1412 12,23667 0,014214 12,25088 0,998839797511 1,428387 1,428387 1512 0,15871 21,34806 21,50677 0,992620478521 0,016718 0,016718 1523 0,180254 0,180254 1

Total 0,055973 11,93911 3,158036 0,36196 0,133922 0,328481 0,979326 0,194507 1,239388 0,60936 170,7244 0,62434 74,36095 57,58115 41,47102 62,78595 92,03034 116,3392 4,993321 0,472359 96,94704 0,311894 0,550679 5,709729 12,23667 0,014214 1,428387 21,34806 0,016718 0,180254 779,1267Prod_accuracy 1 0,996278 1 0,978341 1 1 1 0,904031 0,971592 1 0,995278 1 0,908082 1 1 0,999329 0,998102 0,939579 0,985993 1 0,932034 1 1 1 1 1 1 1 1 0,97219084



Zone 23: Overseas departments confusion matrix CLC2018 - Blind and plausibility analysis Table 63: Confusion matrix CLC 2018 for zone 23 (Guyana/Guadeloupe/La reunion/Martinique/Mayotte) – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 141 142 211 213 221 222 231 242 243 244 311 312 313 321 322 323 324 331 332 333 411 421 423 511 512 521 522 523 Total User_accuracy111 0,01789 0,01789 1112 2,916862 0,005092 2,921954 0,998257283121 0,161577 0,005092 0,166669 0,969447525122 0,074629 0,006825 0,081454 0,916208237123 0,023021 0,023021 1124 0,064595 0,064595 1131 0,044961 0,044961 1132 0,003158 0,003158 1141 0,019232 0,019232 1142 0,031181 0,031181 1211 0,005092 2,38941 0,132553 2,527055 0,94553126213 0,277662 0,277662 1222 0,577819 0,071374 0,071374 0,720568 0,801894381231 0,110781 0,899972 0,004496 0,117606 0,003449 1,136305 0,792016677242 0,005092 0,16235 1,298797 1,466239 0,885801843243 0,003449 0,16235 3,107423 3,273221 0,94934696244 0,092179 0,092179 1311 0,165748 40,52414 0,114887 1,330481 0,003055 6,234796 48,37311 0,837741095312 0,093109 0,093109 1313 0,23056 0,23056 1321 1,006519 1,006519 1322 0,679496 0,0755 0,754996 0,9323 0,165748 0,093768 0,750142 0,093768 1,103425 0,679830082324 0,004496 0,170244 0,004496 0,004333 1,267278 1,450848 0,873474357331 0,011514 0,011514 1332 0,311411 0,311411 1333 0,047 0,376002 0,423002 0,888888889411 4,676151 4,676151 1421 0,031668 0,031668 1511 0,045584 0,410257 0,455841 0,9512 0,018621 0,018621 1521 0,007951 0,007951 1522 0,11511 1,049643 1,164754 0,901171947523 0,020023 49,9967 50,01673 0,999599669

Total 0,01789 3,364232 0,323926 0,079721 0,023021 0,064595 0,044961 0,003158 0,019232 0,031181 2,38941 0,277662 0,132553 0,577819 0,913009 1,702765 3,19521 0,092179 40,64226 0,093109 0,23056 1,125902 0,726496 0,750142 2,884633 0,057098 0,311411 0,376002 4,676151 0,031668 0,003055 0,528816 0,018621 0,007951 1,049643 56,2315 122,9975Prod_accuracy 1 0,867022 0,498807 0,936125 1 1 1 1 1 1 1 1 1 0,985721 0,762758 0,972525 1 0,997094 1 1 0,893967 0,935306 1 0,43932 0,201649 1 1 1 1 0,775802 1 1 1 0,889123 0,922307277



Table 64: Confusion matrix CLC 2018 for zone 23 (Guyana/Guadeloupe/La reunion/Martinique/Mayotte) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 141 142 211 213 221 222 231 242 243 244 311 312 313 321 322 323 324 331 332 333 411 421 423 511 512 521 522 523 Total User_accuracy111 0,01789 0,01789 1112 2,916862 0,005092 2,921954 0,998257283121 0,161577 0,005092 0,166669 0,969447525122 0,074629 0,006825 0,081454 0,916208237123 0,023021 0,023021 1124 0,064595 0,064595 1131 0,044961 0,044961 1132 0,003158 0,003158 1141 0,019232 0,019232 1142 0,031181 0,031181 1211 0,005092 2,38941 0,132553 2,527055 0,94553126213 0,277662 0,277662 1222 0,720568 0,720568 1231 0,110781 0,899972 0,004496 0,117606 0,003449 1,136305 0,792016677242 0,005092 0,16235 1,298797 1,466239 0,885801843243 0,003449 0,16235 3,107423 3,273221 0,94934696244 0,092179 0,092179 1311 0,165748 40,52414 0,114887 1,330481 0,003055 6,234796 48,37311 0,837741095312 0,093109 0,093109 1313 0,23056 0,23056 1321 1,006519 1,006519 1322 0,679496 0,0755 0,754996 0,9323 0,165748 0,093768 0,750142 0,093768 1,103425 0,679830082324 0,004496 0,170244 0,004496 0,004333 1,267278 1,450848 0,873474357331 0,011514 0,011514 1332 0,311411 0,311411 1333 0,047 0,376002 0,423002 0,888888889411 4,676151 4,676151 1421 0,031668 0,031668 1511 0,045584 0,410257 0,455841 0,9512 0,018621 0,018621 1521 0,007951 0,007951 1522 0,11511 1,049643 1,164754 0,901171947523 0,020023 49,9967 50,01673 0,999599669




Annex 4. Producer and user accuracy per bio-geographical region – Blind and plausibility analysis

Table 65: Producer, user and overall accuracy for Blind and plausibility analysis per bio-geographical region (6 regions from ALP to BOR region)



Table 66: Producer, user and overall accuracy for Blind and plausibility analysis per bio-geographical region (6 regions from CON to STE region)



Annex 5. Confusion matrix CLC2018 per Bio-geographical region

Bio-geographical region ALP - Alpine - confusion matrix CLC2018 - Blind and plausibility analysis Table 67: Confusion matrix CLC 2018 for Alpine region –BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 221 222 231 242 243 311 312 313 321 322 323 324 331 332 333 334 335 411 412 423 511 512 523 Total User_accuracy111 0,43327 0,43327 1112 0,034655 40,34768 0,005322 0,924659 0,924659 1,288562 43,52554 0,926988638121 0,081697 2,748302 2,829999 0,971131782122 0,013678 0,013678 0,009259 0,660793 0,064204 0,761612 0,867624223123 0,002969 0,002969 1124 0,236109 0,236109 1131 0,77784 0,046244 0,008939 0,077412 0,910435 0,854360458132 0,014101 0,262014 0,041777 0,317892 0,82422415133 0,041708 0,041708 1141 0,109639 0,109639 1142 0,012072 0,027937 3,117614 0,012072 0,004693 0,005304 3,179692 0,980476854211 2,674756 0,046244 50,1516 1,787102 1,665568 0,012587 0,116684 0,009272 56,46382 0,888207837212 1,042596 1,042596 1221 0,080858 2,902808 0,237325 3,220991 0,901215744222 0,00754 4,126743 0,768476 4,90276 0,84171837231 0,904037 0,012032 111,5382 3,147565 4,347852 7,175181 0,61275 2,196896 1,631834 131,5664 0,847771535242 0,582715 32,22153 0,077412 0,003508 5,065119 37,95028 0,849045819243 0,887893 2,602248 1,072941 86,30905 2,697186 2,164436 4,003951 0,024571 99,76227 0,865147157311 499,2432 3,42694 8,376724 2,322866 0,029727 0,218673 3,691336 1,767275 519,0767 0,961790731312 0,004621 2,430662 391,3119 5,835852 4,142991 403,726 0,969251111313 0,005189 12,28259 214,7358 1,245406 0,020499 0,091662 228,3812 0,940251871321 0,212267 3,615073 0,009543 156,0936 5,033456 1,969379 0,058661 0,08996 0,050213 167,1322 0,933953167322 5,252902 1,474046 0,602389 0,068054 0,402675 328,9065 0,204509 3,968367 6,298783 347,1783 0,947370769323 0,824071 1,127963 0,136454 0,136454 2,525776 2,789892 7,540611 0,334956358324 0,878657 0,007087 1,209428 2,382074 4,580832 4,291924 125,5396 138,8896 0,903880464331 0,017564 0,017564 0,01712 0,498521 0,080922 0,63169 0,789185493332 0,819075 0,017117 0,026647 1,493722 1,192787 0,216255 166,3179 2,225779 0,132819 172,4421 0,96448547333 0,293256 11,87734 14,02341 2,30995 3,99405 332,0465 364,5445 0,910853131334 0,084921 0,129136 0,180619 0,394676 0,457639042335 0,058661 20,64111 20,69977 0,997166117411 0,67322 0,67322 1412 0,014485 0,025657 0,187225 101,3601 101,5874 0,997761863423 0,014576 0,014576 1511 0,064501 1,808993 1,873494 0,965571988512 0,004621 0,004621 0,004621 0,003508 90,67848 90,69585 0,999808461523 0,368182 0,368182 1

Total 0,481603 44,91258 2,762884 0,660793 0,002969 0,32825 0,838184 0,274046 0,041708 0,109639 3,126857 51,13498 1,042596 2,902808 4,364069 119,8708 35,8847 96,90711 513,4534 425,2327 244,4099 173,5357 351,6326 2,525776 139,156 0,717194 174,3976 344,4333 0,180619 20,77393 0,923437 103,1274 0,014576 1,900655 90,67848 0,368182 2953,108Prod_accuracy 0,899641 0,89836 0,994722 1 1 0,719297 0,928005 0,956095 1 1 0,997044 0,980769 1 1 0,945618 0,930487 0,897918 0,890637 0,972324 0,92023 0,878589 0,89949 0,93537 1 0,90215 0,695099 0,953671 0,964037 1 0,993606 0,729037 0,982863 1 0,951774 1 1 0,937986379



Table 68: Confusion matrix CLC 2018 for Alpine region –PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 221 222 231 242 243 311 312 313 321 322 323 324 331 332 333 334 335 411 412 423 511 512 523 Total User_accuracy111 0,43327 0,43327 1112 41,63624 0,005322 0,034655 0,924659 0,924659 43,52554 0,956593379121 0,081697 2,739043 0,009259 2,829999 0,96785988122 0,013678 0,013678 0,009259 0,660793 0,064204 0,761612 0,867624223123 0,002969 0,002969 1124 0,236109 0,236109 1131 0,77784 0,046244 0,008939 0,077412 0,910435 0,854360458132 0,317892 0,317892 1133 0,041708 0,041708 1141 0,109639 0,109639 1142 0,012072 0,027937 3,129686 0,004693 0,005304 3,179692 0,984273461211 0,046244 50,16419 1,787102 1,665568 2,674756 0,116684 0,009272 56,46382 0,888430761212 1,042596 1,042596 1221 0,080858 2,902808 0,237325 3,220991 0,901215744222 0,00754 4,126743 0,768476 4,90276 0,84171837231 0,904037 0,012032 113,5379 1,833083 4,347852 7,096824 2,196896 1,637758 131,5664 0,862970444242 0,582715 32,22153 0,077412 0,003508 5,065119 37,95028 0,849045819243 3,490141 1,072941 89,96365 0,08367 2,164436 2,951599 0,035839 99,76227 0,901780243311 494,1706 3,42694 10,13449 2,322866 1,551352 0,218673 3,691336 3,560453 519,0767 0,952018447312 0,009243 2,430662 389,202 7,10356 4,980551 403,726 0,96402507313 0,005189 12,40046 213,4131 1,226244 0,035035 1,209428 0,091662 228,3812 0,934460362321 0,212267 2,648156 0,009543 156,0112 5,883363 2,16879 0,058661 0,08996 0,050213 167,1322 0,933460137322 5,252902 1,474046 0,602389 0,068054 0,381569 331,2581 0,204509 3,968367 3,968367 347,1783 0,954144011323 0,76044 1,127963 0,136454 0,136454 2,525776 2,853523 7,540611 0,334956358324 0,878657 0,007087 1,209428 2,382074 5,040758 3,788041 125,5835 138,8896 0,904196955331 0,017564 0,017564 0,01712 0,498521 0,080922 0,63169 0,789185493332 0,819075 0,017117 0,026647 1,467075 1,143999 0,14082 167,3776 1,316923 0,132819 172,4421 0,970630873333 0,293256 10,96952 14,93122 2,30995 3,236798 332,8037 364,5445 0,912930386334 0,214057 0,180619 0,394676 0,457639042335 0,058661 20,64111 20,69977 0,997166117411 0,67322 0,67322 1412 0,014485 0,025657 0,187225 101,3601 101,5874 0,997761863423 0,014576 0,014576 1511 1,873494 1,873494 1512 0,004621 0,004621 0,004621 0,003508 90,67848 90,69585 0,999808461523 0,368182 0,368182 1

Total 0,446948 43,52638 2,753625 0,704708 0,002969 0,32825 0,824084 0,329924 0,041708 0,109639 3,143551 50,25968 1,042596 2,902808 4,364069 122,7584 35,8847 101,7939 505,7255 422,6306 242,6552 172,3937 355,6931 2,525776 141,8634 1,926622 174,7001 341,9512 0,180619 20,77393 0,923437 104,9205 0,014576 1,965155 90,67848 0,368182 2953,108Prod_accuracy 0,969398 0,956575 0,994704 0,937683 1 0,719297 0,943884 0,963531 1 1 0,99559 0,9981 1 1 0,945618 0,924889 0,897918 0,883783 0,977152 0,920903 0,879491 0,904971 0,931303 1 0,885243 0,258754 0,958085 0,973249 1 0,993606 0,729037 0,966065 1 0,953356 1 1 0,938901868



Bio-geographical region ANA - Anatolian- confusion matrix CLC2018 - Blind and plausibility analysis Table 69: Confusion matrix CLC 2018 for Anatolian region – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 335 411 421 422 511 512 521 Total User_accuracy111 0,578694 0,257551 0,836245 0,69201463112 18,62013 0,145233 18,76536 0,992260585121 0,126343 3,000716 0,049686 0,014119 3,190865 0,940408484122 0,049991 0,158443 0,081786 0,076656 0,366877 0,431869081123 0,002018 0,002018 1124 1,035022 1,035022 1131 2,292299 2,292299 1132 0,079279 0,075795 0,155073 0,511233595133 0,076656 0,076656 1,853593 0,145233 0,145233 2,297371 0,806831944141 0,086887 0,086887 1142 0,045032 0,045032 1211 166,0687 13,80209 0,233367 180,1041 0,922070308212 0,454743 0,189116 180,1101 0,189116 0,145236 4,701601 185,7899 0,969428843213 1,199806 1,199806 1221 0,113616 0,227232 0,501213 0,842061 0,113616 0,113616 0,387597 0,026665 2,325616 0,09770836222 1,630094 17,26914 18,89923 0,913748162223 0,030039 0,030039 1231 4,558836 51,99657 5,061432 61,61684 0,843869502241 1,630094 1,630094 1242 0,009834 0,387597 6,44414 0,042681 3,292436 52,93752 3,161931 66,27614 0,798741767243 14,56616 4,866755 0,089487 132,8491 6,376669 158,7482 0,836854367311 2,086095 36,41362 2,086095 40,58581 0,897200775312 22,91689 22,91689 1313 1,439977 15,03952 16,4795 0,912620118321 0,387597 4,992967 236,2371 4,941475 0,095349 5,066408 251,7209 0,938488245323 1,804096 9,078195 5,470003 16,35229 0,555163397324 0,369152 0,021727 5,615049 5,470003 116,5564 128,0324 0,91036697331 0,290708 0,095349 0,762793 1,148849 0,663962262332 10,0022 48,61393 6,324244 64,94037 0,748593366333 0,084731 9,773741 60,7269 20,02146 257,4189 348,0257 0,739654767335 0,024884 0,024884 1411 0,286761 7,44747 7,734231 0,962923197421 1,964418 0,392884 3,928836 6,286137 0,625422 0,410196 0,410196 1511 0,051175 0,06357 0,0266 0,374906 1,849845 0,03315 2,399246 0,771010986512 45,48517 45,48517 1521 0,011604 0,011604 1

Total 0,578694 19,93285 3,641749 0,158443 0,002018 1,035022 2,37703 0,079279 1,853593 0,108614 0,045032 182,9552 204,9663 1,242487 0,227232 17,77035 0,030039 66,079 1,630094 54,01431 153,9218 1,917712 37,8536 22,91689 15,03952 328,771 4,941475 9,191811 144,7202 1,233048 48,61393 270,7739 0,024884 7,854473 3,928836 0,410196 1,849845 45,54498 0,011604 1658,247Prod_accuracy 1 0,934143 0,823977 1 1 1 0,964354 1 1 0,799964 1 0,907701 0,87873 0,965649 1 0,971795 1 0,786885 1 0,980065 0,863094 0,961959 1 1 0,718546 0,987639 0,805392 0,618624 1 0,950678 1 0,948182 1 1 1 0,998687 1 0,864928805



Table 70: Confusion matrix CLC 2018 for Anatolian region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 335 411 421 422 511 512 521 Total User_accuracy111 0,578694 0,257551 0,836245 0,69201463112 18,62013 0,145233 18,76536 0,992260585121 0,126343 3,000716 0,049686 0,014119 3,190865 0,940408484122 0,049991 0,158443 0,081786 0,076656 0,366877 0,431869081123 0,002018 0,002018 1124 1,035022 1,035022 1131 2,292299 2,292299 1132 0,079279 0,075795 0,155073 0,511233595133 0,076656 0,076656 1,853593 0,145233 0,145233 2,297371 0,806831944141 0,086887 0,086887 1142 0,045032 0,045032 1211 0,065062 159,6757 13,80209 6,561305 180,1041 0,886574178212 0,454743 0,189116 180,1386 0,116684 0,116684 4,701601 0,072433 185,7899 0,969582524213 1,199806 1,199806 1221 0,113616 0,227232 0,728445 0,728445 0,387597 0,113616 0,026665 2,325616 0,09770836222 17,26914 1,630094 18,89923 0,913748162223 0,030039 0,030039 1231 4,558836 51,92624 5,131765 61,61684 0,842728049241 1,630094 1,630094 1242 0,009834 3,282209 0,042681 0,971648 3,680033 55,1278 3,161931 66,27614 0,831789593243 14,5491 4,866755 3,251418 129,5875 0,116684 6,376669 158,7482 0,816308868311 2,086095 36,41362 2,086095 40,58581 0,897200775312 22,91689 22,91689 1313 1,439977 15,03952 16,4795 0,912620118321 0,387597 0,051492 239,487 4,941475 0,095349 1,691577 5,066408 251,7209 0,951398965323 1,804096 9,078195 5,470003 16,35229 0,555163397324 0,369152 0,021727 5,615049 5,470003 116,5564 128,0324 0,91036697331 0,290708 0,095349 0,762793 1,148849 0,663962262332 10,0022 48,61393 6,324244 64,94037 0,748593366333 0,084731 9,773741 55,8484 20,02146 262,2974 348,0257 0,753672417335 0,024884 0,024884 1411 0,286761 7,44747 7,734231 0,962923197421 1,571534 0,392884 4,321719 6,286137 0,6875422 0,410196 0,410196 1511 0,051175 0,06357 0,214053 0,187453 1,849845 0,03315 2,399246 0,771010986512 45,48517 45,48517 1521 0,011604 0,011604 1

Total 0,578694 19,93285 3,706811 0,158443 0,002018 1,035022 2,37703 0,079279 1,853593 0,108614 0,045032 174,5275 201,833 1,242487 0,227232 17,99758 1,001688 67,7103 1,630094 60,85444 151,0479 1,92078 37,8536 22,91689 15,03952 327,2127 4,941475 9,191811 144,5925 1,045595 50,30551 275,2596 0,024884 7,854473 4,321719 0,410196 1,849845 45,54498 0,011604 1658,247Prod_accuracy 1 0,934143 0,809514 1 1 1 0,964354 1 1 0,799964 1 0,914903 0,892514 0,965649 1 0,959525 0,029989 0,766888 1 0,905896 0,857924 0,961959 1 1 0,7319 0,987639 0,806103 0,72953 0,966374 0,952909 1 0,948182 1 1 1 0,998687 1 0,865541034



Bio-geographical region ARC - Arctic - confusion matrix CLC2018 - Blind and plausibility analysis Table 71: Confusion matrix CLC 2018 for Arctic region – BLIND ANALYSIS-In column the validation and line the production


CLC Classes 112 121 122 123 124 131 133 141 142 211 231 242 243 311 312 313 321 322 324 331 332 333 335 411 412 421 423 511 512 521 522 523 Total User_accuracy112 0,434877 0,434877 1121 0,246524 0,01837 0,01837 0,283265 0,870295642122 0,012019 0,012019 1123 0,029903 0,029903 1124 0,118513 0,118513 1131 0,049736 0,049736 1133 0,025971 0,02608 0,052051 0,501044546141 0,070456 0,070456 1142 0,655897 0,655897 1211 0,098413 0,098413 1231 10,74798 0,002925 10,7509 0,999727923242 0,188863 0,010938 0,199801 0,945257773311 1,010877 0,067392 0,067392 1,14566 0,882352941312 0,116659 0,116659 1313 0,169149 0,021144 0,190292 0,888888889321 13,51783 13,51783 1322 149,5998 0,034721 149,6345 0,999767962324 0,01304 0,206876 0,1313 1,135995 1,487211 0,763842388331 14,96519 0,075577 0,095987 15,13676 0,988665713332 107,4618 0,045036 107,5068 0,999581089333 1,894309 1,969886 54,37007 58,23427 0,933643963335 44,76702 44,76702 1411 1,838871 1,838871 1412 28,49133 28,49133 1421 0,109774 0,109774 1423 0,363332 0,363332 1511 0,0266 3,348642 3,375241 0,99211918512 6,637691 6,637691 1521 0,622728 0,622728 1522 0,119445 0,119445 1523 0,132759 0,132759 1

Total 0,460849 0,246524 0,012019 0,029903 0,118513 0,049736 0,02608 0,070456 0,655897 0,098413 10,76102 0,191788 0,010938 1,010877 0,116659 0,169149 13,72471 149,838 1,135995 16,8861 109,5073 54,38844 44,76702 1,838871 28,55872 0,109774 0,363332 3,47935 6,682727 0,622728 0,119445 0,132759 446,184Prod_accuracy 0,943645 1 1 1 1 1 1 1 1 1 0,998788 0,984748 1 1 1 0,984927 0,99841 1 0,886243 0,981321 0,999662 1 1 0,99764 1 1 0,962433 0,993261 1 1 1 0,989408331



Table 72: Confusion matrix CLC 2018 for Arctic region – PLAUSIBILITY ANALYSIS-In column the validation and line the production


CLC Classes 112 121 122 123 124 131 133 141 142 211 231 242 311 312 313 321 322 324 331 332 333 335 411 412 421 423 511 512 521 522 523 Total User_accuracy112 0,434877 0,434877 1121 0,264894 0,01837 0,283265 0,935147821122 0,012019 0,012019 1123 0,029903 0,029903 1124 0,118513 0,118513 1131 0,049736 0,049736 1133 0,025971 0,02608 0,052051 0,501044546141 0,070456 0,070456 1142 0,655897 0,655897 1211 0,098413 0,098413 1231 10,74798 0,002925 10,7509 0,999727923242 0,199801 0,199801 1311 1,010877 0,067392 0,067392 1,14566 0,882352941312 0,116659 0,116659 1313 0,169149 0,021144 0,190292 0,888888889321 13,51783 13,51783 1322 149,5998 0,034721 149,6345 0,999767962324 0,01304 0,206876 0,1313 1,135995 1,487211 0,763842388331 14,9332 0,075577 0,127983 15,13676 0,98655193332 107,4748 0,031996 107,5068 0,999702383333 1,894309 1,969886 54,37007 58,23427 0,933643963335 44,76702 44,76702 1411 1,838871 1,838871 1412 28,49133 28,49133 1421 0,109774 0,109774 1423 0,363332 0,363332 1511 0,0266 3,348642 3,375241 0,99211918512 6,637691 6,637691 1521 0,622728 0,622728 1522 0,119445 0,119445 1523 0,132759 0,132759 1

Total 0,460849 0,264894 0,012019 0,029903 0,118513 0,049736 0,02608 0,070456 0,655897 0,098413 10,76102 0,202726 1,010877 0,116659 0,169149 13,72471 149,8196 1,135995 16,8541 109,5203 54,38844 44,76702 1,838871 28,55872 0,109774 0,363332 3,511346 6,669687 0,622728 0,119445 0,132759 446,184Prod_accuracy 0,943645 1 1 1 1 1 1 1 1 1 0,998788 0,985571 1 1 1 0,984927 0,998533 1 0,886027 0,981323 0,999662 1 1 0,99764 1 1 0,953663 0,995203 1 1 1 0,989431532



Bio-geographical region ATL - Atlantic - confusion matrix CLC2018 - Blind and plausibility analysis Table 73: Confusion matrix CLC 2018 for Atlantic region – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 221 222 231 242 243 311 312 313 321 322 324 331 332 333 334 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 3,180092 0,078513 0,074695 3,333299 0,954037154112 0,641663 193,6754 0,564279 2,256526 2,086548 0,072887 2,268052 0,005989 1,99625 0,228801 203,7964 0,950337706121 0,103345 31,92115 0,155306 0,323006 0,076656 0,145233 0,059242 0,081786 0,169561 0,021559 0,145233 0,562875 0,117457 0,243022 34,12543 0,935406481122 0,256449 4,008522 0,145233 0,145233 4,555437 0,879942304123 1,915313 1,915313 1124 4,038951 4,038951 1131 5,097328 0,007689 0,025742 0,036353 5,167112 0,986494682132 0,021706 0,86922 0,890926 0,975637051133 0,145233 0,010044 0,025742 2,109705 0,145233 0,102398 0,018975 2,55733 0,824964129141 0,14599 5,309671 0,209638 5,6653 0,937226837142 26,30145 0,343534 0,248707 0,036353 26,93004 0,976658236211 13,0474 0,063039 0,003007 3,565778 968,1922 0,072433 6,428277 4,779048 1,378453 0,072433 0,025587 0,012794 0,010352 0,012794 0,016246 997,6798 0,970443789212 1,543349 0,188733 1,732081 0,89103708221 21,54757 21,54757 1222 0,053307 0,122249 2,71278 0,37487 0,41053 0,026654 3,700389 0,733106611231 0,013954 0,146122 0,341255 0,029569 0,038733 3,086813 10,38766 621,4094 3,086813 19,9215 5,49686 0,064362 0,059138 0,021706 10,6442 0,029569 0,315513 0,470348 675,5635 0,9198386241 0,69357 2,080711 0,69357 3,467851242 1,020937 0,029569 9,215096 10,17997 208,0201 0,07142 1,818258 0,194081 0,194081 230,7435 0,90152093243 1,575054 13,4931 3,955312 79,52181 1,293925 0,007361 0,517228 0,60482 1,572047 0,020732 0,010495 102,5719 0,775278801311 0,006382 314,0091 0,15775 8,005816 0,004777 0,3481 322,5319 0,973575251312 0,822427 0,337065 252,8736 3,703297 1,471516 4,24922 263,4571 0,959828281313 0,437439 0,031701 0,228048 0,293931 0,587862 0,488012 1,406277 65,88682 3,710593 73,07069 0,901686123321 0,024657 0,031393 0,207224 10,73349 0,051492 2,685922 62,98999 0,103463 0,155732 3,113921 3,333086 0,100618 0,051492 83,58247 0,753626752322 0,018275 0,010044 0,228801 0,83663 0,653451 1,209428 5,359681 11,95445 167,0688 4,335367 0,184845 0,060261 191,9201 0,870512577324 0,031393 0,031393 0,134376 0,051492 0,188043 2,677193 5,542614 2,539811 0,010352 1,119819 110,8434 0,027542 123,1974 0,899721732331 0,027321 2,06812 0,018994 2,114435 0,978095854332 0,074638 6,467139 0,431636 6,973413 0,927399341333 0,184845 8,195078 0,65658 0,28923 85,17257 94,4983 0,901313234334 0,174996 0,132956 0,307952 0,568257806411 0,143608 0,138192 0,021706 15,94028 0,165034 0,031779 16,4406 0,969568091412 2,79926 0,653451 2,79926 2,79926 151,6251 0,708687 161,3851 0,939524026421 0,016119 4,372941 4,38906 0,996327446422 0,053398 0,213591 0,266988 0,8423 0,004859 0,004859 0,060261 0,060261 0,004859 0,074367 1,726197 0,014106 0,0445 1,994268 0,865579228511 0,018477 6,374726 0,443016 6,836219 0,932492983512 0,018477 0,673567 39,26444 0,673567 40,63005 0,966389168521 0,085002 0,012867 0,097869 0,868524832522 0,120522 0,018477 2,163263 0,018477 2,320738 0,932144381523 0,122727 2,307532 2,430259 0,949500352

Total 3,840231 211,4317 32,94483 6,647739 2,075478 4,361957 5,270078 0,86922 4,486719 9,193352 29,67564 1004,693 1,615781 21,54757 2,71278 654,1994 219,9759 110,8464 325,424 268,1131 81,07827 78,60425 178,3942 135,6638 2,284113 6,756368 91,70709 0,174996 20,92838 152,2647 4,668448 0,213591 1,823928 7,582155 40,60995 0,085002 3,337213 2,326008 3728,427Prod_accuracy 0,828099 0,916018 0,968927 0,60299 0,92283 0,925949 0,967221 1 0,470211 0,577555 0,886297 0,96367 0,955172 1 1 0,949878 0,94565 0,717405 0,964923 0,94316 0,812632 0,801356 0,936515 0,817045 0,905437 0,957192 0,928746 1 0,761659 0,995799 0,936701 1 0,946417 0,840754 0,966868 1 0,648224 0,992056 0,931492451



Table 74: Confusion matrix CLC 2018 for Atlantic region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 221 222 231 242 243 311 312 313 321 322 324 331 332 333 334 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 3,205658 0,052946 0,074695 3,333299 0,961707281112 194,3723 0,564279 2,256526 0,005415 2,086548 0,192227 0,011526 2,311276 1,99625 203,7964 0,953757527121 0,021559 32,11238 0,07352 0,323006 0,145233 0,059242 0,019846 0,103345 0,198714 0,145233 0,562875 0,117457 0,243022 34,12543 0,941010213122 0,217717 0,038733 4,153755 0,145233 4,555437 0,911823534123 1,915313 1,915313 1124 4,038951 4,038951 1131 5,097328 0,007689 0,025742 0,036353 5,167112 0,986494682132 0,890926 0,890926 1133 0,145233 0,010044 0,025742 2,109705 0,145233 0,102398 0,018975 2,55733 0,824964129141 0,14599 5,309671 0,209638 5,6653 0,937226837142 26,30145 0,343534 0,248707 0,036353 26,93004 0,976658236211 13,0474 0,100387 0,003007 3,565778 0,198635 967,8821 0,072433 6,502401 4,779048 1,378453 0,072433 0,025587 0,012794 0,010352 0,012794 0,016246 997,6798 0,970132961212 1,543349 0,188733 1,732081 0,89103708221 21,54757 21,54757 1222 0,053307 0,122249 2,71278 0,37487 0,41053 0,026654 3,700389 0,733106611231 0,013954 0,146122 0,341255 0,029569 0,021706 0,038733 3,086813 10,30617 626,6417 3,218966 19,9215 0,052397 0,064362 0,059138 0,021706 10,78393 0,029569 0,315513 0,470348 675,5635 0,927583798241 0,69357 0,69357 0,69357 0,69357 0,69357 3,467851242 1,020937 0,029569 3,276218 10,17997 213,959 0,07142 1,818258 0,194081 0,194081 230,7435 0,927258936243 1,575054 13,4931 3,955312 79,51444 1,293925 0,007361 0,007361 0,517228 0,60482 1,572047 0,020732 0,010495 102,5719 0,775207036311 0,006382 313,8999 0,15775 8,005816 0,004777 0,457323 322,5319 0,973236609312 0,822427 0,337065 257,3748 0,400937 1,471516 3,050349 263,4571 0,976913533313 0,437439 0,012233 0,031701 0,228048 0,293931 0,781943 0,293931 0,646092 66,62715 3,718216 73,07069 0,911817804321 0,024657 0,031393 10,75422 0,051492 2,628995 63,28603 0,175817 3,113921 3,220237 0,244226 0,051492 83,58247 0,757168613322 0,018275 0,010044 0,007689 0,228801 0,83663 0,653451 1,209428 5,359681 9,870744 169,2018 4,27844 0,184845 0,060261 191,9201 0,88162631324 0,031393 0,031393 0,134376 0,051492 0,136551 2,728684 3,48221 1,436087 0,010352 1,119819 114,0076 0,027542 123,1974 0,925405123331 0,027321 2,087114 2,114435 0,987078715332 0,074638 0,100618 6,441159 0,356998 6,973413 0,923673811333 0,184845 8,195078 0,65658 0,308339 85,15346 94,4983 0,901111017334 0,174996 0,132956 0,307952 0,568257806411 0,143608 0,138192 0,021706 15,94028 0,165034 0,031779 16,4406 0,969568091412 0,653451 0,008548 160,0144 0,708687 161,3851 0,991506733421 4,38906 4,38906 1422 0,266988 0,266988 1423 0,004859 0,004859 0,060261 0,060261 0,074367 1,731055 0,014106 0,0445 1,994268 0,868015511511 0,018477 6,374726 0,443016 6,836219 0,932492983512 0,018477 39,93801 0,673567 40,63005 0,982967207521 0,097869 0,097869 1522 0,018477 0,120522 0,018477 2,163263 2,320738 0,932144381523 0,122727 2,307532 2,430259 0,949500352

Total 3,224135 211,9826 33,20267 6,792972 1,993691 4,361957 5,193421 0,925735 4,341486 9,211828 30,01347 995,92 1,615781 21,54757 2,71278 662,5547 224,6382 108,819 319,6531 269,8011 76,49015 74,01732 180,5271 138,6617 2,247993 6,749498 88,80922 0,174996 20,76214 160,654 4,828175 0,266988 1,809793 6,908589 41,28351 0,097869 3,324345 2,307532 3728,427Prod_accuracy 0,994269 0,916926 0,967163 0,611478 0,960687 0,925949 0,981497 0,962398 0,485941 0,576397 0,876322 0,971847 0,955172 1 1 0,945796 0,95246 0,730703 0,982002 0,953943 0,871055 0,855016 0,937265 0,822199 0,928434 0,954317 0,958836 1 0,767757 0,996019 0,909052 1 0,956494 0,922725 0,967408 1 0,650734 1 0,940017189



Bio-geographical region BLS – Black sea - confusion matrix CLC2018 - Blind and plausibility analysis Table 75: Confusion matrix CLC 2018 for Black sea region – BLIND ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 242 243 311 312 313 321 322 324 331 332 333 411 422 511 512 521 523 Total User_accuracy111 0,257551 0,257551 1112 2,590362 2,590362 1121 1,576848 1,576848 1122 0,012134 0,955949 0,968083 0,987465663123 0,112661 0,112661 1124 0,064693 0,064693 1131 0,581703 0,077412 0,659115 0,882551829132 0,015425 0,015425 1133 0,014758 0,318875 0,333634 0,95576563141 0,02972 0,02972 1142 0,007629 0,012072 0,267488 0,027448 0,314637 0,850149776211 0,063381 263,6126 3,245727 6,747776 20,24333 6,747776 6,747776 6,747776 314,1561 0,839113303212 4,558836 4,558836 9,117672 0,5213 0,87658 0,87658 1221 0,662866 0,294313 0,957179 0,307479631222 5,297885 3,563985 1,690658 1,630094 12,18262 0,43487235231 4,780192 0,339233 5,119425 0,933736039242 3,161931 12,76457 4,849701 3,161931 23,93813 0,533231649243 55,12049 0,072433 55,19292 0,998687647244 0,072433 0,072433311 52,03793 5,387756 57,42568 0,906178641312 24,60553 24,60553 1313 4,533182 0,466368 27,50943 32,50898 0,846210171321 24,08976 24,08976 1324 0,035525 2,693878 0,005156 4,941475 29,88961 0,292193 37,85783 0,789522394331 0,495304 0,009024 0,504328 0,98210737332 5,001098 5,001098 1333 4,878502 9,773741 14,65224 0,667047399411 4,997429 4,997429 1421 0,281568 0,281568422 0,033373 0,033373 1511 0,24684 1,23729 1,484129 0,833680399512 0,052021 0,03315 1,828851 1,914021 0,955501685521 2,925155 2,925155 1523 0,337053 0,337053 1

Total 0,257551 2,59799 1,652364 0,970707 0,112661 0,064693 0,581703 0,015425 0,318875 0,041792 0,267488 264,3275 4,558836 0,87658 0,294313 8,459816 12,97685 27,66832 81,9397 61,14192 31,81968 32,90234 29,03123 0,339233 39,97661 0,495304 5,001098 16,52152 5,278997 0,033373 1,23729 2,121044 2,925155 0,346077 637,154Prod_accuracy 1 0,997064 0,954298 0,984797 1 1 1 1 1 0,711142 1 0,997295 1 1 1 0,626241 0,368363 0,461342 0,672696 0,851101 0,77328 0,836093 0,829788 0,747677 1 1 0,591576 0,946663 1 1 0,862241 1 0,973926 0,8456955



Table 76: Confusion matrix CLC 2018 for Black sea region – PLAUSIBILITY ANALYSIS -In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 242 243 311 312 313 321 324 331 332 333 411 422 511 512 521 523 Total User_accuracy111 0,257551 0,257551 1112 2,590362 2,590362 1121 1,576848 1,576848 1122 0,012134 0,955949 0,968083 0,987465663123 0,112661 0,112661 1124 0,064693 0,064693 1131 0,514871 0,066832 0,077412 0,659115 0,781155141132 0,015425 0,015425 1133 0,014758 0,318875 0,333634 0,95576563141 0,02972 0,02972 1142 0,007629 0,012072 0,267488 0,027448 0,314637 0,850149776211 0,063381 263,6126 3,245727 6,747776 20,24333 6,747776 6,747776 6,747776 314,1561 0,839113303212 4,558836 4,558836 9,117672 0,5213 0,87658 0,87658 1221 0,662866 0,294313 0,957179 0,307479631222 5,297885 4,912303 1,972434 12,18262 0,43487235231 5,119425 5,119425 1242 3,161931 12,76457 4,849701 3,161931 23,93813 0,533231649243 6,747776 48,28798 0,084731 0,072433 55,19292 0,874894471244 0,072433 0,072433311 52,03793 5,387756 57,42568 0,906178641312 24,60553 24,60553 1313 1,439977 0,466368 30,60263 32,50898 0,941359438321 24,08976 24,08976 1324 0,035525 2,693878 0,005156 4,941475 29,88961 0,292193 37,85783 0,789522394331 0,495304 0,009024 0,504328 0,98210737332 5,001098 5,001098 1333 4,878502 9,773741 14,65224 0,667047399411 4,997429 4,997429 1421 0,281568 0,281568422 0,033373 0,033373 1511 0,24684 1,20414 0,03315 1,484129 0,811344367512 0,052021 1,862 1,914021 0,972821012521 2,925155 2,925155 1523 0,337053 0,337053 1

Total 0,257551 2,59799 1,652364 0,970707 0,112661 0,064693 0,514871 0,015425 0,318875 0,041792 0,267488 271,0752 4,558836 0,87658 0,294313 8,526648 13,31609 28,98348 75,38897 56,50335 31,81968 35,99554 29,03123 39,97661 0,495304 5,001098 16,52152 5,278997 0,033373 1,20414 2,187343 2,925155 0,346077 637,154Prod_accuracy 1 0,997064 0,954298 0,984797 1 1 1 1 1 0,711142 1 0,97247 1 1 1 0,621333 0,384454 0,440408 0,640518 0,920971 0,77328 0,850178 0,829788 0,747677 1 1 0,591576 0,946663 1 1 0,851261 1 0,973926 0,840254272



Bio-geographical region BOR - Boreal - confusion matrix CLC2018 - Blind and plausibility analysis Table 77: Confusion matrix CLC 2018 for Boreal region – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 334 411 412 421 423 511 512 521 522 523 Total User_accuracy111 0,256558 0,256558 1112 43,3178 0,840294 0,003803 0,002146 0,012799 0,002473 0,002473 44,18179 0,980444663121 0,276292 8,663147 0,153313 9,092752 0,952753031122 0,953797 0,004695 0,004695 0,963187 0,990250474123 0,347194 0,347194 1124 1,279558 1,279558 1131 0,062603 0,001689 2,366286 0,153313 0,03547 2,860336 5,479697 0,43182794132 1,037099 0,076656 0,018667 1,132422 0,915823636133 0,276522 0,018196 0,0055 0,300218 0,921069741141 0,073775 0,004362 2,176656 0,013912 2,268705 0,959426764142 0,004282 4,109416 0,035208 4,148906 0,990481713211 2,52619 0,002473 0,029569 0,072433 332,3499 8,799307 5,06225 2,659784 2,467198 0,217298 0,099922 354,2863 0,938082776222 0,622865 0,031729 0,030254 0,684847 0,909494849231 0,560061 0,029569 0,779489 71,46122 1,133753 1,685558 0,646125 0,676745 0,052328 77,02485 0,927768417242 0,25202 0,00448 62,95188 1,678506 0,257394 0,50404 65,64832 0,958925984243 0,008039 0,00964 0,004935 3,095913 0,015937 101,6644 1,153279 6,215352 0,012049 0,002423 0,002423 112,1844 0,90622589311 0,58327 111,0355 0,590347 10,36635 0,662845 123,2383 0,900981969312 0,158815 0,028335 0,004362 11,93686 1,153279 1879,228 4,410111 74,68899 1971,609 0,953144477313 1,190651 0,057272 0,004265 0,953548 9,012396 490,2252 2,860336 10,49918 0,004265 514,8071 0,952250245321 0,00784 5,329638 5,337478 0,998531175322 9,471974 0,027786 9,49976 0,9970751324 0,0055 0,002146 0,063541 0,466368 13,75776 4,102127 458,1587 476,5562 0,961395025331 0,036405 0,337937 0,374341 0,902749976332 0,004724 0,316534 0,655087 0,392556 2,070477 0,316534 3,755912 0,55125805333 0,042156 0,789355 7,770994 0,042156 8,64466 0,898935729334 0,023431 0,023431 0,046862 0,5411 9,055299 9,055299 1412 0,016119 0,064476 190,3842 0,014214 190,479 0,999502261421 0,240084 0,240084 1423 0,004859 0,004859 1511 0,128402 0,24964 0,128402 8,485341 8,991785 0,943677009512 0,004621 3,214229 272,9544 276,1732 0,988344815521 0,08496 0,08496 1522 0,053493 0,053493 1523 0,074301 0,074301 2,682188 2,830789 0,947505433

Total 0,256558 48,75749 9,607212 1,020775 0,347194 1,531578 2,448501 1,037099 0,659804 2,18046 4,131892 348,2557 0,622865 80,31268 62,98288 111,287 112,068 1912,239 521,5141 5,371794 12,9874 546,7246 0,337937 2,070477 8,087528 0,023431 9,089773 190,492 0,306625 0,004859 8,487814 272,9544 0,08496 0,053493 2,724343 4281,062Prod_accuracy 1 0,888434 0,901734 0,934385 1 0,835451 0,966422 1 0,419097 0,998256 0,99456 0,954327 1 0,889788 0,999508 0,913534 0,990786 0,982737 0,940004 0,992152 0,72932 0,838006 1 1 0,960861 1 0,996207 0,999434 0,782989 1 0,999709 1 1 1 0,984526 0,953368677



Table 78: Confusion matrix CLC 2018 for Boreal region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 222 231 242 243 311 312 313 321 322 324 331 332 333 334 411 412 421 423 511 512 521 522 523 Total User_accuracy111 0,256558 0,256558 1112 43,33935 0,840294 0,002146 44,18179 0,980932399121 0,276292 8,64448 0,018667 0,153313 9,092752 0,950700108122 0,963187 0,963187 1123 0,347194 0,347194 1124 1,279558 1,279558 1131 0,062603 0,001689 2,476723 0,076656 0,001689 2,860336 5,479697 0,451981849132 0,025953 1,007931 0,076656 0,021881 1,132422 0,890067043133 0,018196 0,276522 0,0055 0,300218 0,921069741141 0,044265 0,019117 2,191411 0,013912 2,268705 0,965930465142 0,004282 0,035208 4,109416 4,148906 0,990481713211 2,52619 0,002473 0,029569 0,072433 329,2105 12,02492 5,06225 2,598622 2,467198 0,217298 0,074856 354,2863 0,929221616222 0,66972 0,015127 0,684847 0,977912095231 0,560061 0,794174 71,51683 1,133753 1,685558 0,646125 0,636018 0,052328 77,02485 0,928490404242 0,25202 0,00448 63,2039 1,678506 0,257394 0,25202 65,64832 0,962764924243 0,008039 0,00964 0,002383 0,004935 3,095913 0,01836 101,6387 1,153279 6,220852 0,016985 0,002423 0,012924 112,1844 0,905996425311 0,58327 111,0355 0,590347 10,36635 0,662845 123,2383 0,900981969312 0,158815 0,028335 0,008565 0,055125 0,004362 11,93928 1,153279 1884,542 3,949378 69,76984 1971,609 0,955839622313 1,190651 0,061554 0,002383 0,004265 0,007077 0,473445 9,010706 485,3846 2,860336 15,80015 0,004265 0,007631 514,8071 0,942847592321 0,00784 5,329638 5,337478 0,998531175322 0,027786 9,471974 9,49976 0,9970751324 0,0055 0,004282 0,002146 0,012049 0,051492 0,466368 0,013631 13,52156 4,004035 458,4751 476,5562 0,962058894331 0,036405 0,337937 0,374341 0,902749976332 0,009448 0,316534 0,013631 0,641456 0,387831 2,070477 0,316534 3,755912 0,55125805333 0,042156 0,831511 7,770994 8,64466 0,898935729334 0,023431 0,023431 0,046862 0,5411 9,055299 9,055299 1412 0,048357 190,4164 0,014214 190,479 0,999671509421 0,240084 0,240084 1423 0,004859 0,004859 1511 0,24964 0,128402 8,613743 8,991785 0,957956943512 0,004621 3,214229 272,9544 276,1732 0,988344815521 0,08496 0,08496 1522 0,053493 0,053493 1523 0,074301 0,074301 2,682188 2,830789 0,947505433

Total 0,256558 48,76773 9,607582 1,005362 0,347194 1,531578 2,593456 1,026598 0,642555 2,226619 4,153773 345,0658 0,66972 83,61609 63,2039 111,1399 111,6063 1917,193 516,1152 5,39958 12,97377 547,1214 0,337937 2,070477 8,087528 0,023431 9,059564 190,5068 0,319549 0,004859 8,613743 272,9544 0,08496 0,053493 2,682188 4281,062Prod_accuracy 1 0,888689 0,899756 0,95805 1 0,835451 0,95499 0,981817 0,430347 0,984188 0,989321 0,954051 1 0,8553 1 0,914511 0,994885 0,982969 0,940458 0,987047 0,730087 0,837977 1 1 0,960861 1 0,999529 0,999525 0,751321 1 1 1 1 1 1 0,952959406



Bio-geographical region CON - Continental - confusion matrix CLC2018 - Blind and plausibility analysis Table 79: Confusion matrix CLC 2018 for Continental region – BLIND ANALYSIIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 241 242 243 311 312 313 321 322 323 324 331 332 333 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 4,427662 0,053258 4,48092 0,988114457112 0,864702 278,0838 0,081979 0,007629 1,327432 0,116397 0,093997 0,813706 0,006032 2,301384 283,6971 0,980213899121 1,50076 51,10282 0,008939 0,100751 5,935223 0,081786 0,005614 0,244711 58,9806 0,86643432122 0,05701 5,303731 0,030534 0,012134 0,006098 5,409508 0,980446146123 0,658564 0,658564 1124 4,058018 0,015278 0,015278 4,088575 0,992526413131 0,030534 0,052342 11,65595 0,171255 0,107596 0,178683 0,049648 0,016347 0,906171 0,100611 0,076656 0,062472 0,030534 0,395709 13,83451 0,842527193132 0,063371 1,569438 0,019717 0,025105 1,677631 0,935508517133 0,532436 0,292663 0,118991 0,145233 0,019952 1,546483 0,081786 0,033249 2,770793 0,558137411141 0,012072 5,605151 0,084831 0,037093 0,035989 0,013057 5,788195 0,968376477142 0,012072 0,048743 0,282486 15,4623 0,038148 0,027448 0,343534 16,21473 0,953595798211 3,050404 0,027404 0,013678 0,035026 0,003986 0,093476 2018,113 3,220691 45,30276 13,21356 1,656728 2,95474 0,149332 5,78999 0,066832 2093,691 0,963901747212 0,012051 0,116684 0,128734 0,906390935213 0,622264 0,076016 13,70071 14,39899 0,951504903221 3,140033 0,233367 22,29142 0,543625 0,397801 1,214884 0,007629 27,82876 0,801020976222 0,060174 0,147584 22,83512 0,37487 1,490107 0,367896 1,536953 0,035907 0,116684 26,96529 0,846833662231 4,217862 0,028961 0,079232 1,399873 0,904037 599,663 44,48127 1,571548 11,15228 0,264731 9,299572 0,088171 4,450952 0,043277 677,6448 0,884922346241 0,024036 0,024036 0,859858 0,90793 0,94705299242 1,987057 0,009948 0,00628 9,034433 1,844291 7,146865 286,8034 8,768106 6,642148 322,2425 0,89002343243 0,072887 0,046454 0,326662 0,021324 8,895269 5,187471 289,8454 3,120932 3,819496 6,739607 0,029148 318,1046 0,911163671311 0,870511 0,082343 7,327019 0,535914 785,0252 6,684949 37,78957 1,703798 840,0193 0,934532341312 0,040656 0,084338 0,11453 5,00413 566,4311 4,740478 1,42065 0,459909 578,2958 0,979483354313 0,437439 2,933972 0,204584 2,45681 0,06858 4,612883 7,478514 268,3721 0,006595 286,5715 0,936492714321 2,787258 2,935456 2,103541 32,44002 1,311792 9,730065 9,987669 5,330899 0,048163 66,67487 0,486540522322 1,673261 8,295234 9,968495 0,832145086323 0,122227 0,733363 0,85559 0,857142857324 0,042566 0,98164 0,009359 1,923101 0,011896 4,409897 11,56506 3,076627 2,876077 1,026567 148,4435 0,025829 0,007414 174,3996 0,851169175331 0,009024 0,036405 0,020848 0,046156 1,452837 0,028084 0,019367 1,61272 0,900860909332 0,017117 0,026647 0,017117 0,053293 0,114173 0,466774363333 0,086786 0,042156 4,590785 0,026746 0,173573 1,628058 6,548104 0,248630411411 0,008486 0,116468 0,697515 0,111924 0,070522 0,530638 9,859849 11,3954 0,865247982412 0,025657 0,012794 0,182598 0,078471 0,036199 0,175043 1,714284 2,225045 0,770449149421 0,011099 0,978938 0,044532 1,03457 0,94622744422 0,077895 0,04168 0,119574 0,348567382423 0,028213 0,028213 1511 0,264063 0,264063 0,012032 0,646208 0,317182 17,73972 19,24327 0,921866303512 0,016725 0,0266 0,03315 0,142172 0,459499 0,0266 48,5183 49,22305 0,985682604521 0,091989 1,040586 1,132574 0,918778896522 0,026746 0,026746 1523 0,055953 0,821321 0,877274 0,93621975

Total 5,304436 289,978 54,78869 5,538481 0,658564 4,098675 11,9444 1,764631 1,546483 5,887637 15,80993 2036,588 0,450103 13,70071 23,21678 24,68877 632,9558 0,859858 393,7371 323,8662 827,8807 587,832 343,2112 38,26088 8,48004 2,045155 167,5734 11,46634 0,081377 1,628058 21,47296 1,721698 1,148822 0,04168 0,084166 17,75909 49,87573 1,085118 0,026746 0,821321 5929,88Prod_accuracy 0,834709 0,958982 0,932726 0,957615 1 0,990081 0,975851 0,889386 1 0,952021 0,978012 0,990928 0,259238 1 0,960143 0,924919 0,947401 1 0,728413 0,894954 0,948235 0,963594 0,781945 0,847864 0,978207 0,358586 0,885842 0,126705 0,654894 1 0,459175 0,995694 0,852124 1 0,335205 0,998909 0,972784 0,958961 1 1 0,932117808



Table 80: Confusion matrix CLC 2018 for Continental region – PLAUSIBILITY ANALYSIIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 241 242 243 311 312 313 321 322 323 324 331 332 333 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 4,427662 0,053258 4,48092 0,988114457112 0,864702 280,2778 0,081979 0,007629 0,035989 0,343534 1,319396 0,203989 0,006405 0,010009 0,006032 0,532022 0,007629 283,6971 0,987947299121 0,505018 52,1277 0,008939 0,063371 5,78999 0,091492 0,145233 0,081786 0,161459 0,005614 58,9806 0,883810911122 0,05701 5,303731 0,012134 0,030534 0,006098 5,409508 0,980446146123 0,658564 0,658564 1124 4,058018 0,030556 4,088575 0,992526413131 0,076778 0,006098 11,73515 0,171255 0,107596 0,161958 0,049648 0,016347 0,906171 0,038139 0,076656 0,062472 0,13813 0,288114 13,83451 0,848251792132 0,063371 1,569438 0,019717 0,025105 1,677631 0,935508517133 0,310546 0,292663 0,118991 0,145233 0,019952 1,62314 0,227019 0,033249 2,770793 0,585803298141 0,012072 5,605151 0,084831 0,037093 0,035989 0,013057 5,788195 0,968376477142 0,012072 0,056723 0,151826 15,58498 0,038148 0,027448 0,343534 16,21473 0,961161754211 3,060463 0,045499 0,013678 0,035026 0,003986 0,093476 2032,611 0,020335 0,011702 0,004491 3,336606 30,5328 13,21356 0,836009 2,98284 0,855082 0,163359 5,78999 0,08166 2093,691 0,970826376212 0,128734 0,128734 1213 0,622264 0,026083 13,75064 14,39899 0,954972748221 0,007629 1,214884 2,077658 22,29142 0,624483 1,612686 27,82876 0,801020976222 0,060174 0,123456 22,85924 0,37487 0,343646 1,465978 0,048378 1,536953 0,035907 0,116684 26,96529 0,847728459231 4,201431 0,028961 0,020094 10,33113 0,904037 0,319517 596,7504 38,90434 1,571971 10,39122 0,257317 9,299572 0,088171 4,533295 0,043277 677,6448 0,880624275241 0,024036 0,024036 0,859858 0,90793 0,94705299242 1,987057 0,009948 0,00628 4,816909 1,916105 7,146865 290,525 9,732328 6,067413 0,034655 322,2425 0,901572396243 0,072887 0,063648 0,046454 0,198949 0,033025 8,895269 5,818197 290,328 1,686188 0,025587 6,776298 4,160091 318,1046 0,912680954311 0,102034 5,444464 7,327019 0,502356 781,5435 5,38646 31,36471 8,348742 840,0193 0,930387569312 0,040656 0,084338 0,11453 0,017997 5,00413 564,9783 6,011895 1,584068 0,459909 578,2958 0,976971091313 0,437439 2,933972 0,204584 2,45681 0,465086 2,701173 277,242 0,1304 286,5715 0,967444552321 1,714316 2,935456 2,103541 33,19004 1,311792 10,05299 9,987669 5,330899 0,048163 66,67487 0,497789348322 1,673261 8,295234 9,968495 0,832145086323 0,122227 0,733363 0,85559 0,857142857324 0,012032 0,98164 0,009359 1,923101 0,011896 4,280761 9,894554 2,184868 4,746905 0,878657 149,4425 0,025829 0,007414 174,3996 0,85689748331 0,045428 0,020848 0,046156 1,452837 0,028084 0,019367 1,61272 0,900860909332 0,017117 0,026647 0,017117 0,053293 0,114173 0,466774363333 0,086786 0,042156 4,219169 0,026746 0,173573 1,999674 6,548104 0,305382119411 0,008486 0,040508 0,697515 0,111924 0,070522 0,530638 9,935809 11,3954 0,871913861412 0,025657 0,012794 0,182598 0,036199 0,157752 1,810046 2,225045 0,813487389421 0,011099 0,978938 0,044532 1,03457 0,94622744422 0,077895 0,04168 0,119574 0,348567382423 0,028213 0,028213 1511 0,264063 0,264063 0,012032 0,646208 0,317182 17,73972 19,24327 0,921866303512 0,0266 0,142172 0,459499 0,0266 48,56818 49,22305 0,986695844521 0,091989 1,040586 1,132574 0,918778896522 0,026746 0,026746 1523 0,877274 0,877274 1

Total 5,304436 290,9734 55,78542 5,479342 0,658564 4,098675 11,97015 1,828003 7,413129 5,856615 16,29142 2052,787 2,276846 13,75064 23,24018 25,10872 628,8126 1,203504 377,9174 325,908 814,8539 575,6103 345,0652 39,34645 8,401569 2,045155 180,1971 11,46634 0,081377 1,999674 21,53163 1,81746 1,148822 0,04168 0,028213 17,75909 49,83284 1,085118 0,026746 0,877274 5929,88Prod_accuracy 0,834709 0,963242 0,934432 0,96795 1 0,990081 0,980367 0,858554 0,218955 0,957063 0,956637 0,990171 0,056541 1 0,959176 0,910411 0,949012 0,714462 0,768753 0,890828 0,959121 0,981529 0,803448 0,843533 0,987343 0,358586 0,829328 0,126705 0,654894 1 0,461452 0,995921 0,852124 1 1 0,998909 0,974622 0,958961 1 1 0,936452931



Bio-geographical region - Macaronesia - confusion matrix CLC2018 - Blind and plausibility analysis Table 81: Confusion matrix CLC 2018 for Macaronesia region – BLIND ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 123 124 131 133 142 211 231 242 243 311 312 321 322 323 324 331 332 333 412 523 Total User_accuracy111 0,026473 0,026473 1112 0,019449 0,019449 1121 0,012497 0,012497 1123 0,09044 0,09044 1124 0,08288 0,08288 1131 0,063283 0,063283 1133 0,028736 0,028736 1141 0,01225 0,01225142 1,129968 1,129968 1211 2,583306 2,583306 1231 2,598958 0,513086 3,112044 0,835129091243 7,720082 7,720082 1311 2,929121 2,929121 1312 6,038094 6,038094 1321 0,792459 0,257828 1,050287 0,754516622322 0,101016 0,101016 1323 6,809594 6,809594 1324 1,407237 1,407237 1331 0,287237 0,143618 0,430855 0,666666667332 1,853499 1,853499 1333 1,556692 0,184845 0,598724 16,14975 18,49001 0,873431057412 0,151048 0,151048 1523 0,052655 0,052655 1

Total 0,026473 0,019449 0,012497 0,09044 0,08288 0,063283 0,028736 1,129968 2,583306 2,598958 0,01225 9,78986 2,929121 6,038094 0,792459 0,543689 6,809594 2,005961 0,287237 1,853499 16,29337 0,151048 0,052655 54,19482Prod_accuracy 1 1 1 1 1 1 1 1 1 1 0,788579 1 1 1 0,185798 1 0,701528 1 1 0,991185 1 1 0,939716693



Table 82: Confusion matrix CLC 2018 for Macaronesia region – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 123 124 131 133 142 212 231 243 311 312 321 322 323 324 331 332 333 412 523 Total User_accuracy111 0,026473 0,026473 1112 0,019449 0,019449 1121 0,012497 0,012497 1123 0,09044 0,09044 1124 0,08288 0,08288 1131 0,063283 0,063283 1133 0,028736 0,028736 1141 0,01225 0,01225142 1,129968 1,129968 1211 2,583306 2,583306231 2,598958 0,513086 3,112044 0,835129091243 7,720082 7,720082 1311 2,929121 2,929121 1312 6,038094 6,038094 1321 0,792459 0,257828 1,050287 0,754516622322 0,025492 0,075524 0,101016 0,252356676323 6,809594 6,809594 1324 1,407237 1,407237 1331 0,287237 0,143618 0,430855 0,666666667332 1,853499 1,853499 1333 1,556692 0,184845 5,252902 0,598724 10,89684 18,49001 0,589336956412 0,151048 0,151048 1523 0,052655 0,052655 1

Total 0,026473 0,019449 0,012497 0,09044 0,08288 0,063283 0,028736 1,142218 2,583306 2,598958 8,233167 2,929121 6,038094 2,349151 0,468165 12,0625 2,005961 0,287237 1,853499 11,04046 0,226572 0,052655 54,19482Prod_accuracy 1 1 1 1 1 1 1 0,989275 1 0,937681 1 1 0,337338 0,054451 0,564526 0,701528 1 1 0,986992 0,666667 1 0,793729826



Bio-geographical region MED- Mediterranean - confusion matrix CLC2018 - Blind and plausibility analysis Table 83: Confusion matrix CLC 2018 for Mediterranean region – BLIND ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 411 412 421 422 423 511 512 521 522 523 Total User_accuracy111 20,89875 0,888309 4,558836 0,513086 26,85898 0,778091699112 91,26946 0,032214 0,003986 0,074753 0,092366 0,145233 0,011771 91,62979 0,996067609121 0,323711 32,83992 0,006391 0,081786 0,006098 0,034082 0,023127 0,168288 0,040103 33,5235 0,979608741122 0,031948 6,329093 0,010009 0,031948 0,090436 0,167 0,081786 0,031948 0,106076 6,880246 0,919893405123 0,709934 0,709934 1124 3,284232 0,082878 0,0487 3,415809 0,96147985131 0,198189 9,47969 0,878657 0,045899 0,221674 0,145233 0,003986 0,221674 0,076656 0,107596 11,37925 0,833067761132 0,897276 0,006391 0,903667 0,992927914133 0,197304 0,216653 0,082813 0,076656 3,838282 0,145233 4,556941 0,842293439141 0,161757 0,01225 1,219257 1,393264 0,875107959142 0,25062 0,015278 6,307031 0,019692 0,076656 0,058744 0,0863 6,814323 0,925555136211 2,118416 2,002193 0,008486 665,1586 4,558836 0,116684 0,035257 2,925219 12,21193 22,7366 6,882459 0,74249 1,8556 0,055592 721,4084 0,922027844212 0,514849 242,2851 3,67234 0,387039 0,072433 0,144865 0,277451 0,066832 247,4209 0,979242627213 16,11669 0,096626 16,21332 0,994040327221 1,545938 0,055939 85,28187 2,300177 1,575348 8,847446 3,489143 0,072433 0,387597 0,007086 103,563 0,823478371222 0,244333 0,85257 0,361017 95,74463 0,37487 2,416661 4,656626 1,254796 1,738433 107,6439 0,889456792223 0,13841 0,055939 0,466734 0,816244 211,4082 0,84792 1,251584 5,662608 0,045399 7,342136 228,0352 0,927085926231 0,171001 0,131527 0,029569 0,37894 0,512893 0,072433 0,063445 0,042681 96,58759 0,943079 0,725778 1,32141 4,1362 3,360327 4,118126 0,065994 112,661 0,857329477241 1,387141 0,077204 0,623794 0,429929 9,527996 4,044974 0,015074 0,429929 0,69357 0,120394 0,69357 18,04358 0,528054778242 0,014119 1,159229 12,28169 1,139989 0,030182 7,749702 1,034989 7,519451 1,960393 242,7072 6,947445 3,161931 1,844291 2,080787 289,6314 0,837986488243 0,030398 0,029569 2,548923 2,705185 1,792757 4,185774 1,496855 3,660731 287,8564 1,79855 0,015727 1,580977 1,979256 5,822528 0,923317 0,090397 0,064461 316,5818 0,909263867244 0,74249 0,143855 2,664874 0,718613 124,4694 128,7392 0,966833479311 1,242831 6,219006 518,14 1,751243 0,430616 7,797457 15,76319 551,3443 0,939775662312 0,007189 0,012056 1,494233 1,336888 429,97 1,638619 0,537023 17,01819 452,0142 0,951231182313 0,765979 0,765979 0,5184 0,045992 3,224714 2,000761 1,28645 0,088708 149,844 4,404997 7,700251 170,6462 0,87809731321 0,904037 0,026184 0,070485 4,188395 0,156258 4,155542 11,17294 4,155542 4,179005 176,9444 0,28806 18,67925 34,91574 1,246346 261,0822 0,677734547322 0,257828 0,83663 0,98637 42,77354 0,220174 7,201746 0,778452 53,05474 0,80621523323 0,056058 0,876644 5,252902 2,630679 0,171001 0,466368 11,10487 1,213022 2,64122 8,186242 5,252902 397,5179 16,21472 1,2292 452,8137 0,877883946324 0,051492 0,067766 0,878657 1,396516 4,77245 6,856568 3,994758 7,718878 2,074377 3,280842 3,380107 423,0138 2,840194 0,466368 460,7928 0,9180131331 0,155827 0,13311 1,223208 8,866635 5,545095 0,031996 0,027321 15,98319 0,55474741332 1,691577 1,740365 20,58578 0,067898 24,08562 0,854691738333 0,031393 6,924549 11,24183 0,483262 5,878479 4,685229 79,65815 0,290708 109,1936 0,729513029334 0,466368 0,932736 0,466368 0,466368 2,597388 0,081964 4,735239 9,746431 0,485843357411 0,066832 0,065762 4,062596 0,065762 4,260951 0,953448156421 0,21729 8,932558 9,149848 0,976252048422 0,114455 0,077643 1,869753 2,06185 0,906832377423 0,000798 0,019887 0,079548 0,068054 0,168287 0,472695213511 0,621902 0,066222 0,161004 0,199589 5,4779 6,526618 0,839316797512 0,012782 0,02119 0,129842 0,039069 0,129842 34,36213 0,030243 34,7251 0,989547409521 0,091989 4,714348 4,806337 0,980860903522 0,027208 0,010509 0,623415 0,661132 0,942950828523 3,666955 4,823014 8,489969 0,568083822

Total 20,89875 98,09902 36,62412 11,0075 0,709934 3,29951 9,789863 1,795105 5,574817 1,245441 6,832414 685,6408 254,5949 16,15937 85,92264 109,5004 220,5072 120,0319 17,28474 288,4749 361,805 157,0879 530,5996 451,6833 156,8444 208,0012 52,77217 464,1814 539,2372 9,118037 20,69338 86,21625 4,735239 10,1415 0,031996 9,356236 1,992137 0,079548 5,673504 35,02579 4,812644 0,623415 4,909314 5109,615Prod_accuracy 1 0,930381 0,896675 0,57498 1 0,99537 0,968317 0,499846 0,688504 0,978976 0,923104 0,970127 0,95165 0,997359 0,992542 0,874377 0,958736 0,804683 0,551237 0,841346 0,795612 0,792355 0,976518 0,951928 0,955367 0,85069 0,810532 0,856385 0,784467 0,972428 0,9948 0,923934 1 0,400591 0,954717 0,938566 1 0,965523 0,981052 0,979575 1 0,982421 0,894629389



Table 84: Confusion matrix CLC 2018 for Mediterranean region – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 223 231 241 242 243 244 311 312 313 321 322 323 324 331 332 333 334 411 421 422 423 511 512 521 522 523 Total User_accuracy111 20,37321 1,926938 4,558836 26,85898 0,758524921112 0,534019 90,52478 0,032214 0,003986 0,219986 0,077204 0,092366 0,145233 91,62979 0,987940504121 0,28714 32,86676 0,016115 0,081786 0,006098 0,024357 0,009725 0,023127 0,168288 0,040103 33,5235 0,980409567122 0,031948 6,329093 0,010009 0,031948 0,090436 0,167 0,081786 0,031948 0,106076 6,880246 0,919893405123 0,709934 0,709934 1124 3,284232 0,082878 0,0487 3,415809 0,96147985131 0,198189 9,47969 0,878657 0,045899 0,221674 0,145233 0,003986 0,298331 0,107596 11,37925 0,833067761132 0,897276 0,006391 0,903667 0,992927914133 0,197304 0,216653 0,082813 0,076656 3,838282 0,145233 4,556941 0,842293439141 0,074753 0,01225 1,219257 0,074753 0,01225 1,393264 0,875107959142 0,25062 0,015278 6,307031 0,019692 0,076656 0,058744 0,0863 6,814323 0,925555136211 2,118416 0,197033 0,00628 0,008486 655,4538 7,142142 0,08937 0,116684 0,090459 11,32381 18,00287 17,79703 6,882459 0,056058 1,8556 0,267859 721,4084 0,908575282212 0,398166 242,4964 3,469638 0,387039 0,072433 0,237231 0,277451 0,08262 247,4209 0,980096358213 16,10113 0,096626 0,015563 16,21332 0,993080435221 1,654251 0,055939 85,35511 1,930996 1,617219 0,102324 8,440096 3,489143 0,460029 0,450778 0,007086 103,563 0,82418561222 0,85257 0,361017 95,93403 1,20833 0,37487 2,416661 3,484202 1,218889 0,090848 1,702526 107,6439 0,89121622223 0,091904 0,055939 0,466734 0,614629 210,4888 0,171196 3,095875 5,662608 0,045399 7,342136 228,0352 0,92305389231 0,171001 0,131527 0,029569 0,405429 0,512893 0,072433 0,063445 0,042681 96,53154 0,943079 2,306755 1,492411 4,1362 1,77935 3,976695 0,065994 112,661 0,856831894241 1,387141 0,077204 0,009725 0,623794 0,429929 9,527996 4,044974 0,00535 0,429929 0,69357 0,120394 0,69357 18,04358 0,528054778242 0,014119 1,159229 10,317 1,139989 0,030182 7,870096 1,034989 9,363741 1,960393 242,5206 10,21879 1,844291 2,080787 0,077204 289,6314 0,837342171243 0,719405 1,20833 3,362352 4,185774 1,496855 3,691129 291,1003 1,79855 0,015727 1,580977 1,732416 2,744696 2,751134 0,090397 0,103749 316,5818 0,919510553244 0,74249 0,143855 0,143855 2,664874 0,718613 124,3256 128,7392 0,965716062311 1,242831 5,242632 522,244 1,67602 4,659939 16,27887 551,3443 0,947219386312 0,007189 0,039744 0,521669 0,167225 1,494233 1,336888 429,7786 1,684611 16,98405 452,0142 0,950807726313 0,765979 0,765979 0,5184 0,045992 3,241335 2,000761 0,039422 0,088708 154,1359 1,311792 7,731892 170,6462 0,903248588321 0,904037 0,070485 4,188395 0,156258 4,155542 11,17294 4,155542 4,179005 180,7464 0,28806 19,43969 30,37953 1,246346 261,0822 0,692296809322 0,257828 0,83663 0,494077 43,18585 0,220174 7,980198 0,079983 53,05474 0,813986627323 0,056058 0,876644 5,252902 2,630679 0,466368 11,27587 1,213022 6,382145 5,252902 401,9527 16,22526 1,2292 452,8137 0,887677764324 0,051492 0,976374 0,067766 0,878657 1,396516 4,77245 6,856568 3,52839 8,958929 4,765171 3,280842 0,632107 422,7282 1,432957 0,466368 460,7928 0,91739327331 0,155827 1,356319 8,866635 5,252902 0,319514 0,031996 15,98319 0,55474741332 1,691577 1,740365 20,63457 0,019109 24,08562 0,856717366333 0,031393 2,909703 6,924549 10,2861 0,483262 2,100585 5,824071 79,87686 0,466368 0,290708 109,1936 0,731515936334 0,466368 0,932736 0,466368 2,597388 0,081964 5,201606 9,746431 0,533693482411 0,066832 0,065762 3,971452 0,091144 0,065762 4,260951 0,932057667421 0,21729 8,932558 9,149848 0,976252048422 0,114455 0,077643 1,869753 2,06185 0,906832377423 0,000798 0,019887 0,079548 0,068054 0,168287 0,472695213511 0,621902 0,066222 0,161004 0,199589 5,4779 6,526618 0,839316797512 0,012782 0,02119 0,107596 0,129842 0,039069 0,129842 34,25454 0,030243 34,7251 0,986448913521 0,091989 4,714348 4,806337 0,980860903522 0,027208 0,010509 0,623415 0,661132 0,942950828523 3,666955 4,823014 8,489969 0,568083822

Total 20,90722 97,94815 34,84581 11,01378 0,709934 3,29951 9,760293 1,80483 5,243177 1,219257 6,984371 672,1635 257,5333 16,14381 87,06163 107,7425 222,4628 130,1597 16,60802 294,6931 368,2761 152,8801 533,3779 450,0908 160,4736 211,1142 52,62075 450,8152 539,259 9,118037 20,74216 84,28046 5,667974 9,758164 9,739573 1,992137 0,079548 5,673504 35,00526 4,812644 0,623415 4,909314 5109,615Prod_accuracy 0,974458 0,924211 0,943206 0,574652 1 0,99537 0,971251 0,497153 0,732053 1 0,903021 0,975141 0,941612 0,997356 0,980399 0,890401 0,946175 0,741639 0,573699 0,82296 0,79044 0,813223 0,979126 0,954871 0,960507 0,856154 0,8207 0,891613 0,783906 0,972428 0,994813 0,947751 0,917719 0,406988 0,917141 0,938566 1 0,965523 0,978554 0,979575 1 0,982421 0,896302945



Bio-geographical region PAN – Pannonian - confusion matrix CLC2018 - Blind and plausibility analysis Table 85: Confusion matrix CLC 2018 for Pannonian region – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 242 243 311 312 313 321 324 333 411 412 511 512 Total User_accuracy111 0,083362 0,083362 1112 28,8919 0,005278 28,89717 0,999817358121 0,008833 4,375031 0,025123 4,408988 0,992298381122 0,829522 0,005194 0,020103 0,854819 0,970406153123 0,022087 0,022087 1124 0,059096 0,465556 0,524653 0,88736118131 0,582502 0,038139 0,620641 0,938548525132 0,301099 0,301099 1133 0,356331 0,00798 0,145233 0,012282 0,521826 0,682853911141 0,310361 0,310361 1142 0,015278 1,405051 0,059079 1,479408 0,949738282211 0,011747 0,002903 0,007388 322,9795 0,017429 0,141808 0,145746 0,006805 0,129606 4,129678 327,5726 0,985978345212 0,012051 0,012051 1213 0,348184 0,348184 1221 0,202839 6,130144 0,11519 6,448174 0,950679176222 0,120349 4,139991 0,038326 4,298666 0,963087434231 0,954273 34,4867 0,580672 0,007564 36,02921 0,957187245242 1,230959 0,678199 0,009587 0,163657 0,006805 23,52812 3,792432 29,40976 0,800010668243 0,002903 0,68868 12,52387 0,697217 13,91267 0,900177336311 87,93083 2,696062 0,096176 90,72307 0,969222407312 3,601252 0,059099 3,66035 0,983854365313 0,140482 6,124336 0,009319 6,274137 0,976124016321 0,48205 0,003266 9,611126 10,09644 0,95193197324 0,404546 0,051492 0,126816 1,308436 0,046379 24,17497 26,11264 0,925795729333 0,114331 0,114331 1411 0,161695 3,62325 0,020897 3,805842 0,952023208412 0,039771 0,039771 0,318169 0,397711 0,8511 0,014061 2,915865 2,929926 0,995200882512 0,008308 6,675829 6,684136 0,998757127

Total 0,083362 30,14697 4,468117 0,829522 0,022087 0,465556 0,585405 0,339239 0,356331 0,310361 2,090637 325,2254 0,012051 0,348184 6,311231 4,478524 35,32793 23,53493 16,65628 94,25506 3,601252 8,866777 9,766087 25,06493 0,114331 3,663021 0,318169 2,915865 6,696726 606,8544Prod_accuracy 1 0,958368 0,979167 1 1 1 0,995041 0,887574 1 1 0,672068 0,993094 1 1 0,971307 0,92441 0,976188 0,999711 0,751901 0,932903 1 0,690706 0,984133 0,964494 1 0,989143 1 1 0,99688 0,967054685



Table 86: Confusion matrix CLC 2018 for Pannonian region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 133 141 142 211 212 213 221 222 231 242 243 311 312 313 321 324 333 411 412 511 512 Total User_accuracy111 0,083362 0,083362 1112 28,8919 0,005278 28,89717 0,999817358121 4,375031 0,008833 0,025123 4,408988 0,992298381122 0,849625 0,005194 0,854819 0,993923684123 0,022087 0,022087 1124 0,059096 0,465556 0,524653 0,88736118131 0,582502 0,038139 0,620641 0,938548525132 0,301099 0,301099 1133 0,513847 0,00798 0,521826 0,984708015141 0,310361 0,310361 1142 1,420329 0,059079 1,479408 0,960065492211 0,00344 0,002903 0,007388 322,4994 0,017429 0,116684 0,726418 0,006805 0,062483 4,129678 327,5726 0,984512666212 0,012051 0,012051 1213 0,348184 0,348184 1221 6,332984 0,11519 6,448174 0,982136057222 0,120349 4,178317 4,298666 0,972003244231 0,954273 34,4867 0,580672 0,007564 36,02921 0,957187245242 1,230959 0,678199 0,163657 0,006805 23,53771 3,792432 29,40976 0,800336645243 0,002903 1,269351 0,006805 11,9364 0,697217 13,91267 0,857951332311 87,91648 2,703863 0,10273 90,72307 0,969064174312 3,601252 0,059099 3,66035 0,983854365313 0,140482 0,003901 6,129755 6,274137 0,976987657321 0,003266 10,09318 10,09644 0,999676553324 0,003266 0,067123 0,051492 1,385089 24,60567 26,11264 0,942289669333 0,114331 0,114331 1411 0,161695 3,614942 0,029205 3,805842 0,949840372412 0,039771 0,039771 0,318169 0,397711 0,8511 0,014061 2,915865 2,929926 0,995200882512 6,684136 6,684136 1

Total 0,083362 30,12285 4,459809 0,861724 0,022087 0,465556 0,585405 0,339239 0,513847 0,310361 2,105915 323,7134 0,012051 0,348184 6,51407 4,346493 36,64423 23,55132 15,81643 94,31736 3,605152 8,833618 10,09318 25,47228 0,114331 3,654713 0,318169 2,915865 6,713341 606,8544Prod_accuracy 1 0,959135 0,980991 0,985959 1 1 0,995041 0,887574 1 1 0,674447 0,99625 1 1 0,972201 0,961308 0,941122 0,999422 0,754683 0,932135 0,998918 0,693912 1 0,965978 1 0,989118 1 1 0,99565 0,967515867



Bio-geographical region STE - Steppic - confusion matrix CLC2018 - Blind and plausibility analysis Table 87: Confusion matrix CLC 2018 for steppic region – BLIND ANALYSS- In column the validation and line the production


CLC Classes 112 121 122 123 124 132 142 211 213 221 222 231 242 243 311 321 324 331 411 511 512 Total User_accuracy112 4,635239 4,635239 1121 1,33606 1,33606 1122 0,15974 0,15974 1123 0,026802 0,026802 1124 0,065638 0,065638 1131 0,062472 0,062472132 0,015425 0,015425 1142 0,012072 0,012072 1211 112,3692 0,126042 112,4952 0,998879576213 0,784322 0,784322 1221 2,651464 0,662866 3,31433 0,8222 0,116684 0,116684 1231 2,173926 8,812388 2,173926 13,16024 0,669622122242 4,996705 4,996705 1243 1,728357 1,728357 1311 12,74315 12,74315 1321 0,803698 0,803698 1324 0,599517 0,793537 1,393054 0,569638435331 0,140418 0,140418 1411 4,185088 4,185088 1511 1,533761 1,533761 1512 3,121402 3,121402 1

Total 6,809165 1,398532 0,15974 0,026802 0,065638 0,015425 0,012072 112,3692 0,784322 2,651464 0,116684 9,601297 7,170631 1,728357 13,34267 0,803698 0,793537 0,140418 4,185088 1,533761 3,121402 166,8299Prod_accuracy 0,680735 0,95533 1 1 1 1 1 1 1 1 1 0,917833 0,696829 1 0,955068 1 1 1 1 1 1 0,965241539



Table 88: Confusion matrix CLC 2018 for steppic region – PLAUSIBILITY ANALYSIS In column the validation and line the production


CLC Classes 112 121 122 123 124 132 142 211 213 221 222 231 242 243 311 321 324 331 411 511 512 Total User_accuracy112 4,635239 4,635239 1121 1,33606 1,33606 1122 0,15974 0,15974 1123 0,026802 0,026802 1124 0,065638 0,065638 1131 0,062472 0,062472132 0,015425 0,015425 1142 0,012072 0,012072 1211 112,3692 0,126042 112,4952 0,998879576213 0,784322 0,784322 1221 2,651464 0,662866 3,31433 0,8222 0,116684 0,116684 1231 13,16024 13,16024 1242 4,996705 4,996705 1243 1,728357 1,728357 1311 12,74315 12,74315 1321 0,803698 0,803698 1324 0,599517 0,793537 1,393054 0,569638435331 0,140418 0,140418 1411 4,185088 4,185088 1511 1,533761 1,533761 1512 3,121402 3,121402 1

Total 4,635239 1,398532 0,15974 0,026802 0,065638 0,015425 0,012072 112,3692 0,784322 2,651464 0,116684 13,94915 4,996705 1,728357 13,34267 0,803698 0,793537 0,140418 4,185088 1,533761 3,121402 166,8299Prod_accuracy 1 0,95533 1 1 1 1 1 1 1 1 1 0,943444 1 1 0,955068 1 1 1 1 1 1 0,991303134



Bio-geographical region DOM - Overseas department (tropical region) - confusion matrix CLC2018 - Blind and plausibility analysis Table 89: Confusion matrix CLC 2018 for Tropical region – BLIND ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 141 142 211 213 221 222 231 242 243 244 311 312 313 321 322 323 324 331 332 333 411 421 423 511 512 521 522 523 Total User_accuracy111 0,01789 0,01789 1112 2,916862 0,005092 2,921954 0,998257283121 0,161577 0,005092 0,166669 0,969447525122 0,074629 0,006825 0,081454 0,916208237123 0,023021 0,023021 1124 0,064595 0,064595 1131 0,044961 0,044961 1132 0,003158 0,003158 1141 0,019232 0,019232 1142 0,031181 0,031181 1211 0,005092 2,38941 0,132553 2,527055 0,94553126213 0,277662 0,277662 1222 0,577819 0,071374 0,071374 0,720568 0,801894381231 0,110781 0,899972 0,004496 0,117606 0,003449 1,136305 0,792016677242 0,005092 0,16235 1,298797 1,466239 0,885801843243 0,003449 0,16235 3,107423 3,273221 0,94934696244 0,092179 0,092179 1311 0,165748 40,52414 0,114887 1,330481 0,003055 6,234796 48,37311 0,837741095312 0,093109 0,093109 1313 0,23056 0,23056 1321 1,006519 1,006519 1322 0,679496 0,0755 0,754996 0,9323 0,165748 0,093768 0,750142 0,093768 1,103425 0,679830082324 0,004496 0,170244 0,004496 0,004333 1,267278 1,450848 0,873474357331 0,011514 0,011514 1332 0,311411 0,311411 1333 0,047 0,376002 0,423002 0,888888889411 4,676151 4,676151 1421 0,031668 0,031668 1511 0,045584 0,410257 0,455841 0,9512 0,018621 0,018621 1521 0,007951 0,007951 1522 0,11511 1,049643 1,164754 0,901171947523 0,020023 49,9967 50,01673 0,999599669




Table 90: Confusion matrix CLC 2018 for Tropical region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLC Classes 111 112 121 122 123 124 131 132 141 142 211 213 221 222 231 242 243 244 311 312 313 321 322 323 324 331 332 333 411 421 423 511 512 521 522 523 Total User_accuracy111 0,01789 0,01789 1112 2,916862 0,005092 2,921954 0,998257283121 0,161577 0,005092 0,166669 0,969447525122 0,074629 0,006825 0,081454 0,916208237123 0,023021 0,023021 1124 0,064595 0,064595 1131 0,044961 0,044961 1132 0,003158 0,003158 1141 0,019232 0,019232 1142 0,031181 0,031181 1211 0,005092 2,38941 0,132553 2,527055 0,94553126213 0,277662 0,277662 1222 0,720568 0,720568 1231 0,110781 0,899972 0,004496 0,117606 0,003449 1,136305 0,792016677242 0,005092 0,16235 1,298797 1,466239 0,885801843243 0,003449 0,16235 3,107423 3,273221 0,94934696244 0,092179 0,092179 1311 0,165748 40,52414 0,114887 1,330481 0,003055 6,234796 48,37311 0,837741095312 0,093109 0,093109 1313 0,23056 0,23056 1321 1,006519 1,006519 1322 0,679496 0,0755 0,754996 0,9323 0,165748 0,093768 0,750142 0,093768 1,103425 0,679830082324 0,004496 0,170244 0,004496 0,004333 1,267278 1,450848 0,873474357331 0,011514 0,011514 1332 0,311411 0,311411 1333 0,047 0,376002 0,423002 0,888888889411 4,676151 4,676151 1421 0,031668 0,031668 1511 0,045584 0,410257 0,455841 0,9512 0,018621 0,018621 1521 0,007951 0,007951 1522 0,11511 1,049643 1,164754 0,901171947523 0,020023 49,9967 50,01673 0,999599669




Annex 6. Confusion matrix of CLCCH2012-18 – European level – Blind and plausibility analysis

Table 91: Confusion matrix of change CLCCH2012-2018 for blind analysis (at level 2 of CLC nomenclature) between the validation and the production

For the blind analysis, the overall accuracy of CLCCH2012-2018 at the third level of nomenclature is 87.12%. The overall accuracy of CLCCH2012-2018 at the level 2 is 89.56%.

CLCC_Lvl2 00 11-11 11-12 11-13 11-51 12-12 12-13 13-11 13-12 13-13 13-14 13-21 13-23 13-24 13-31 13-32 13-41 13-51 14-12 14-14 21-11 21-12 21-13 21-14 21-21 21-22 21-23 21-24 21-32 21-41 21-51 22-11 22-12 22-13 22-21 22-22 22-23 22-24 22-32 23-11 23-12 23-13 23-14 23-21 23-22 23-23 23-24 23-32 23-42 23-51 24-11 24-12 24-13 24-21 24-22 24-24 24-32 24-51 31-11 31-12 31-13 31-14 31-21 31-22 31-23 31-31 31-32 31-33 31-41 31-51 32-11 32-12 32-13 32-21 32-22 32-23 32-24 32-31 32-32 32-33 32-41 32-51 33-11 33-12 33-13 33-21 33-23 33-24 33-32 33-33 33-51 41-12 41-13 41-21 41-23 41-32 41-33 41-41 41-51 42-42 51-21 51-32 51-33 51-41 51-42 51-51 52-52 Total User_accuracy11-11 700,2112 3,110083 2,086548 0,513086 0,074695 3,57687 0,924659 2,980796 1,833067 0,006157 0,002473 715,3196 0,97887876411-12 0,040454 0,081786 4,026448 0,016087 4,164775 0,01963760711-13 0,031787 0,054592 0,08637911-14 0,004362 3,728243 3,73260511-21 4,330652 0,005092 0,002473 0,342583 0,018231 4,69903111-22 0,077204 0,07720411-23 4,173096 0,070333 0,513086 0,028335 4,78484911-24 0,013131 0,009834 2,356695 2,3796611-31 0,726756 0,004362 2,256526 2,98764411-32 0,024126 0,02412611-51 0,06357 0,0635712-11 1,889304 0,66381 0,002146 0,099453 2,65471412-12 1,965984 157,1307 0,019268 0,092886 0,065341 0,078146 0,005092 0,162825 0,249406 0,006825 0,761712 0,01837 0,042526 160,5991 0,97840347412-13 0,005322 0,37585 0,081786 0,006157 0,203114 0,045899 0,081786 0,008939 0,808855 0,10111361812-14 0,027937 0,01641 0,04434612-21 0,019523 0,276796 0,00344 2,65241 0,260757 0,061428 3,27435212-22 0,233099 0,087694 0,32079312-23 0,013954 0,191413 0,038733 0,028961 0,875288 0,266749 0,066279 1,48137712-24 0,020103 0,091976 0,116012 0,083252 0,012501 1,065788 0,006157 0,008486 1,40427412-31 0,138146 0,071138 0,003007 1,189688 0,69684 2,09881812-32 0,383374 0,002146 0,10248 0,48812-33 0,01837 0,0183712-42 0,011342 0,01134212-51 0,014061 0,01406113-11 3,493958 0,072887 1,071928 0,003986 0,003803 0,081786 0,011526 0,081786 0,005989 0,006405 0,006032 0,005614 4,845702 0,22121204213-12 0,103997 3,319526 0,081786 3,107876 0,036925 0,081786 0,081786 0,187751 0,005989 0,045389 0,087401 0,081786 0,212573 0,081786 7,516359 0,41348165213-13 0,133867 0,081786 0,298737 0,170586 40,13428 0,044778 0,066458 0,113986 0,04143 0,100381 0,062472 0,35869 0,37917 0,385983 0,107596 0,031242 0,432062 42,9435 0,93458325513-14 0,060341 0,004282 0,184305 0,036353 0,951005 1,236286 0,14907931413-21 0,00798 0,092951 0,093743 0,118277 0,003986 0,020266 0,003007 2,176428 0,006405 0,003986 0,070333 0,016246 2,613608 0,04525427113-22 0,327258 0,053289 0,007629 0,38817613-23 0,140938 0,118277 0,40851 0,206985 0,029569 0,283636 0,029569 0,512893 0,029569 1,967022 0,029569 0,029569 0,902136 4,688243 0,04414971513-24 0,029569 0,003007 0,106773 0,029569 0,005304 0,060341 0,00798 1,563871 0,030534 0,15966 0,020732 2,01734113-31 0,018196 0,006382 0,004282 0,031393 0,055125 1,50616 0,031393 0,046938 1,69987 0,00251916913-32 0,031393 0,041437 0,117985 0,062786 0,031393 0,376714 0,220004 0,07142 0,11207 0,031393 1,292349 0,128937 0,020732 2,538614 0,14839357113-33 0,116124 0,031393 0,063291 0,581501 0,7923113-41 0,008486 0,021706 0,066832 0,019715 0,11673913-42 0,01849 0,0184913-51 0,016725 0,634684 0,04238 0,2119 0,02119 0,02119 0,02119 1,801578 2,770837 0,07647501314-11 3,373918 0,074753 0,072887 0,087592 3,6091514-12 0,290675 0,802848 0,081786 0,015278 0,015278 1,205865 0,06782370914-13 0,020284 0,021881 0,04216514-14 0,521606 0,185591 60,04788 0,167926 0,640481 0,087785 0,037444 0,343534 62,03225 0,9680107214-21 0,07321 0,582368 0,151826 0,019623 0,82702714-23 0,014884 0,151826 0,016687 0,18339714-24 0,119224 0,024036 0,024036 0,184231 0,059079 0,41060714-31 0,004621 0,019623 0,005189 0,445823 0,47525614-32 0,304215 0,053874 0,3580914-51 0,009243 0,004621 0,004621 0,072771 0,09125621-11 0,011695 4,558836 0,713485 0,145233 5,429249 0,13141506721-12 2,904659 0,145233 0,145233 3,195124 0,90909090921-13 0,017168 0,145233 2,033261 0,145233 0,145233 0,145233 0,145233 0,290466 0,145233 3,212292 0,63296267521-14 3,565778 3,56577821-21 15,59733 1,837825 3,573165 5180,555 0,169497 18,43029 126,093 15,6175 0,033169 13,1698 6,747776 0,011695 5381,836 0,96259992721-22 1,009093 3,617189 4,363342 0,116684 9,106308 0,39721798121-23 0,016431 6,048754 1,750253 0,116684 84,91042 3,405336 0,116684 0,003449 0,003449 96,37146 0,01816152821-24 0,026083 18,67045 0,233367 0,184981 4,309677 0,116684 124,7962 0,002423 148,3398 0,00157319221-31 0,016431 7,327019 1,469468 0,051492 0,167407 0,002423 9,0342421-32 0,161562 0,154475 0,051492 0,051492 0,051492 0,154475 8,32265 0,292193 9,239831 0,01671840421-33 0,051492 0,292193 0,34368521-41 0,066832 0,066832 0,042931 0,176595 0,37844781521-51 0,03315 0,596692 0,03315 0,099449 0,03315 0,008308 0,066299 0,870196 0,68569841522-11 2,864492 0,074402 2,93889422-12 1,234984 0,145233 1,380217 0,10522471522-13 0,145233 0,145233 0,29046622-21 10,87703 1,98362 0,274235 0,116684 0,116684 0,116684 0,00754 0,472526 0,768476 0,116684 14,85016 0,13357564122-22 0,214123 0,496224 5,568026 0,163987 0,72304 472,2381 1,819205 30,76466 5,231713 0,015127 0,026654 7,299865 524,5607 0,90025438922-23 0,662866 0,116684 3,343517 0,798071 0,768476 1,20833 6,897945 0,01691569522-24 1,085609 1,504126 0,171129 21,11614 0,015727 1,034989 24,9277222-31 0,768476 0,275683 1,04415922-32 0,387597 0,051492 0,051492 0,063631 0,051492 0,051492 1,25235 1,90954522-33 0,051492 0,05149222-51 0,03315 0,0331523-11 14,91973 0,145233 15,06496 0,00964044523-12 0,725905 0,145233 1,307096 0,145233 6,080456 0,145233 0,014119 8,563275 0,1526397823-13 0,032296 0,290466 0,580932 0,007689 0,145233 0,145233 0,145233 1,347081 0,43125222123-14 0,904037 0,90403723-21 69,58648 8,984632 4,311291 0,116684 7,946572 0,003508 5,78999 96,73916 0,09287481823-22 0,115916 0,116684 0,334999 0,350051 0,116684 1,034332 0,33843152523-23 3,919806 0,020094 0,012032 3,086813 10,9456 0,904037 1466,942 69,06133 32,69412 0,019326 29,15463 0,027261 1616,787 0,90731925323-24 0,887893 9,171199 0,116684 14,60855 1,821765 0,002423 26,60852 0,00438519523-31 0,077202 19,29402 0,051492 19,4227223-32 0,904037 0,051492 0,051492 5,615465 0,566409 0,051492 0,051492 0,263758 0,051492 26,92951 34,53664 0,01640023923-33 0,004724 0,072878 0,07760223-41 0,066832 9,225862 9,29269423-42 0,066832 0,066832 123-51 0,03315 0,132598 0,012032 0,029698 0,207478 0,63909529924-11 7,734619 0,145233 0,145233 0,145233 2,57306 10,74338 0,01351836824-12 0,106204 0,145233 0,145233 0,290466 0,687136 0,21135984424-13 0,145233 0,145233 1,016631 1,094164 0,145233 2,546493 0,39922771724-21 2,674756 85,54121 3,412633 1,253714 0,350051 10,11979 1,155702 104,5079 0,00334951524-22 1,844291 27,2465 0,116684 6,887825 2,734484 38,82978 0,00300500124-23 0,194081 13,89973 1,97529 1,2255 2,098205 19,392824-24 7,079788 1,405527 0,605428 54,74052 15,86344 38,21781 0,16235 1970,142 47,20413 0,021324 0,003449 22,30113 1,766128 2159,513 0,9123084724-31 2,541907 25,02782 1,732416 29,3021524-32 0,051492 0,620212 0,051492 8,447586 0,154475 2,419583 0,051492 24,15582 35,95215 0,00429668924-33 0,789355 0,78935524-41 1,034457 1,03445724-51 0,066299 0,03315 0,03315 0,331496 0,099449 3,306131 3,869673 0,08566501431-11 0,076656 0,229969 0,306626 0,7531-12 0,076656 0,229969 0,153313 0,459939 0,531-13 0,153313 0,076656 1,379816 0,076656 1,686442 0,81818181831-14 0,098083 0,153313 0,076656 0,328052 0,46734328331-21 11,16488 0,072433 0,072433 0,144865 0,072433 3,006405 0,144865 14,67832 0,00986933431-22 0,072433 0,038326 0,11075931-23 0,072433 11,61057 6,172193 0,072433 17,9276331-24 14,61846 1,112238 0,013765 15,7444631-31 2,280575 12,77216 0,765979 2,9299 16,62261 2,933972 7173,339 23,48942 0,541476 96,68825 3,691336 0,003632 1,834667 7337,893 0,97757476531-32 0,466368 1,079992 25,59909 122,6548 1,399104 131,3502 0,466368 283,0159 0,43338470831-33 0,951792 0,466368 1,399104 3,642653 0,466368 0,067392 6,993676 0,20005270431-41 0,048357 0,080595 0,016119 0,650661 0,795733 0,10128436931-42 0,016119 0,01611931-51 0,0266 0,0266 0,053199 0,10639931-52 0,020023 0,006674 0,02669832-11 0,325197 0,228801 0,55399832-12 0,092575 0,076656 0,076656 0,306626 0,076656 0,076656 0,076656 0,782483 0,3918624632-13 1,088552 0,153313 0,076656 0,153313 2,936993 0,076656 0,076656 1,379816 0,153313 6,095268 0,22637492832-14 4,64484 0,076656 4,72149732-21 8,262372 0,089054 4,279186 0,90054 0,012794 1,086489 0,28973 0,421474 0,330261 15,6719 0,06932720532-22 0,072433 2,09169 0,053592 0,072433 0,072433 0,434596 0,072433 2,869608 0,15144770432-23 0,315513 0,065994 27,28717 3,193715 0,172216 0,144865 0,507028 0,007361 2,753377 0,315513 34,76276 0,01458538532-24 0,004935 0,006595 5,046882 24,47326 1,37165 0,007361 1,084158 31,9948432-31 0,632116 0,007189 0,004265 0,038778 0,534137 1,351781 1,223208 140,8799 5,789051 0,055478 53,20945 38,18582 0,218673 0,004265 242,1341 0,21975197632-32 1,044405 0,018275 0,012032 0,047911 8,06258 2,707804 0,018275 19,80936 61,79992 66,40581 0,033585 0,0055 0,004496 0,170244 1,24584 3085,436 29,51457 8,543393 3284,88 0,93928423732-33 0,466368 0,466368 0,466368 33,54379 1,865472 0,079983 48,32563 5,252902 90,46689 0,02062049232-41 0,016119 0,012794 0,653451 0,016119 0,257905 0,954142 1,91053 0,13499131532-51 0,079799 0,079799 0,0266 0,239397 0,053199 0,478794 0,532-52 2,909703 2,90970333-12 0,076656 0,162957 0,076656 0,31626933-13 0,013926 0,076656 0,076656 0,16723933-14 0,058744 0,0863 0,14504433-21 0,0863 0,072433 0,072433 0,072433 0,144865 0,448463 0,32302589333-23 0,16283 0,028084 0,210826 0,01044 0,41217933-24 0,072433 0,676238 0,072433 0,090397 0,9115 0,07946524633-31 1,101541 0,106746 1,20828633-32 1,061872 0,466368 0,466368 39,19578 1,865472 5,496211 0,100618 0,048163 48,70085 0,03830470133-33 0,027321 0,009024 4,914907 11,88132 8,099633 0,205693 129,6129 0,466368 0,023431 1266,774 0,318029 0,022723 0,051179 1422,406 0,89058502833-41 0,58713 0,5871333-42 0,191015 0,19101533-51 0,0266 0,106399 0,116997 0,478794 0,529324 1,258113 0,38056510333-52 0,757252 0,046604 0,80385641-12 0,214382 0,200496 0,200496 0,615374 0,3258117841-13 0,066832 0,066832 141-21 0,952857 0,07871 0,025066 0,426124 0,025066 0,025066 0,200529 1,733417 0,24582860941-23 1,001017 0,020004 0,025066 1,046087 0,0239617741-24 0,127322 0,039069 0,16639141-31 0,020897 4,667811 4,68870841-32 0,007631 0,056981 2,822375 0,018994 0,056981 0,212815 3,175777 0,01794239341-33 0,081332 0,056981 0,132956 0,271269 0,21005385441-41 0,143608 0,065762 1,081292 2,79926 0,520915 3,360212 2,79926 0,116468 527,3195 0,283472 538,4898 0,97925633841-42 0,186584 1,624197 1,81078141-51 0,039069 0,066832 0,48098 0,586881 0,11387665542-21 0,141024 0,14102442-23 0,104761 0,025066 0,12982742-24 0,025848 0,02584842-31 0,012924 0,003055 0,01597942-32 0,07136 0,060261 0,13162142-33 0,392884 0,018994 0,41187742-41 0,296646 0,014214 0,31085942-42 0,004859 0,004859 0,060261 0,011099 2,143992 0,758555 21,35914 0,014106 0,089032 24,4459 0,87373087142-52 0,120522 0,060261 0,18078351-11 0,026665 0,02666551-12 0,010495 0,01049551-13 0,076992 0,066832 0,14382451-21 0,002903 0,252832 0,066832 0,066832 0,38939951-22 0,061502 0,026665 0,08816751-23 0,046007 0,473617 0,51962451-24 0,002903 0,50661 0,24684 0,035887 0,79224151-31 0,752527 0,551571 1,30409851-32 0,220023 0,034721 0,25474451-33 0,842657 0,7679 0,031996 0,137667 1,780219 0,43135132151-41 0,020309 0,21485 0,066832 0,708687 1,01067851-42 0,066832 0,066832 151-51 0,082007 0,599138 4,562673 0,82877 0,690687 0,32069 0,013503 592,2221 1,116583 600,4361 0,98631986351-52 0,157571 0,15757152-11 0,186601 0,18660152-31 6,28509 6,234796 12,5198952-32 0,052655 0,05265552-33 0,026746 0,02674652-41 0,054533 0,05453352-42 0,292859 0,068054 0,36091352-51 0,018477 0,018477 0,104126 0,030243 0,17132352-52 0,122727 0,148601 0,277648 0,133587 74,80998 75,49254 0,990958537Total 0,214123 783,1918 0,086878 0,081786 0,03315 181,8175 2,168334 1,156721 3,668428 44,17843 0,184305 0,118277 0,425903 0,146734 0,004282 0,831974 0,029569 0,314247 0,081786 82,41649 0,940504 3,275221 2,266237 0,145233 5501,757 4,115525 1,750253 0,233367 0,205967 0,066832 0,793393 0,145233 0,290466 0,066832 2,758152 529,4489 0,233367 0,116684 0,051492 0,807951 1,470604 1,23852 0,076656 9,350947 0,518226 1742,207 0,233367 0,886592 0,066832 0,453189 1,525465 0,382556 1,17035 0,350051 0,189116 2564,588 0,205967 0,510743 0,258304 3,219067 1,930707 0,153313 0,144865 1,223208 0,072433 7617,52 153,4771 1,399104 0,080595 0,03315 0,153313 0,605172 1,765648 1,504513 1,469585 0,804704 0,643437 57,02861 3720,956 2,849699 0,257905 0,890086 0,076656 0,076656 0,145233 0,144865 0,081786 0,072433 2,045542 1368,455 0,542433 0,200496 0,066832 0,561586 0,053581 0,143564 0,056981 566,2515 0,066832 24,48119 0,200529 0,080335 0,7679 0,031996 0,066832 602,6407 82,75728 25694,55

Prod_accuracy 0,894048 0,941388 0,864222 0,037718 0,926695 0,847196 0,908459 1 1 0,48599 1 0,452796 0,674311 1 0,728591 0,75862 0,886859 0,897197 0,941618 0,878913 1 1 0,75 1 0,752076 0,5 0,719184 0,891943 0,5 0,179755 0,888816 0,469053 0,960826 0,675479 0,842002 0,5 0,638861 1 0,292589 0,095206 0,379639 0,868655 1 0,616994 0,76821 0,75 0,649045 0,890304 0,07144 0,714669 1 1 0,941689 0,799173 1 1 0,506676 0,781478 0,722153 0,295727 0,630081 0,933031 0,829205 0,654621 1 0,26896 1 1 0,911969 0,925696 0,882679 1 1 0,758786 0,467815 0,396903 1 0,931246 1 0,872472 1 1 0,982712 0,903969 0,895632165



Table 92: Confusion matrix of change CLCCH2012-2018 for plausibility analysis (at level 2 of CLC nomenclature) between the validation and the production

For the plausibility analysis, the overall accuracy of CLCCH2012-2018 at the third level is 87.8%. The overall accuracy of CLCCH2012-2018 at the second level is 90.1%.

CLCC_Lvl2 11-11 11-12 11-13 11-51 12-12 12-13 12-21 12-24 13-11 13-12 13-13 13-14 13-21 13-23 13-24 13-31 13-32 13-33 13-41 13-51 14-12 14-14 14-21 14-23 21-11 21-12 21-13 21-14 21-21 21-22 21-23 21-24 21-31 21-32 21-41 21-51 22-12 22-13 22-21 22-22 22-23 22-24 22-32 23-11 23-12 23-13 23-21 23-22 23-23 23-24 23-32 23-42 23-51 24-11 24-12 24-13 24-21 24-22 24-24 24-32 24-51 31-11 31-12 31-13 31-14 31-21 31-22 31-23 31-31 31-32 31-33 31-41 31-42 31-51 32-11 32-12 32-13 32-14 32-21 32-22 32-23 32-24 32-31 32-32 32-33 32-41 32-51 33-11 33-12 33-13 33-21 33-23 33-24 33-32 33-33 33-41 33-51 41-12 41-13 41-21 41-23 41-32 41-33 41-41 41-51 42-33 42-42 51-21 51-32 51-33 51-42 51-51 52-52 Total User_accuracy11-11 702,0447 3,1062 2,086548 0,003883 0,074695 1,312309 3,181185 2,967996 0,542031 715,3196 0,98144207311-12 0,003883 0,081786 4,063019 0,016087 4,164775 0,01963760711-13 0,031787 0,054592 0,08637911-14 0,004362 3,728243 3,73260511-21 4,338328 0,005092 0,002473 0,334907 0,018231 4,69903111-22 0,077204 0,07720411-23 4,173096 0,070333 0,513086 0,028335 4,78484911-24 0,013131 0,009834 0,009725 2,34697 2,3796611-31 0,726756 0,004362 2,256526 2,98764411-32 0,016087 0,008039 0,02412611-51 0,06357 0,0635712-11 1,767057 0,698466 0,002146 0,087592 0,099453 2,65471412-12 1,21335 157,9453 0,039372 0,092886 0,085187 0,099704 0,034245 0,121163 0,161459 0,006825 0,722559 0,016087 0,01837 0,042526 160,5991 0,98347602812-13 0,005322 0,37585 0,081786 0,006157 0,203114 0,045899 0,081786 0,008939 0,808855 0,10111361812-14 0,027937 0,01641 0,04434612-21 0,021905 0,316718 0,005845 0,040392 0,043193 2,564508 0,260757 0,021036 3,274352 0,00178505812-22 0,233099 0,087694 0,32079312-23 0,013954 0,191413 0,038733 0,028961 0,875288 0,266749 0,066279 1,48137712-24 0,020103 0,094359 0,084731 0,083252 0,012501 1,060029 0,006157 0,043142 1,40427412-31 0,138146 0,071374 0,003007 0,002146 1,187305 0,69684 2,09881812-32 0,386639 0,021395 0,002146 0,056175 0,021646 0,48812-33 0,01837 0,0183712-42 0,011342 0,01134212-51 0,014061 0,01406113-11 3,246825 1,183034 0,072887 0,009401 0,007629 0,093313 0,011526 0,153899 0,05475 0,006405 0,006032 4,845702 0,24414086313-12 0,103997 2,930086 3,457323 0,098153 0,081786 0,081786 0,018975 0,009259 0,168767 0,030017 0,015713 0,075924 0,087401 0,081786 0,193598 0,081786 7,516359 0,45997309813-13 0,15414 0,081786 0,205985 0,044167 0,195388 40,30129 0,025061 0,414703 0,113986 0,024705 0,120098 0,062472 0,340494 0,222474 0,040402 0,133051 0,107596 0,031242 0,324467 42,9435 0,93847227313-14 0,060341 0,00798 0,004282 0,184305 0,036353 0,943025 1,236286 0,14907931413-21 0,00798 0,065062 0,099356 0,093743 0,339428 0,003986 0,092366 0,020266 0,003007 1,347678 0,366975 0,027137 0,003986 0,126391 0,016246 2,613608 0,12986947413-22 0,007629 0,264077 0,053289 0,063181 0,38817613-23 0,08488 0,085627 0,456704 0,029569 0,414378 0,029569 0,313206 0,029569 0,512893 0,059138 1,662808 0,029569 0,029569 0,950763 4,688243 0,08838655513-24 0,029569 0,003007 0,077204 0,029569 0,029569 0,087592 0,005304 0,060341 0,00798 1,486667 0,030534 0,149272 0,020732 2,017341 0,01465752513-31 0,018196 0,016515 0,070072 0,010009 0,072759 0,065309 0,055125 1,258428 0,088207 0,04525 1,69987 0,00588799813-32 0,031393 0,041437 0,091733 0,062786 0,031393 0,974836 0,037798 0,240737 0,021706 0,07142 0,034658 0,031393 0,776185 0,091139 2,538614 0,38400340613-33 0,031393 0,03755 0,057135 0,084731 0,581501 0,7923113-41 0,008486 0,021706 0,066832 0,019715 0,11673913-42 0,01849 0,0184913-51 0,634684 0,04238 0,269874 0,02119 0,02119 0,107596 0,02119 1,652733 2,770837 0,09739810514-11 2,79785 0,074753 0,648955 0,087592 3,6091514-12 1,093522 0,081786 0,030556 1,205865 0,06782370914-13 0,020284 0,021881 0,04216514-14 0,389814 0,200346 60,2122 0,143889 0,024036 0,628231 0,052755 0,037444 0,343534 62,03225 0,9706596214-21 0,271845 0,383733 0,151826 0,019623 0,82702714-23 0,183397 0,18339714-24 0,182873 0,024036 0,024036 0,120583 0,059079 0,41060714-31 0,009243 0,019623 0,005189 0,441202 0,47525614-32 0,304215 0,053874 0,3580914-51 0,009243 0,004621 0,004621 0,072771 0,09125621-11 0,011695 4,558836 0,713485 0,145233 5,429249 0,13141506721-12 2,904659 0,145233 0,145233 3,195124 0,90909090921-13 0,017168 0,145233 2,178494 0,145233 0,145233 0,290466 0,145233 0,145233 3,212292 0,67817429521-14 3,565778 3,56577821-21 15,58528 3,573165 5196,74 0,144372 25,10816 105,2748 0,622264 14,82546 0,033169 13,1698 6,747776 0,011695 5381,836 0,96560728621-22 1,000723 3,795417 4,193484 0,116684 9,106308 0,41678990121-23 10,97298 2,871453 4,67552 74,30712 3,537489 0,003449 0,003449 96,37146 0,02979567921-24 0,026083 0,116684 23,57165 3,551834 0,184981 4,291474 116,571 0,0055 0,018203 0,002423 148,3398 0,02394389521-31 0,002423 0,016431 7,327019 1,443855 0,051492 0,188174 0,004846 9,0342421-32 0,11007 0,154475 0,051492 0,051492 0,102983 0,051492 0,051492 0,051492 8,32265 0,292193 9,239831 0,01671840421-33 0,051492 0,292193 0,34368521-41 0,080335 0,066832 0,027005 0,002423 0,176595 0,37844781521-51 0,629842 0,03315 0,099449 0,03315 0,066299 0,008308 0,870196 0,72379277222-11 2,864492 0,074402 2,93889422-12 1,234984 0,145233 1,380217 0,10522471522-13 0,145233 0,145233 0,29046622-21 10,91143 2,058284 0,434999 0,116684 0,116684 0,116684 0,116684 0,00754 0,202701 0,768476 14,85016 0,13860343122-22 0,205385 3,420957 0,163987 0,967373 474,9658 0,044685 0,04075 2,00499 0,04075 33,14387 2,774332 0,04178 6,746045 524,5607 0,90545440522-23 0,662866 0,319517 0,116684 4,111994 0,478554 1,20833 6,897945 0,01691569522-24 0,820579 3,66702 0,067123 0,558725 19,79854 0,015727 24,92772 0,00269270722-31 1,044159 1,04415922-32 0,387597 0,118615 0,051492 0,051492 0,051492 1,248858 1,90954522-33 0,051492 0,05149222-51 0,03315 0,0331523-11 14,91973 0,145233 15,06496 0,00964044523-12 0,725905 0,145233 1,452329 5,78999 0,290466 0,145233 0,014119 8,563275 0,16959975623-13 0,032296 0,007689 0,145233 0,726165 0,145233 0,145233 0,145233 1,347081 0,53906527623-14 0,904037 0,90403723-21 0,007689 63,16968 13,03896 6,781989 0,116684 7,61839 0,215774 5,78999 96,73916 0,13478474423-22 0,116684 0,244151 0,115916 0,350051 0,116684 0,090848 1,034332 0,33843152523-23 1,74588 0,020094 0,012032 0,063445 3,086813 9,86023 0,904037 1,021922 1484,63 7,232364 0,075956 52,19415 27,24966 0,019326 28,6444 0,027261 1616,787 0,9182591523-24 10,64219 0,268596 13,87597 1,821765 26,60852 0,01009437523-31 5,521665 13,82704 0,022515 0,051492 19,4227223-32 0,904037 0,007689 0,051492 5,495956 0,630215 0,051492 0,222493 0,277389 0,051492 26,84439 34,53664 0,01824772323-33 0,023079 0,054523 0,07760223-41 0,066832 9,225862 9,29269423-42 0,066832 0,066832 123-51 0,03315 0,132598 0,012032 0,029698 0,207478 0,63909529924-11 10,30768 0,145233 0,145233 0,145233 10,74338 0,01351836824-12 0,096932 0,145233 0,154505 0,290466 0,687136 0,22485327424-13 0,145233 0,145233 1,016631 1,094164 0,145233 2,546493 0,39922771724-21 68,46494 13,01355 1,253714 0,722782 19,89716 0,002423 1,153279 104,5079 0,00691605724-22 1,844291 25,40221 0,116684 8,732116 2,734484 38,82978 0,00300500124-23 0,194081 13,52173 4,547015 0,61275 0,517228 19,392824-24 7,049391 1,405527 0,605428 38,88277 15,98383 40,75567 0,16235 0,574736 1988,776 35,1603 0,021324 0,003449 2,99757 25,36917 1,766128 2159,513 0,92093697624-31 2,735988 24,83374 1,732416 29,3021524-32 0,620212 0,102983 8,396094 0,205967 2,419583 2,462265 21,74505 35,95215 0,00572891924-33 0,789355 0,78935524-41 1,034457 1,03445724-51 0,066299 0,397795 0,099449 3,306131 3,869673 0,10279801631-11 0,076656 0,229969 0,306626 0,7531-12 0,076656 0,229969 0,153313 0,459939 0,531-13 0,153313 0,076656 1,379816 0,076656 1,686442 0,81818181831-14 0,098083 0,153313 0,076656 0,328052 0,46734328331-21 11,02758 0,014028 0,072433 0,233781 0,072433 3,006405 0,231325 0,020335 14,67832 0,0159269531-22 0,038326 0,072433 0,11075931-23 0,072433 11,61057 0,072433 6,172193 17,9276331-24 14,61846 1,112238 0,013765 15,7444631-31 2,280575 12,77216 0,765979 2,9299 16,15563 2,933972 7174,46 10,27571 1,324493 108,465 3,691336 0,003632 1,834667 7337,893 0,97772752531-32 0,976374 0,466368 1,079992 22,97767 132,5001 2,92129 121,6277 0,466368 283,0159 0,46817203831-33 0,951792 0,932736 1,399104 3,176285 0,466368 0,067392 6,993676 0,20005270431-41 0,048357 0,080595 0,66678 0,795733 0,10128436931-42 0,016119 0,016119 131-51 0,0266 0,0266 0,053199 0,10639931-52 0,020023 0,006674 0,02669832-11 0,553998 0,55399832-12 0,092575 0,076656 0,076656 0,383282 0,076656 0,076656 0,782483 0,48982807532-13 1,067606 0,153313 0,076656 0,076656 0,076656 2,936993 0,076656 1,477418 0,153313 6,095268 0,24238775232-14 4,64484 0,076656 4,721497 0,01623562232-21 8,218709 0,089054 4,279186 0,073558 0,012794 1,086489 0,144865 0,072433 1,364552 0,330261 15,6719 0,06932720532-22 0,072433 1,472038 0,053592 0,072433 0,072433 1,054248 0,072433 2,869608 0,36738389532-23 0,315513 0,065994 27,10084 0,045035 3,20764 0,093859 0,144865 0,507028 0,007361 2,959112 0,315513 34,76276 0,01458538532-24 0,004935 0,006595 5,010894 25,52198 0,241229 0,004935 0,035988 0,065265 1,103019 31,9948432-31 0,632116 0,007189 0,004265 0,038778 0,451795 1,393475 0,005948 1,223208 114,5601 8,000582 0,055478 75,06706 39,26177 0,218673 1,209428 0,004265 242,1341 0,31002265532-32 1,044405 0,018275 0,017532 0,021727 7,020252 2,640037 0,018275 13,79494 1,072941 61,61618 58,07818 0,895767 0,067766 0,004496 0,170244 4,281492 3099,44 1,238988 24,92271 8,515607 3284,88 0,9435474632-33 0,466368 3,376071 0,466368 35,30489 2,798208 42,80208 5,252902 90,46689 0,03093073732-41 0,016119 0,012794 0,653451 0,016119 0,257905 0,008548 0,945594 1,91053 0,13499131532-51 0,053199 0,079799 0,0266 0,265997 0,053199 0,478794 0,55555555632-52 2,909703 2,90970333-12 0,076656 0,162957 0,076656 0,31626933-13 0,013926 0,076656 0,076656 0,16723933-14 0,058744 0,0863 0,14504433-21 0,0863 0,072433 0,072433 0,217298 0,448463 0,4845388433-23 0,16283 0,028084 0,162664 0,048163 0,01044 0,41217933-24 0,072433 0,676238 0,072433 0,090397 0,9115 0,07946524633-31 0,039744 1,061797 0,106746 1,20828633-32 0,932736 0,932736 37,43055 0,048163 2,068267 7,187788 0,100618 48,70085 0,04246879933-33 0,027321 4,923931 10,32463 8,007878 0,22281 125,3111 0,466368 0,108352 1272,677 0,009683 0,318029 0,009024 1422,406 0,89473530733-41 0,58713 0,5871333-42 0,191015 0,19101533-51 0,132998 0,116997 0,478794 0,529324 1,258113 0,38056510333-52 0,757252 0,046604 0,80385641-12 0,214382 0,200496 0,200496 0,615374 0,3258117841-13 0,066832 0,066832 141-21 0,952857 0,07871 0,025066 0,426124 0,050132 0,200529 1,733417 0,24582860941-23 0,929657 0,091364 0,025066 1,046087 0,0239617741-24 0,127322 0,039069 0,16639141-31 0,020897 0,067742 2,79926 1,800809 4,68870841-32 0,007631 0,056981 2,746851 0,018994 0,056981 0,144731 0,143608 3,175777 0,01794239341-33 0,081332 0,056981 0,132956 0,271269 0,21005385441-41 0,143608 1,121063 0,520915 0,065762 0,44271 535,9122 0,021426 0,262045 538,4898 0,99521340941-42 0,186584 1,624197 1,81078141-51 0,039069 0,066832 0,48098 0,586881 0,11387665542-21 0,141024 0,14102442-23 0,104761 0,025066 0,12982742-24 0,012924 0,012924 0,02584842-31 0,012924 0,003055 0,01597942-32 0,07136 0,060261 0,13162142-33 0,392884 0,018994 0,411877 0,04611490342-41 0,205502 0,105357 0,31085942-42 0,004859 0,004859 0,060261 0,011099 1,74625 0,705157 21,81028 0,014106 0,089032 24,4459 0,89218549142-52 0,120522 0,060261 0,18078351-11 0,026665 0,02666551-12 0,010495 0,01049551-13 0,076992 0,066832 0,14382451-21 0,002903 0,222216 0,066832 0,066832 0,030616 0,38939951-22 0,061502 0,026665 0,08816751-23 0,046007 0,473617 0,51962451-24 0,002903 0,467323 0,24684 0,075175 0,79224151-31 0,752527 0,551571 1,30409851-32 0,014008 0,206015 0,034721 0,254744 0,80871568451-33 0,617827 0,031996 0,960734 0,169663 1,780219 0,53967189551-41 0,020309 0,206542 0,008308 0,066832 0,708687 1,01067851-42 0,066832 0,066832 151-51 0,029985 0,406235 4,562673 0,82877 0,187453 0,503233 0,32069 0,052021 0,013503 592,415 1,116583 600,4361 0,98664113451-52 0,157571 0,15757152-11 0,186601 0,18660152-31 6,28509 6,234796 12,5198952-32 0,052655 0,05265552-33 0,026746 0,02674652-41 0,054533 0,05453352-42 0,292859 0,068054 0,36091352-51 0,018477 0,018477 0,104126 0,030243 0,17132352-52 0,018477 0,122727 0,148601 0,221695 0,133587 74,84745 75,49254 0,991454958Total 780,4853 0,086878 0,081786 0,03315 180,6575 2,168334 0,005845 0,040392 1,238188 4,12982 43,84832 0,200714 0,432442 0,61358 0,176304 0,09474 2,08339 0,037798 0,029569 0,372221 0,081786 83,44488 0,007689 0,007689 1,156306 3,324233 2,41147 0,145233 5477,239 4,14852 3,534319 3,551834 0,014028 0,154475 0,134443 0,759711 0,290466 0,221889 3,116893 533,141 0,233367 0,228491 0,168175 0,734831 1,645854 7,02851 19,66728 0,518226 1768,458 7,617644 2,196588 0,066832 0,36684 1,408781 0,391827 1,180074 1,338268 0,189116 2549,837 0,263406 0,577042 0,258304 3,221213 1,85405 0,153313 1,001278 1,223208 0,072433 7541,178 156,4131 1,399104 0,080595 0,016119 0,03315 0,076656 0,681828 1,821496 0,076656 1,497842 1,122014 0,714029 0,643437 91,51169 3728,671 4,001108 0,257905 1,05828 0,076656 0,076656 0,084731 0,217298 0,081786 0,072433 3,765611 1363,279 5,252902 0,584112 0,200496 0,066832 0,472123 0,078647 0,135993 0,056981 570,77 0,096566 0,018994 25,39725 0,25255 0,28635 0,960734 0,066832 602,5926 82,7526 25694,55

Prod_accuracy 0,899498 0,941388 0,87428 0,037718 1 0,955456 0,837161 0,919107 0,918244 0,784909 0,675344 0,167718 0,105645 0,467909 0,725038 1 0,72158 0,617038 0,873783 0,903388 0,948788 0,914885 0,812449 1 1 0,497104 0,829055 0,5 0,660364 0,890882 0,5 0,293766 0,197641 0,882417 0,103317 0,662977 0,675479 0,839505 0,03526 0,286906 1 0,361461 0,103091 0,394318 0,861497 0,540088 0,616994 0,779962 0,781936 0,689368 0,890304 0,071392 0,744217 1 0,233482 0,951371 0,847117 1 1 1 0,562139 0,811102 1 0,72537 0,939603 0,710094 0,8203 0,831245 0,699358 1 0,251348 1 1 0,549251 0,933541 0,819695 1 1 0,90257 0,318715 0,419 1 0,938928 0,692088 1 0,858765 0,719453 1 1 0,98311 0,904473 0,900864078



Annex 7. Confusion matrix of CLCCH2012-18 per zone-country

Zone 1: Turkey - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 93: Confusion matrix CLCCH2012-2018 level 2 for zone 1 (Turkey) – BLIND ANALYSIS - In column the validation and line the production

Overall accuracy at the second level = 84.2% Overall accuracy at the third level = 80.8%

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-32 13-51 14-14 21-11 21-12 21-13 21-21 21-22 21-51 22-11 22-13 22-22 23-13 23-21 23-23 23-24 23-51 24-11 24-13 24-21 24-24 24-51 31-13 31-31 31-32 31-51 32-11 32-12 32-13 32-21 32-22 32-23 32-31 32-32 32-51 33-11 33-12 33-13 33-21 33-24 33-33 33-51 41-21 41-41 42-42 51-42 51-51 52-52 Total User_accuracy11-11 39,39143 39,39143 111-13 0,031787 0,054592 0,08637911-21 0,454743 0,031787 0,4865311-23 0,070333 0,07033311-24 0,009834 0,00983411-51 0,06357 0,0635712-11 0,070333 0,07033312-12 0,049686 10,707 0,049686 10,80637 0,99080424612-13 0,070333 0,059534 0,12986712-21 0,070333 0,07033312-23 0,049686 0,04968612-24 0,453883 0,45388312-31 0,149839 0,14983912-32 0,369152 0,36915213-11 0,129562 0,163572 0,081786 0,374921 0,43628565413-12 0,985234 0,327145 0,081786 0,081786 1,475952 0,2216501313-13 6,797448 0,075795 0,221674 0,221674 7,316591 0,92904572113-21 0,063381 0,282776 0,070333 0,41649113-23 0,126043 0,12604313-24 0,031677 0,03167713-31 0,149934 0,14993413-32 0,03068 0,065309 0,0959913-33 0,084731 0,031393 0,095422 0,21154613-51 0,621902 0,04238 0,02119 0,02119 0,02119 0,058658 0,78651 0,02694177914-12 0,086887 0,08688714-14 1,74006 1,74006 114-21 0,003746 0,00374614-32 0,304215 0,30421521-11 4,558836 0,145233 4,70406921-12 0,435699 0,435699 121-13 0,145233 0,145233 0,290466 0,521-21 676,451 0,038114 31,59459 6,747776 11,30661 6,747776 732,8858 0,92299637121-22 0,233367 0,116684 0,233367 0,583418 0,221-23 4,558836 0,320746 4,87958221-24 0,133738 40,57645 40,7101921-32 0,292193 0,29219321-33 0,292193 0,29219321-51 0,331496 0,03315 0,066299 0,03315 0,066299 0,530393 0,62522-13 0,145233 0,14523322-22 1,74371 66,00959 3,745985 1,630094 2,518903 75,64828 0,87258544922-24 0,387597 0,116684 4,421259 4,9255422-32 0,387597 0,051492 0,43908923-12 0,145233 0,014119 0,15935223-13 0,145233 0,145233 0,290466 0,523-21 9,927763 0,700101 0,350051 0,116684 11,0946 0,06310288823-23 0,042681 61,44209 5,061432 66,5462 0,92329970823-24 0,116684 0,116684 0,233367 0,523-32 6,368381 6,36838123-51 0,03315 0,03315 124-11 0,290466 0,145233 0,145233 0,580932 0,2524-13 0,145233 0,145233 0,435699 0,290466 0,145233 1,161863 0,37524-21 25,53133 0,116684 0,028552 25,67656 0,00454435924-22 4,892382 3,282209 8,17459124-24 0,044517 21,0786 9,485792 8,159192 398,1549 9,506923 446,4299 0,89186426924-31 4,849701 4,84970124-32 0,051492 0,051492 3,161931 3,26491424-51 0,066299 0,03315 0,298346 0,099449 0,03315 0,530393 0,562531-13 0,076656 0,459939 0,076656 0,613252 0,7531-24 2,086095 2,08609531-31 2,086095 454,0435 4,349059 0,075222 14,23931 474,7932 0,95629742231-32 6,253451 2,33184 11,00409 19,58938 0,11903588831-51 0,0266 0,026632-12 0,076656 0,076656 0,153313 0,532-13 0,076656 0,919877 0,076656 1,07319 0,85714285732-21 0,015563 0,507028 0,072433 0,055592 0,650616 0,77930480732-22 0,072433 0,072433 132-24 5,491729 0,217298 5,70902732-31 0,466368 6,245392 6,7117632-32 0,047911 0,067766 4,941475 13,89143 5,470003 673,2835 697,7021 0,96500141332-33 10,27735 28,94215 39,2194932-51 0,053199 0,0266 0,0266 0,106399 0,0266 0,239397 0,44444444433-12 0,076656 0,076656 0,076656 0,22996933-13 0,076656 0,076656 0,15331333-21 0,072433 0,072433 0,072433 0,144865 0,362163 0,433-24 0,072433 0,144865 0,072433 0,28973 0,2533-32 21,30682 5,096447 26,4032733-33 4,878502 10,06445 4,878502 93,34547 355,7704 0,290708 469,2281 0,7582036633-51 0,0266 0,106399 0,0266 0,159598 0,16666666741-21 0,03144 0,025066 0,056506 0,44360097441-41 0,286761 8,664127 8,950887 0,96796289141-51 0,029985 0,02998542-33 0,392884 0,39288442-42 2,078873 0,392884 5,571834 8,043591 0,69270486351-11 0,026665 0,02666551-13 0,023243 0,066832 0,09007551-21 0,187453 0,066832 0,25428551-22 0,026665 0,02666551-24 0,039288 0,24684 0,28612751-32 0,014008 0,01400851-42 0,066832 0,066832 151-51 0,082007 0,24684 0,374906 57,51608 58,21983 0,98791214552-11 0,186601 0,18660152-51 0,030243 0,03024352-52 2,170321 2,170321 1Total 41,20862 16,84777 0,163572 0,390526 7,863339 0,073773 0,02119 1,787971 0,081786 0,657588 0,145233 740,7446 0,116684 0,461365 0,145233 0,066832 80,80558 0,145233 0,772534 81,00794 0,233367 0,21293 0,155067 0,580932 0,116684 517,1901 0,391245 0,536595 491,1145 6,732391 0,03315 0,076656 0,298546 1,07832 0,579461 0,072433 0,072433 0,126714 863,0667 0,697338 0,076656 0,076656 0,145233 0,144865 0,072433 399,1713 0,053199 0,025066 9,363323 5,862542 0,066832 57,66453 2,200564 3331,796

Prod_accuracy 0,955903 0,635514 1 0,837702 0,864448 1 0,973204 0,662571 1 0,913204 1 0,718511 0,816894 1 0,90624 0,75847 0,5 0,155683 0,936582 0,75 1 0,769842 0,762556 0,857143 0,924517 0,346361 0,256766 0,853065 0,875 1 0,780106 0,152578 1 1 0,891273 0,5 1 0,925326 0,950413 1 0,997425 0,986257 0,848207779



Table 94: Confusion matrix CLCCH2012-2018 level 2 for zone 1 (Turkey) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-31 13-32 13-51 14-14 21-11 21-12 21-13 21-21 21-22 21-24 21-51 22-13 22-22 23-13 23-21 23-23 23-24 23-51 24-11 24-13 24-21 24-24 24-51 31-13 31-31 31-32 31-51 32-11 32-12 32-13 32-21 32-22 32-31 32-32 32-51 33-11 33-12 33-13 33-21 33-24 33-32 33-33 33-51 41-21 41-41 42-42 51-21 51-42 51-51 52-52 Total User_accuracy11-11 39,39143 39,39143 111-13 0,031787 0,054592 0,08637911-21 0,454743 0,031787 0,4865311-23 0,070333 0,07033311-24 0,009834 0,00983411-51 0,06357 0,0635712-11 0,070333 0,07033312-12 0,049686 10,707 0,049686 10,80637 0,99080424612-13 0,070333 0,059534 0,12986712-21 0,070333 0,07033312-23 0,049686 0,04968612-24 0,084731 0,369152 0,45388312-31 0,149839 0,14983912-32 0,369152 0,36915213-11 0,129562 0,163572 0,081786 0,374921 0,43628565413-12 0,985234 0,327145 0,081786 0,081786 1,475952 0,2216501313-13 6,797448 0,221674 0,075795 0,221674 7,316591 0,92904572113-21 0,065062 0,063381 0,217715 0,070333 0,41649113-23 0,05571 0,070333 0,12604313-24 0,031677 0,03167713-31 0,065309 0,084625 0,14993413-32 0,03068 0,065309 0,0959913-33 0,031393 0,084731 0,095422 0,21154613-51 0,621902 0,04238 0,02119 0,02119 0,02119 0,058658 0,78651 0,02694177914-12 0,086887 0,08688714-14 1,74006 1,74006 114-21 0,003746 0,00374614-32 0,304215 0,30421521-11 4,558836 0,145233 4,70406921-12 0,435699 0,435699 121-13 0,145233 0,145233 0,290466 0,521-21 676,451 0,038114 31,59459 6,747776 11,30661 6,747776 732,8858 0,92299637121-22 0,233367 0,116684 0,233367 0,583418 0,221-23 4,558836 0,320746 4,87958221-24 6,86446 0,07274 33,77299 40,71019 0,00178678121-32 0,292193 0,29219321-33 0,292193 0,29219321-51 0,331496 0,03315 0,066299 0,03315 0,066299 0,530393 0,62522-13 0,145233 0,14523322-22 0,113616 65,84923 7,166537 0,387597 2,131306 75,64828 0,87046557722-24 1,161072 0,387597 3,376871 4,9255422-32 0,387597 0,051492 0,43908923-12 0,145233 0,014119 0,15935223-13 0,290466 0,290466 123-21 6,717087 2,322211 1,938616 0,116684 11,0946 0,20931010223-23 0,042681 61,44209 5,061432 66,5462 0,92329970823-24 0,116684 0,116684 0,233367 0,523-32 6,368381 6,36838123-51 0,03315 0,03315 124-11 0,290466 0,145233 0,145233 0,580932 0,2524-13 0,145233 0,145233 0,435699 0,290466 0,145233 1,161863 0,37524-21 14,38224 6,327937 0,116684 4,849701 25,67656 0,00454435924-22 4,892382 3,282209 8,17459124-24 0,014119 17,91667 9,485792 8,159192 401,3472 9,506923 446,4299 0,89901506324-31 4,849701 4,84970124-32 0,051492 0,051492 3,161931 3,26491424-51 0,066299 0,364645 0,066299 0,03315 0,530393 0,687531-13 0,076656 0,459939 0,076656 0,613252 0,7531-24 2,086095 2,08609531-31 2,175955 457,1367 4,349059 0,075222 11,05624 474,7932 0,9628122731-32 6,253451 2,33184 11,00409 19,58938 0,11903588831-51 0,0266 0,026632-12 0,076656 0,076656 0,153313 0,532-13 0,076656 0,076656 0,843221 0,076656 1,07319 0,78571428632-21 0,507028 0,143588 0,650616 0,77930480732-22 0,072433 0,072433 132-24 5,491729 0,217298 5,70902732-31 0,466368 6,098663 0,146729 6,71176 0,02186152132-32 0,021727 13,89143 5,470003 0,067766 678,2512 697,7021 0,97212144232-33 10,27735 28,94215 39,2194932-51 0,053199 0,0266 0,0266 0,106399 0,0266 0,239397 0,44444444433-12 0,076656 0,076656 0,076656 0,22996933-13 0,076656 0,076656 0,15331333-21 0,072433 0,072433 0,217298 0,362163 0,633-24 0,072433 0,144865 0,072433 0,28973 0,2533-32 19,61525 6,788024 26,4032733-33 4,878502 10,06445 4,878502 88,46696 360,6489 0,290708 469,2281 0,76860052833-51 0,132998 0,0266 0,159598 0,16666666741-21 0,03144 0,025066 0,056506 0,44360097441-41 0,286761 8,664127 8,950887 0,96796289141-51 0,029985 0,02998542-33 0,392884 0,39288442-42 1,685989 0,392884 5,964718 8,043591 0,74154916751-11 0,026665 0,02666551-13 0,023243 0,066832 0,09007551-21 0,187453 0,066832 0,25428551-22 0,026665 0,02666551-24 0,24684 0,039288 0,28612751-32 0,014008 0,01400851-42 0,066832 0,066832 151-51 0,029985 0,24684 0,187453 0,187453 0,052021 57,51608 58,21983 0,98791214552-11 0,186601 0,18660152-51 0,030243 0,03024352-52 2,170321 2,170321 1Total 41,17822 16,91283 0,163572 0,390526 7,778608 0,084731 0,295447 0,02119 1,761787 0,081786 0,657588 0,145233 723,2444 0,116684 0,07274 0,461365 0,221889 81,68867 0,290466 6,95348 84,30023 0,233367 0,186331 0,155067 0,580932 0,116684 520,7743 0,457544 0,536595 492,7531 6,732391 0,03315 0,076656 0,298546 1,001664 0,507028 0,140199 0,273443 857,8303 0,690788 0,076656 0,076656 0,084731 0,217298 0,072433 0,187453 405,1611 0,053199 0,025066 9,071129 6,547619 0,052021 0,066832 57,70382 2,200564 3331,796

Prod_accuracy 0,956608 0,633069 1 0,837702 0,873864 1 0,987668 0,662571 1 0,935301 1 1 0,718511 0,8061 1 0,333964 0,728848 0,5 0,177907 0,936582 0,75 1 0,770674 0,796962 0,857143 0,927719 0,346361 0,256766 0,84182 1 0,516642 0,536599 0,790659 0,154025 1 1 0,890137 0,5 1 0,955132 0,910975 1 0,996746 0,986257 0,853734258



Zone 2: France - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 95: Confusion matrix CLCCH2012-2018 for zone 2 (France) –BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =94.2 % Overall accuracy at the third level = 92,4%

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-23 13-24 13-32 13-51 14-14 21-21 22-12 22-21 22-22 23-11 23-23 24-13 24-24 31-11 31-13 31-31 31-32 32-12 32-21 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 100,0008 0,038112 100,0389 0,9996190312-11 0,082104 0,08210412-12 0,239275 22,95987 0,021559 23,22071 0,9887671812-13 0,081786 0,08178612-21 0,021559 0,198635 0,009432 0,22962712-23 0,013954 0,009432 0,009432 0,03281912-24 0,048471 0,04847113-11 0,796039 0,245359 1,041398 0,23560517813-12 0,373949 0,490717 0,081786 0,081786 0,081786 1,110025 0,44207759613-13 0,063371 1,497394 1,560765 0,95939722113-14 0,081786 0,08178613-21 0,257928 0,25792813-22 0,264245 0,26424513-23 0,059138 0,414966 0,474105 0,12473716513-24 0,029569 0,47472 0,50428913-31 0,414966 0,031393 0,44635913-32 0,031393 0,031393 0,414966 0,477752 0,065709513-33 0,063181 0,06318113-51 0,04238 1,334067 1,376447 0,03078938314-12 0,248707 0,24870714-14 5,285678 0,248707 5,534385 0,95506144614-21 0,447343 0,44734321-13 0,00978 0,0097821-21 625,4897 0,022921 13,05424 638,5669 0,97952107621-24 12,9952 0,101291 13,0964922-11 0,96765 0,9676522-13 0,145233 0,14523322-21 0,37487 0,116684 0,491554 0,23737704222-22 0,045399 0,37487 46,77715 1,12461 3,480178 0,045399 51,84761 0,90220464122-23 0,922251 0,92225123-11 0,145233 0,14523323-21 0,116684 0,11668423-23 332,832 21,70657 0,019326 354,5579 0,93872399123-24 7,232364 7,23236424-11 0,145233 0,14523324-12 0,145233 0,290466 0,43569924-13 0,290466 0,290466 124-21 0,071319 0,07131924-22 4,953601 0,035659 4,9892624-24 4,917941 9,835883 284,7779 6,211867 305,7436 0,93142721724-31 0,02544 0,0254424-32 0,051492 0,05149231-11 0,076656 0,076656 131-13 0,076656 0,076656 131-31 613,7362 0,466254 0,466254 614,6687 0,99848291131-32 1,274712 10,26009 0,341976 11,87678 0,86387828831-51 0,0266 0,026632-12 0,076656 0,076656 132-13 0,092284 0,09228432-21 0,009459 0,072433 0,081892 0,88449429632-22 0,072433 0,07243332-23 1,112619 1,11261932-24 0,018918 0,01891832-31 16,79582 0,466368 5,130047 1,15662 23,54885 0,21784700132-32 3,753634 6,206805 4,963062 144,501 159,4245 0,90639139632-33 0,466368 0,46636833-24 0,13311 0,1331133-33 3,764374 34,3186 38,08297 0,90115335541-41 3,648897 3,648897 142-42 0,053398 3,64972 3,703117 0,98558035751-12 0,010495 0,01049551-24 0,010495 0,01049551-51 0,459499 0,249265 13,519 14,22777 0,95018441452-42 0,274382 0,27438252-51 0,104126 0,10412652-52 3,090929 3,090929 1Total 102,2905 23,67796 0,245359 0,490717 1,629027 0,172318 0,081786 0,031393 0,04238 5,367464 645,2191 0,145233 0,116684 51,995 0,145233 350,2268 0,290466 338,0753 0,076656 0,076656 643,9364 10,75306 0,076656 0,144865 5,64702 151,3608 34,38178 3,702295 3,924102 14,96769 3,090929 2392,381

Prod_accuracy 0,977616 0,969673 1 1 0,919195 0,343195 1 1 0,984763 0,969422 1 0,899647 0,950333 1 0,842351 1 1 0,953101 0,954156 1 0,5 0,908452 0,954679 0,998162 0,985577 0,930078 0,903212 1 0,941761824



Table 96: Confusion matrix CLCCH2012-2018 for zone 2 (France) –PLAUSIBILITY ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =94.5 % Overall accuracy at the third level =92.9 %

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-23 13-24 13-32 13-51 14-14 21-21 22-12 22-21 22-22 23-11 23-23 23-24 24-13 24-24 31-11 31-13 31-31 31-32 32-12 32-21 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 100,0008 0,038112 100,0389 0,9996190312-11 0,082104 0,08210412-12 0,239275 22,95987 0,021559 23,22071 0,9887671812-13 0,081786 0,08178612-21 0,021559 0,198635 0,009432 0,22962712-23 0,013954 0,009432 0,009432 0,03281912-24 0,048471 0,04847113-11 0,747277 0,245359 0,048761 1,041398 0,23560517813-12 0,310578 0,490717 0,063371 0,081786 0,081786 0,081786 1,110025 0,44207759613-13 0,063371 1,497394 1,560765 0,95939722113-14 0,081786 0,08178613-21 0,257928 0,25792813-22 0,201064 0,063181 0,26424513-23 0,059138 0,414966 0,474105 0,12473716513-24 0,029569 0,47472 0,504289 0,05863549413-31 0,414966 0,031393 0,44635913-32 0,031393 0,446359 0,477752 0,934290513-33 0,063181 0,06318113-51 0,072103 1,304344 1,376447 0,05238336114-12 0,248707 0,24870714-14 5,285678 0,248707 5,534385 0,95506144614-21 0,198635 0,248707 0,44734321-13 0,00978 0,0097821-21 625,4897 0,022921 13,05424 638,5669 0,97952107621-24 12,9952 0,101291 13,0964922-11 0,96765 0,9676522-13 0,145233 0,14523322-21 0,37487 0,116684 0,491554 0,23737704222-22 0,045399 0,37487 46,77715 1,12461 3,480178 0,045399 51,84761 0,90220464122-23 0,922251 0,92225123-11 0,145233 0,14523323-21 0,116684 0,11668423-23 332,832 7,232364 14,4742 0,019326 354,5579 0,93872399123-24 7,232364 7,23236424-11 0,145233 0,14523324-12 0,145233 0,290466 0,43569924-13 0,290466 0,290466 124-21 0,071319 0,07131924-22 4,953601 0,035659 4,9892624-24 9,835883 289,6959 6,211867 305,7436 0,94751239824-31 0,02544 0,0254424-32 0,051492 0,05149231-11 0,076656 0,076656 131-13 0,076656 0,076656 131-31 614,2024 0,466254 614,6687 0,99924145531-32 1,103724 10,26009 0,170988 0,341976 11,87678 0,86387828831-51 0,0266 0,026632-12 0,076656 0,076656 132-13 0,092284 0,09228432-21 0,009459 0,072433 0,081892 0,88449429632-22 0,072433 0,07243332-23 1,112619 1,11261932-24 0,018918 0,01891832-31 14,429 0,497048 6,173932 1,239445 1,209428 23,54885 0,26217546532-32 3,753634 6,206805 3,086245 0,83663 145,5412 159,4245 0,91291603332-33 0,466368 0,46636833-24 0,13311 0,1331133-33 3,764374 34,3186 38,08297 0,90115335541-41 3,648897 3,648897 142-42 3,703117 3,703117 151-12 0,010495 0,01049551-24 0,010495 0,01049551-51 0,459499 0,249265 13,519 14,22777 0,95018441452-42 0,274382 0,27438252-51 0,104126 0,10412652-52 3,090929 3,090929 1Total 102,2417 23,61458 0,245359 0,490717 1,662829 0,172318 0,111355 0,446359 0,072103 5,5661 640,1241 0,145233 0,116684 51,93182 0,145233 350,2755 7,232364 0,290466 335,7393 0,076656 0,076656 639,988 10,78374 0,076656 0,144865 7,232269 152,132 35,59121 3,648897 3,9775 14,93797 3,090929 2392,381

Prod_accuracy 0,978082 0,972275 1 1 0,90051 0,343195 0,265539 1 1 0,94962 0,977138 1 0,900742 0,9502 1 0,86286 1 1 0,959709 0,951441 1 0,5 0,853665 0,956677 0,964244 1 0,931016 0,905009 1 0,945104068



Zone 3: Spain - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 97: Confusion matrix CLCCH2012-2018 for zone 3 (Spain) – BLIND ANALYSIS -In column the validation and line the production

Overall accuracy at the second level = 83,5% Overall accuracy at the third level = 88,8%

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-14 13-21 13-24 13-32 13-51 14-14 21-21 21-22 22-12 22-21 22-22 22-32 23-12 23-13 23-21 23-22 23-23 23-42 23-51 24-24 24-51 31-21 31-31 31-32 31-33 32-13 32-21 32-22 32-23 32-31 32-32 32-33 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 28,87043 0,513086 29,38351 0,98253831911-12 0,040454 0,04045411-14 1,026852 1,02685211-23 0,513086 0,51308611-24 0,513086 0,51308612-11 0,032214 0,092366 0,12458112-12 13,82951 0,082878 13,91239 0,99404289312-13 0,07142 0,035064 0,045899 0,15238412-21 0,102343 1,15659 1,25893312-22 0,035064 0,03506412-23 0,045899 0,164709 0,21060812-24 0,07142 0,0714213-11 0,631871 0,081786 0,713657 0,11460158213-12 0,365501 0,245359 0,07142 0,68228 0,35961604713-13 5,121528 5,121528 113-14 0,081786 0,512893 0,594679 0,1375299813-21 0,029569 0,582209 0,611778 0,04833324513-22 0,053289 0,05328913-23 0,085627 0,029569 0,37894 0,177415 0,512893 0,59919 0,029569 0,581406 2,3946113-24 0,584313 0,58431313-32 0,056058 0,031393 0,031393 0,07142 0,068513 0,258777 0,12131234413-33 0,031393 0,03139314-11 0,074753 0,074753 0,14950714-12 0,193515 0,19351514-14 0,197064 2,46784 2,664905 0,92605195914-21 0,092366 0,09236621-21 516,0059 0,090848 11,03935 527,1361 0,9788855321-22 0,308992 1,866936 0,469269 2,645198 0,7057833121-23 0,116684 0,11668421-24 2,583306 5,213915 7,79722121-32 0,051492 0,05149221-33 0,051492 0,05149221-41 0,066832 0,06683221-51 0,03315 0,0331522-11 1,20833 1,2083322-12 1,20833 0,145233 1,353563 0,10729673422-21 5,051488 0,466734 0,151941 5,670163 0,08231406222-22 1,164513 0,047303 175,683 7,163215 184,058 0,95449786922-23 1,20833 1,2083322-24 1,243588 1,24358822-32 0,126105 0,12610522-33 0,051492 0,05149223-12 0,145233 0,145233 123-13 0,145233 0,145233 0,290466 0,523-21 0,116684 0,233367 0,350051 0,66666666723-22 0,116684 0,090848 0,116684 0,324215 0,35989501123-23 0,063445 29,36843 1,818258 3,636515 34,88664 0,84182433523-24 0,063445 1,818258 1,88170323-32 0,063445 0,06344523-42 0,066832 0,066832 123-51 0,03315 0,03315 124-21 4,868711 2,608935 0,047303 7,52494924-22 6,025566 0,144688 6,17025424-24 2,080787 1,64743 2,608935 205,9829 3,698035 216,0181 0,95354469624-32 6,766217 9,414509 16,1807331-21 0,072433 0,072433 131-23 5,377373 5,37737331-24 0,072433 0,07243331-31 2,964721 434,7528 0,156258 12,95423 450,828 0,96434292131-32 0,466368 4,197311 15,83325 0,466368 20,9633 0,20022189331-33 0,932736 0,932736 1,865472 0,531-42 0,016119 0,01611932-13 0,065994 0,06599432-21 6,589852 0,072433 4,227975 0,144865 0,072433 0,144865 11,25242 0,01287413532-22 0,072433 0,072433 132-23 0,065994 20,79771 0,217298 21,08101 0,01030775332-24 4,185774 8,383517 12,5692932-31 2,899891 2,308857 5,20874732-32 5,252902 4,188395 22,24769 2,210825 0,085059 461,6127 495,5976 0,93142647732-33 0,932736 5,252902 5,252902 11,4385433-31 0,101969 0,101969 0,20393833-32 4,503304 0,156258 4,65956233-33 1,556692 1,556692 2,311674 37,17309 42,59814 0,8726456633-52 0,020004 0,02000441-23 0,020004 0,02000441-32 0,031045 0,03104541-41 0,206588 0,206588 141-42 0,186584 1,492674 1,67925842-21 0,141024 0,14102442-41 0,077643 0,07764342-42 1,9942 1,9942 151-21 0,015788 0,01578851-22 0,061502 0,06150251-51 0,199589 13,5404 13,73999 0,98547388252-32 0,052655 0,05265552-52 1,180807 1,180807 1Total 31,0229 15,93436 0,081786 0,274928 6,328301 0,081786 0,029569 0,031393 0,208808 0,065994 4,520478 543,7478 2,030923 0,145233 0,466734 185,4082 0,051492 0,145233 0,145233 0,233367 0,116684 72,76272 0,066832 0,03315 279,5285 0,03315 0,072433 443,8068 4,369689 0,932736 0,145233 0,144865 0,072433 0,28973 0,085059 520,6397 0,051492 42,78184 5,723717 3,486873 14,00677 1,200811 2181,306

Prod_accuracy 0,930617 0,867905 1 0,892447 0,809305 1 1 0,150343 0,545925 0,94898 0,919255 1 1 0,947547 1 1 1 1 0,403619 1 1 0,736894 1 0,979599 0,960552 1 1 1 0,75 0,886626 0,868899 0,036093 0,571916 0,966704 0,983341 0,888053615



Table 98: Confusion matrix CLCCH2012-2018 for zone 3 (Spain) – PLAUSIBILITY ANALYSIS -In column the validation and line the production

Overall accuracy at the second level =89,3 % Overall accuracy at the third level =83,9 %



Zone 4: Sweden - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 99: Confusion matrix CLCCH2012-2018 for zone 4 (Sweden) – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 14-14 21-21 22-22 23-23 24-12 24-24 31-11 31-13 31-31 31-32 31-41 32-21 32-31 32-32 33-32 33-33 41-13 41-41 42-42 51-51 52-52 Total User_accuracy11-11 17,94618 0,025868 17,97205 0,99856063411-12 0,009682 0,00968211-14 0,004362 0,00532 0,00968211-23 0,028335 0,02833511-31 0,004362 0,00436212-11 0,116012 0,116012 0,23202312-12 4,193442 4,193442 112-21 0,277172 0,27717212-24 0,116012 0,00964 0,12565212-31 0,028335 0,241663 0,26999813-11 0,012065 0,081786 0,006032 0,099884 0,81881579313-12 0,081786 0,081786 113-13 0,062603 1,084068 0,041777 1,188448 0,91217126513-21 0,029569 0,02956913-24 0,037965 0,03796513-31 0,111138 0,11113814-12 0,158846 0,15884614-14 3,581866 3,581866 121-11 0,011695 0,01169521-21 2,537884 108,6486 5,062234 7,578569 2,52619 126,3535 0,85987819821-24 0,00448 0,0044821-31 0,007064 0,00706422-22 0,045381 0,015127 0,015127 0,075634 0,623-21 0,01344 0,00448 0,01792123-23 0,560061 5,619426 1,680184 2,80568 0,565435 11,23079 0,50035911423-24 0,00448 0,0044823-31 0,010748 0,01074824-11 0,789355 0,78935524-24 0,25202 0,789355 23,76619 1,836104 0,50404 27,14771 0,87544000324-33 0,789355 0,78935531-12 0,076656 0,07665631-13 0,153313 0,153313 131-21 0,011352 0,072433 0,08378531-31 1258,154 18,92246 26,15569 1,767275 1305 0,96410312431-32 34,04486 0,466368 20,78793 55,29915 0,61564880131-41 0,016119 0,016119 132-13 0,010389 0,01038932-21 0,00987 0,00987 0,0197432-24 0,004935 0,00987 0,01480532-31 0,466368 30,71968 3,834132 0,004935 24,25113 12,85692 72,13317 0,33619944832-32 0,862182 292,5772 2,330416 295,7698 0,989205832-41 0,023389 0,02338933-33 0,036405 0,036405 0,023431 46,41476 46,511 0,99793080141-13 0,066832 0,066832 141-32 0,056981 0,05698141-41 122,3144 122,3144 141-51 0,170851 0,17085142-32 0,011099 0,01109942-42 0,011099 0,033298 0,044397 0,7551-31 0,24964 0,2496451-51 3,305159 154,2139 157,5191 0,97901740952-31 0,045495 0,04549552-33 0,026746 0,02674652-41 0,026746 0,02674652-52 1,761697 1,761697 1Total 22,50223 4,788566 0,081786 0,111355 1,094458 3,596483 109,8658 0,045381 10,72703 0,00964 33,08713 0,028335 0,229969 1300,971 56,94599 0,016119 0,004935 24,7175 354,2895 0,023431 48,74518 0,066832 124,1318 0,033298 154,3848 1,761697 2252,26

Prod_accuracy 0,797529 0,87572 1 0,734461 0,990507 0,995936 0,988921 1 0,523857 0,718291 0,666667 0,967089 0,597845 1 0,981132 0,825814 0,952192 1 0,985359 1 0,998893 1 0,931975411



Table 100: Confusion matrix CLCCH2012-2018 for zone 4 (Sweden) – PLAUSIBILITY ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =93.5 % Overall accuracy at the third level =93 %

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 14-14 21-21 22-22 23-23 24-12 24-24 31-11 31-13 31-31 31-32 31-41 32-21 32-31 32-32 33-32 33-33 41-13 41-41 42-42 51-51 52-52 Total User_accuracy11-11 17,94618 0,025868 17,97205 0,99856063411-12 0,009682 0,00968211-14 0,004362 0,00532 0,00968211-23 0,028335 0,02833511-31 0,004362 0,00436212-11 0,116012 0,116012 0,23202312-12 4,193442 4,193442 112-21 0,277172 0,27717212-24 0,116012 0,00964 0,12565212-31 0,028335 0,241663 0,26999813-11 0,012065 0,081786 0,006032 0,099884 0,81881579313-12 0,081786 0,081786 113-13 0,062603 1,084068 0,041777 1,188448 0,91217126513-21 0,029569 0,02956913-24 0,037965 0,03796513-31 0,111138 0,11113814-12 0,158846 0,15884614-14 3,581866 3,581866 121-11 0,011695 0,01169521-21 2,537884 108,6486 5,062234 7,578569 2,52619 126,3535 0,85987819821-24 0,00448 0,0044821-31 0,007064 0,00706422-22 0,045381 0,015127 0,015127 0,075634 0,623-21 0,01344 0,00448 0,01792123-23 0,560061 5,619426 1,680184 2,80568 0,565435 11,23079 0,50035911423-24 0,00448 0,0044823-31 0,010748 0,01074824-11 0,789355 0,78935524-24 0,25202 0,789355 23,76619 1,836104 0,50404 27,14771 0,87544000324-33 0,789355 0,78935531-12 0,076656 0,07665631-13 0,153313 0,153313 131-21 0,011352 0,072433 0,08378531-31 1258,154 18,92246 26,15569 1,767275 1305 0,96410312431-32 34,04486 0,466368 20,78793 55,29915 0,61564880131-41 0,016119 0,016119 132-13 0,010389 0,01038932-21 0,00987 0,00987 0,0197432-24 0,004935 0,00987 0,01480532-31 0,466368 30,71968 3,834132 0,004935 24,25113 12,85692 72,13317 0,33619944832-32 0,862182 292,5772 2,330416 295,7698 0,989205832-41 0,023389 0,02338933-33 0,036405 0,036405 0,023431 46,41476 46,511 0,99793080141-13 0,066832 0,066832 141-32 0,056981 0,05698141-41 122,3144 122,3144 141-51 0,170851 0,17085142-32 0,011099 0,01109942-42 0,011099 0,033298 0,044397 0,7551-31 0,24964 0,2496451-51 3,305159 154,2139 157,5191 0,97901740952-31 0,045495 0,04549552-33 0,026746 0,02674652-41 0,026746 0,02674652-52 1,761697 1,761697 1Total 22,50223 4,788566 0,081786 0,111355 1,094458 3,596483 109,8658 0,045381 10,72703 0,00964 33,08713 0,028335 0,229969 1300,971 56,94599 0,016119 0,004935 24,7175 354,2895 0,023431 48,74518 0,066832 124,1318 0,033298 154,3848 1,761697 2252,26

Prod_accuracy 0,797529 0,87572 1 0,734461 0,990507 0,995936 0,988921 1 0,523857 0,718291 0,666667 0,967089 0,597845 1 0,981132 0,825814 0,952192 1 0,985359 1 0,998893 1 0,931975411



Zone 5: Germany - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 101: Confusion matrix CLCCH2012-2018 for zone 5 (Germany) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =87.5 % Overall accuracy at the third level =84,4 %

CLCC_Lvl2 11-11 12-12 12-13 13-12 13-13 13-24 13-32 13-51 14-14 21-11 21-12 21-13 21-21 21-32 22-22 23-11 23-23 23-51 24-24 31-12 31-13 31-31 31-32 32-31 32-32 33-33 33-51 41-21 41-41 42-42 51-51 52-52 Total User_accuracy11-11 92,36242 0,053258 2,086548 94,50223 0,97735708311-12 2,139806 2,13980611-14 2,086548 2,08654811-21 2,086548 2,08654811-23 4,173096 4,17309612-11 0,159195 0,15919512-12 0,69684 23,03411 23,73095 0,97063581212-21 0,130234 0,13023412-23 0,145514 0,028961 0,063151 0,23762512-31 0,040656 0,69684 0,69684 1,43433613-11 0,152806 0,15280613-12 0,279726 0,245359 0,081786 0,60687 0,40430152413-13 4,252649 4,252649 113-21 0,035026 0,375555 0,41058113-23 0,029569 0,029569 0,076652 0,029569 0,017513 0,029569 0,059138 0,2715813-24 0,087592 0,08759213-31 0,031393 0,061719 0,09311213-32 0,062786 0,025829 0,088615 0,70852108813-33 0,025829 0,02582913-51 0,02119 0,02119 114-11 1,94156 0,087592 2,02915214-14 6,631395 0,343534 0,343534 7,318464 0,90611844914-21 0,151826 0,15182614-23 0,151826 0,15182614-31 0,343534 0,34353421-11 0,290466 0,290466 121-12 0,145233 0,145233 121-13 0,145233 0,145233 0,145233 0,435699 0,33333333321-21 548,9634 0,132154 549,0955 0,99975932521-23 29,26752 29,2675221-31 0,115916 0,11591621-32 0,051492 0,051492 122-11 0,261013 0,26101322-21 0,261013 0,26101322-22 9,229984 0,900048 10,13003 0,91115055822-23 0,319517 0,639034 0,95855223-11 5,444464 0,145233 5,589697 0,02598225623-12 0,145233 0,14523323-13 0,020309 0,145233 0,16554223-21 33,84148 5,560379 39,4018523-22 0,115916 0,11591623-23 0,020094 0,431646 180,6699 21,77786 10,88893 213,7884 0,84508738423-31 10,88893 10,8889323-32 5,444464 0,124302 5,56876623-41 0,066832 0,06683224-23 0,510752 0,136652 0,64740424-24 0,18705 0,18705 5,078435 0,18705 5,639584 0,90049809824-31 0,18705 0,1870531-13 0,153313 0,153313 131-21 2,933972 2,933972 5,86794531-23 0,072433 6,221931 4,995687 11,2900531-31 2,933972 427,0836 1,246502 431,2641 0,99030646331-32 1,692612 1,399104 10,09292 13,18464 0,10611622331-51 0,0266 0,026632-11 0,315513 0,31551332-14 0,315513 0,31551332-21 0,013926 0,01392632-23 0,315513 1,455181 0,01044 0,315513 2,09664732-31 0,286927 0,337065 3,314271 0,013926 0,489573 4,441762 0,00313518832-32 0,67413 15,62149 0,337065 16,63268 0,93920437833-13 0,013926 0,01392633-23 0,072433 0,096325 0,01044 0,17919733-32 0,182203 0,048163 0,23036533-33 0,046681 0,941165 0,987846 0,95274448933-51 0,0266 0,0266 141-21 0,075198 0,075198 141-41 4,727867 4,727867 142-23 0,0445 0,044542-33 0,018994 0,01899442-42 1,243839 0,0445 1,288339 0,96545943651-13 0,024015 0,02401551-23 0,473617 0,47361751-24 0,459909 0,45990951-31 0,459909 0,45990951-41 0,020309 0,013708 0,03401751-51 15,87412 15,87412 152-41 0,027787 0,02778752-52 0,055953 1,16116 1,217112 0,954028262Total 107,5935 26,02868 2,086548 0,274928 4,345925 0,029569 0,17083 0,02119 9,033456 0,435699 0,290466 0,145233 587,6121 0,051492 9,229984 0,145233 225,5189 0,029569 35,47233 2,933972 0,325145 463,2945 1,399104 0,129841 28,75401 0,992824 0,037039 0,075198 5,173258 1,318785 17,51485 1,20566 1531,67

Prod_accuracy 0,858439 0,884951 0,892447 0,978537 0,367533 1 0,734093 0,666667 0,5 1 0,934227 1 1 1 0,80113 0,143166 0,471521 0,92184 1 0,107252 0,54328 0,947968 0,718147 1 0,913905 0,94317 0,906323 0,963091 0,874634062



Table 102: Confusion matrix CLCCH2012-2018 for zone 5 (Germany) – PLAUSIBILITY ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =88% Overall accuracy at the third level =85.5 %

CLCC_Lvl2 11-11 12-12 12-13 13-12 13-13 13-21 13-24 13-32 13-51 14-14 21-11 21-12 21-13 21-21 21-23 21-32 22-22 23-11 23-21 23-23 23-32 23-51 24-24 31-12 31-13 31-21 31-31 31-32 32-31 32-32 32-51 33-32 33-33 33-51 41-21 41-41 42-33 42-42 51-51 52-52 Total User_accuracy11-11 92,36242 0,053258 2,086548 94,50223 0,97735708311-12 2,139806 2,13980611-14 2,086548 2,08654811-21 2,086548 2,08654811-23 4,173096 4,17309612-11 0,071603 0,087592 0,15919512-12 23,73095 23,73095 112-21 0,130234 0,13023412-23 0,145514 0,028961 0,063151 0,23762512-31 0,040656 0,69684 0,69684 1,43433613-11 0,152806 0,15280613-12 0,279726 0,245359 0,081786 0,60687 0,40430152413-13 4,252649 4,252649 113-21 0,035026 0,078642 0,296913 0,410581 0,19153797613-23 0,029569 0,029569 0,076652 0,029569 0,017513 0,029569 0,059138 0,2715813-24 0,087592 0,08759213-31 0,031393 0,061719 0,09311213-32 0,062786 0,025829 0,088615 0,70852108813-33 0,025829 0,02582913-51 0,02119 0,02119 114-11 1,598026 0,343534 0,087592 2,02915214-14 6,631395 0,343534 0,343534 7,318464 0,90611844914-21 0,151826 0,15182614-23 0,151826 0,15182614-31 0,343534 0,34353421-11 0,290466 0,290466 121-12 0,145233 0,145233 121-13 0,145233 0,145233 0,145233 0,435699 0,33333333321-21 549,0955 549,0955 121-23 9,667738 0,115916 19,35171 0,132154 29,26752 0,00396055121-31 0,115916 0,11591621-32 0,051492 0,051492 122-11 0,261013 0,26101322-21 0,261013 0,26101322-22 9,229984 0,900048 10,13003 0,91115055822-23 0,319517 0,319517 0,319517 0,95855223-11 5,444464 0,145233 5,589697 0,02598225623-12 0,145233 0,14523323-13 0,020309 0,145233 0,16554223-21 33,84148 0,115916 5,444464 39,4018523-22 0,115916 0,11591623-23 0,020094 0,431646 191,5588 16,33339 5,444464 213,7884 0,89602058123-31 5,444464 5,444464 10,8889323-32 5,444464 0,063806 0,060497 5,568766 0,01145781323-41 0,066832 0,06683224-23 0,323702 0,323702 0,64740424-24 0,18705 0,18705 5,078435 0,18705 5,639584 0,90049809824-31 0,18705 0,1870531-13 0,153313 0,153313 131-21 2,933972 2,933972 5,86794531-23 0,072433 6,221931 4,995687 11,2900531-31 2,933972 422,0687 0,019204 6,242189 431,2641 0,97867811131-32 0,466368 1,399104 11,31916 13,18464 0,10611622331-51 0,0266 0,026632-11 0,315513 0,31551332-14 0,315513 0,31551332-21 0,013926 0,01392632-23 0,315513 1,358912 0,013926 0,092782 0,315513 2,09664732-31 0,204584 0,337065 2,055626 1,148451 0,696036 4,441762 0,25855754432-32 0,67413 15,62149 0,337065 16,63268 0,93920437833-13 0,013926 0,01392633-23 0,072433 0,048163 0,048163 0,01044 0,17919733-32 0,13404 0,048163 0,048163 0,230365 0,20907059533-33 0,046681 0,941165 0,987846 0,95274448933-51 0,0266 0,0266 141-21 0,075198 0,075198 141-41 4,727867 4,727867 142-23 0,0445 0,044542-33 0,018994 0,018994 142-42 1,243839 0,0445 1,288339 0,96545943651-13 0,024015 0,02401551-23 0,473617 0,47361751-24 0,459909 0,45990951-31 0,459909 0,45990951-41 0,020309 0,013708 0,03401751-51 15,87412 15,87412 152-41 0,027787 0,02778752-52 1,217112 1,217112 1Total 106,4655 26,72552 2,086548 0,245359 4,345925 0,108211 0,029569 0,258422 0,02119 9,376991 0,523291 0,290466 0,145233 597,0722 0,115916 0,051492 9,549502 0,145233 0,115916 231,5546 0,063806 0,029569 29,92556 2,933972 0,325145 0,145233 444,9058 1,399104 1,28357 35,01702 0,048163 0,096325 0,992824 0,037039 0,075198 5,173258 0,018994 1,243839 17,46669 1,261612 1531,67

Prod_accuracy 0,867534 0,887951 1 0,978537 0,726745 0,242958 1 0,707199 0,555076 0,5 1 0,919647 1 1 0,966541 1 0,827273 1 0,169702 0,471521 0,94867 1 0,894732 0,446111 0,5 0,947968 0,718147 1 0,913905 1 1 0,908822 0,964728 0,88000012



Zone 6: Finland - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 103: Confusion matrix CLCCH2012-2018 for zone 6 (Finland) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =92 % Overall accuracy at the third level = 91.1%

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-31 13-32 14-14 21-21 23-23 23-32 24-24 31-12 31-13 31-23 31-31 31-32 31-41 32-21 32-23 32-31 32-32 32-41 33-33 41-21 41-23 41-32 41-41 42-42 51-51 52-52 Total User_accuracy11-11 11,7353 0,724283 12,45959 0,94186942811-24 0,724283 0,72428311-31 0,724283 0,72428312-11 0,002383 0,002146 0,00452912-12 0,276292 2,871173 3,147465 0,91221758412-13 0,01268 0,0126812-21 0,138146 0,13814612-24 0,002383 0,00238312-31 0,138146 0,002146 0,009059 0,14935112-32 0,002146 0,00214613-11 0,029878 0,081786 0,003803 0,115468 0,70830161113-12 0,053058 0,081786 0,134844 0,6065244113-13 0,001689 1,159319 0,001689 1,162697 0,99709504713-14 0,004282 0,00428213-24 0,001689 0,00168913-31 0,004282 0,055125 0,357229 0,001689 0,418325 0,01023668413-32 0,031393 0,031393 0,217155 0,279941 0,11214114-11 0,014755 0,01475514-12 0,014755 0,01475514-13 0,021881 0,02188114-14 0,073775 0,81801 0,891785 0,91727275421-21 62,81112 1,304419 0,002423 64,11796 0,97961815321-24 0,010565 0,002423 0,01298821-31 1,332818 0,002423 1,33524121-32 0,051492 0,05149221-41 0,002423 0,00242323-23 0,070577 0,013631 0,013631 0,027261 0,1251 0,56416387923-24 0,004724 0,002423 0,00714723-31 0,120119 0,12011923-32 0,065122 0,06512223-33 0,004724 0,072878 0,07760224-21 6,919673 1,155702 8,07537524-24 2,306558 35,75407 5,768817 43,82944 0,81575455824-31 1,153279 2,306558 3,45983624-32 1,153279 1,15327931-13 0,153313 0,153313 131-21 0,072433 0,07243331-23 0,072433 0,07243331-24 0,018268 0,01826831-31 0,58327 11,92184 860,1495 17,61689 0,003632 890,2752 0,96616143731-32 0,56446 17,72198 0,767908 19,05435 0,93007538531-41 0,048357 0,048357 0,016119 0,58327 0,696103 0,06946843132-13 0,029333 2,860336 2,88966932-21 0,076698 0,007077 0,072433 0,144865 0,072433 0,072433 0,445938 0,16242757832-24 0,022648 0,002836 0,02548432-31 0,004265 0,007077 24,60744 0,310865 8,868068 10,87874 0,004265 44,68072 0,19847636132-32 13,23473 0,002836 137,5355 0,08996 150,863 0,91165813732-41 0,016119 0,209548 0,037065 0,262732 0,79757259833-33 0,633069 1,941488 5,653343 8,2279 0,6870942641-21 0,050132 0,025066 0,025066 0,100264 0,541-31 1,812589 1,81258941-32 0,007631 1,793178 1,80080941-41 87,87891 87,87891 142-23 0,025066 0,02506642-24 0,025848 0,02584842-31 0,012924 0,01292442-42 0,206786 0,206786 151-51 0,128402 0,128402 134,4296 134,6864 0,99809331752-52 0,148601 0,965907 1,114508 0,866666667Total 13,57808 3,665415 0,081786 0,083475 1,227495 0,004282 0,031393 0,830371 84,19723 0,070577 0,051492 37,84152 0,055125 0,153313 0,072433 916,6351 18,0812 0,048357 0,072433 0,144865 8,902296 172,1187 0,209548 5,743303 0,050132 0,025066 0,019751 88,6107 0,259113 134,4296 0,965907 1488,26

Prod_accuracy 0,864283 0,783315 1 0,979769 0,944459 1 1 0,985114 0,746 1 0,944837 1 0,938377 0,980133 1 1 0,996155 0,799074 1 0,984337 1 0,991742 0,798051 1 1 0,920109513



Table 104: Confusion matrix CLCCH2012-2018 for zone 6 (Finland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =92.85 % Overall accuracy at the third level = 91.95%

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-32 14-14 21-21 21-41 23-23 23-32 24-24 31-12 31-13 31-23 31-31 31-32 31-41 32-13 32-21 32-23 32-31 32-32 32-41 33-33 41-21 41-23 41-32 41-41 42-42 51-51 52-52 Total User_accuracy11-11 11,7353 0,724283 12,45959 0,94186942811-24 0,724283 0,72428311-31 0,724283 0,72428312-11 0,002383 0,002146 0,00452912-12 0,276292 2,871173 3,147465 0,91221758412-13 0,01268 0,0126812-21 0,138146 0,13814612-24 0,002383 0,00238312-31 0,138146 0,002383 0,002146 0,006676 0,14935112-32 0,002146 0,00214613-11 0,033682 0,081786 0,115468 0,70830161113-12 0,027373 0,107471 0,134844 0,79700019413-13 0,001689 1,137438 0,001689 0,021881 1,162697 0,97827575513-14 0,004282 0,00428213-24 0,001689 0,00168913-31 0,004282 0,06369 0,055125 0,238414 0,056814 0,41832513-32 0,004282 0,086518 0,031393 0,157748 0,279941 0,30905831114-11 0,014755 0,01475514-12 0,014755 0,01475514-13 0,021881 0,02188114-14 0,044265 0,014755 0,832765 0,891785 0,93381820321-21 62,81112 1,304419 0,002423 64,11796 0,97961815321-24 0,010565 0,002423 0,01298821-31 0,002423 1,327972 0,004846 1,33524121-32 0,051492 0,05149221-41 0,002423 0,00242323-23 0,070577 0,013631 0,013631 0,027261 0,1251 0,56416387923-24 0,002423 0,004724 0,00714723-31 0,115395 0,004724 0,12011923-32 0,013631 0,051492 0,06512223-33 0,023079 0,054523 0,07760224-21 6,919673 0,002423 1,153279 8,07537524-24 2,306558 35,75407 4,615538 1,153279 43,82944 0,81575455824-31 1,153279 2,306558 3,45983624-32 1,153279 1,15327931-13 0,153313 0,153313 131-21 0,072433 0,07243331-23 0,072433 0,07243331-24 0,018268 0,01826831-31 0,58327 11,92184 860,0069 0,142576 17,61689 0,003632 890,2752 0,96600128931-32 0,466368 17,82007 0,767908 19,05435 0,93522340331-41 0,048357 0,048357 0,599389 0,696103 0,06946843132-13 0,008387 2,860336 0,020946 2,889669 0,00724858732-21 0,076698 0,007077 0,072433 0,072433 0,072433 0,072433 0,072433 0,445938 0,16242757832-24 0,022648 0,002836 0,02548432-31 0,004265 0,007077 0,007077 12,37718 0,310865 21,24676 10,72324 0,004265 44,68072 0,47552404932-32 12,92386 0,313701 137,5355 0,08996 150,863 0,91165813732-41 0,016119 0,209548 0,037065 0,262732 0,79757259833-33 0,633069 1,941488 5,653343 8,2279 0,6870942641-21 0,050132 0,050132 0,100264 0,541-31 0,01178 1,800809 1,81258941-32 0,007631 1,793178 1,80080941-41 87,87891 87,87891 142-23 0,025066 0,02506642-24 0,012924 0,012924 0,02584842-31 0,012924 0,01292442-42 0,206786 0,206786 151-51 0,128402 134,558 134,6864 0,99904665952-52 0,148601 0,965907 1,114508 0,866666667Total 13,55238 3,657105 0,081786 0,113442 1,230759 0,086518 0,863204 84,18353 0,016119 0,073 0,051492 37,70489 0,057272 0,153313 0,072433 899,6471 18,1793 0,048357 0,042827 0,072433 0,072433 24,17496 171,8725 0,209548 5,743303 0,050132 0,050132 0,003632 90,40014 0,272037 134,558 0,965907 1488,26

Prod_accuracy 0,865922 0,785094 1 0,947365 0,924176 1 0,964737 0,746121 0,966808 0,948261 1 0,955938 0,98024 1 0,489083 1 0,878875 0,800218 1 0,984337 1 0,97211 0,760137 1 1 0,928544166



Zone 7: Norway - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 105: Confusion matrix CLCCH2012-2018 for zone 7 (Norway) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level = 96.7% Overall accuracy at the third level =96.5 %

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 14-14 21-13 21-21 23-23 24-24 31-13 31-14 31-31 31-32 32-13 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 7,843167 0,002473 0,002473 7,848113 0,99936971911-12 0,00902 0,0090211-21 0,002473 0,00247311-24 0,004947 0,00494711-31 0,002473 0,00247312-11 0,019846 0,01984612-12 1,34793 0,004695 0,004695 1,357321 0,99308150212-21 0,019846 0,01984612-31 0,003007 0,045193 0,048213-11 0,022853 0,081786 0,104639 0,7816009213-13 0,368249 0,014215 0,0055 0,387965 0,94918250513-21 0,003007 0,016246 0,01925313-24 0,003007 0,00300713-31 0,059539 0,05953913-33 0,019846 0,01984613-41 0,019715 0,01971514-14 2,479767 0,013912 2,493679 0,99442105514-31 0,004621 0,004621 0,00924314-51 0,009243 0,004621 0,004621 0,01848621-21 21,84986 0,0055 2,42654 0,0055 24,2874 0,89963766321-24 0,0055 0,0055 0,01121-31 0,011 0,01123-23 1,005403 0,052916 1,058319 0,9524-24 45,37497 2,0353 47,41027 0,95707047531-11 0,076656 0,07665631-12 0,076656 0,076656 0,15331331-13 0,076656 0,229969 0,306626 0,7531-14 0,076656 0,076656 0,153313 0,531-21 0,072433 0,072433 0,072433 0,21729831-31 447,8871 3,691336 451,5784 0,99182570231-32 0,466368 0,466368 8,86099 6,609679 16,4034 0,54019214332-13 0,076656 0,076656 132-21 0,003924 0,00392432-24 0,119094 0,11909432-31 5,133636 0,11517 1,399104 0,699589 7,347499 0,19041905432-32 0,850984 0,0055 218,2682 7,936733 227,0614 0,96127382833-31 0,004777 0,00477733-33 13,71235 434,4536 448,166 0,96940340541-41 89,91241 89,91241 142-42 0,004859 0,004859 0,004859 0,082596 0,097172 0,8551-31 0,091662 0,09166251-51 58,04599 58,04599 152-52 0,122727 1,718181 1,840908 0,933333333Total 7,964996 1,384129 0,084793 0,076656 0,444906 2,575146 0,003007 21,86678 1,016404 48,58161 0,379058 0,076656 456,5977 9,048593 0,082157 1,399104 239,2992 446,1064 89,95387 0,082596 58,14012 1,718181 1386,882

Prod_accuracy 0,984704 0,973847 0,96454 0,827702 0,962962 0,999226 0,989177 0,933995 0,606686 1 0,980923 0,979267 0,933053 1 0,912114 0,973879 0,999539 1 0,998381 1 0,967178517



Table 106: Confusion matrix CLCCH2012-2018 for zone 7 (Norway) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 14-14 21-13 21-21 23-23 24-24 31-13 31-14 31-31 31-32 32-13 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 7,848113 7,848113 111-12 0,00902 0,0090211-21 0,002473 0,00247311-24 0,004947 0,00494711-31 0,002473 0,00247312-11 0,019846 0,01984612-12 1,337474 0,019846 1,357321 0,98537828812-21 0,019846 0,01984612-31 0,003007 0,045193 0,048213-11 0,019846 0,084793 0,104639 0,81033570913-13 0,368249 0,014215 0,0055 0,387965 0,94918250513-21 0,003007 0,016246 0,01925313-24 0,003007 0,00300713-31 0,059539 0,05953913-33 0,019846 0,01984613-41 0,019715 0,01971514-14 2,479767 0,013912 2,493679 0,99442105514-31 0,009243 0,00924314-51 0,009243 0,004621 0,004621 0,01848621-21 21,85536 0,0055 2,42654 24,2874 0,89986412421-24 0,0055 0,0055 0,01121-31 0,011 0,01123-23 1,005403 0,052916 1,058319 0,9524-24 45,37497 2,0353 47,41027 0,95707047531-11 0,076656 0,07665631-12 0,076656 0,076656 0,15331331-13 0,076656 0,229969 0,306626 0,7531-14 0,076656 0,076656 0,153313 0,531-21 0,072433 0,072433 0,072433 0,21729831-31 447,8871 3,691336 451,5784 0,99182570231-32 0,466368 0,466368 14,07157 1,399104 16,4034 0,85784417332-13 0,076656 0,076656 132-21 0,003924 0,00392432-24 0,119094 0,11909432-31 4,891523 0,003924 1,403028 1,049024 7,347499 0,19095316232-32 0,0055 0,236103 218,883 7,936733 227,0614 0,96398182533-31 0,004777 0,00477733-33 13,71235 434,4536 448,166 0,96940340541-41 89,91241 89,91241 142-42 0,004859 0,004859 0,087455 0,097172 0,951-31 0,091662 0,09166251-51 58,04599 58,04599 152-52 0,122727 1,718181 1,840908 0,933333333Total 7,966936 1,373673 0,0878 0,076656 0,450406 2,599614 0,003007 21,87228 1,016404 48,57611 0,379058 0,076656 455,7289 14,14792 0,076656 1,403028 235,0483 446,1016 89,95387 0,087455 58,13765 1,718181 1386,882

Prod_accuracy 0,985086 0,973648 0,965754 0,817594 0,953898 0,999226 0,989177 0,934101 0,606686 1 0,982793 0,994603 1 1 0,931226 0,97389 0,999539 1 0,998423 1 0,971387409



Zone 8: Poland- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 107: Confusion matrix CLCCH2012-2018 for zone 8 (Poland) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level = 92% Overall accuracy at the third level = 91.8%

CLCC_Lvl2 11-11 11-12 12-12 13-11 13-12 13-13 13-21 13-23 13-51 14-12 14-14 21-12 21-13 21-21 21-24 22-22 23-11 23-13 23-23 23-32 24-13 24-24 31-12 31-13 31-14 31-21 31-31 31-32 31-41 32-11 32-21 32-23 32-31 32-32 33-33 41-41 51-51 52-52 Total User_accuracy11-11 62,35211 0,033311 0,024106 62,40953 0,99907999311-12 0,081786 0,081786 111-21 0,016071 0,01607111-24 0,116262 0,11626212-12 0,257317 6,794575 7,051892 0,96351091912-21 0,280322 0,257317 0,008096 0,54573612-23 0,053028 0,257317 0,31034512-24 0,007454 0,00745412-31 0,03629 0,0362913-11 0,356535 0,163572 0,520107 0,31449743513-12 0,05867 0,338643 0,817862 1,215176 0,67304035713-13 0,097828 3,560766 0,03345 0,025105 0,109688 3,826837 0,93047226113-14 0,109688 0,10968813-21 0,029569 0,32889 0,358459 0,08248974413-23 0,059138 0,097828 0,156967 0,37675804813-24 0,097828 0,09782813-31 0,097828 0,09782813-51 0,016725 0,04238 0,059105 0,71702627714-11 0,071978 0,07197814-12 0,081786 0,081786 114-14 3,094345 0,035989 3,130334 0,98850317421-12 0,580932 0,580932 121-13 0,726165 0,145233 0,871398 0,83333333321-21 543,9689 0,017791 543,9867 0,99996729521-23 0,058855 0,05885521-24 0,116684 30,32277 30,43945 0,00383329921-31 0,051492 0,05149221-32 0,051492 0,154475 0,411934 0,61790121-51 0,03315 0,0331522-21 0,008665 0,00866522-22 6,670639 0,351542 7,022181 0,94993829923-12 5,78999 5,7899923-13 0,145233 0,14523323-21 0,116684 5,78999 5,90667323-23 0,029427 86,89706 11,57998 98,50647 0,88214574623-31 5,807781 5,80778123-32 0,051492 0,051492 0,102983 0,205967 0,2524-11 1,914595 1,769362 3,68395724-13 0,290466 0,290466 124-21 2,674756 0,029427 1,769362 4,47354524-24 73,05181 5,349512 78,40132 0,93176758224-31 2,674756 2,67475624-32 0,183902 0,18390231-12 0,076656 0,076656 131-13 0,153313 0,153313 131-14 0,076656 0,076656 131-21 0,06858 0,072433 0,141013 0,51365920631-24 3,305138 0,013765 3,31890331-31 0,084338 0,06858 394,572 0,027531 394,7524 0,9995428831-32 3,730943 12,10927 15,84022 0,23553615331-41 0,016119 0,016119 132-13 0,076656 0,076656 0,15331332-21 1,175352 0,072433 1,247785 0,0580489432-23 0,072433 0,072433 0,015382 0,160247 0,45200466832-24 0,035988 1,119152 0,015382 1,17052232-31 0,035988 4,521879 0,087627 1,399104 0,017997 6,062595 0,23077639432-32 0,017997 1,187003 21,87482 23,07982 0,94778991633-32 0,466368 0,063318 0,52968633-33 0,021106 0,546529 0,567635 0,96281752533-51 0,019648 0,01964841-12 0,214382 0,21438241-32 0,04465 0,0446541-41 0,025657 0,025657 0,240039 3,926717 4,218069 0,9309275741-51 0,214382 0,21438251-13 0,008628 0,00862851-21 0,017256 0,01725651-31 0,004314 0,00431451-51 0,004314 0,317182 19,45264 19,77414 0,98374159352-52 0,069583 0,069583 1Total 67,70269 0,081786 7,380912 0,163572 0,91569 3,569394 0,029569 0,059138 0,04238 0,081786 3,204033 0,580932 0,726165 546,2146 0,116684 6,670639 0,145233 0,145233 93,30595 0,051492 0,290466 120,8246 0,076656 0,153313 0,076656 0,072433 418,0952 3,818571 0,016119 0,076656 0,072433 0,072433 1,450596 35,24384 0,546529 10,03389 19,79636 0,069583 1341,974

Prod_accuracy 0,92097 1 0,92056 1 0,893165 0,997583 1 1 1 1 0,965766 1 1 0,995889 1 1 0,931313 1 1 0,60461 1 1 1 1 0,943737 0,977052 1 1 1 0,964503 0,620671 1 0,391345 0,982637 1 0,920691625



Table 108: Confusion matrix CLCCH2012-2018 for zone 8 (Poland) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-12 12-12 13-11 13-12 13-13 13-21 13-23 13-51 14-12 14-14 21-12 21-13 21-21 21-23 21-24 21-51 22-22 23-11 23-13 23-21 23-23 23-32 24-13 24-24 31-12 31-13 31-14 31-21 31-31 31-32 31-41 32-13 32-21 32-23 32-31 32-32 33-33 41-41 51-51 52-52 Total User_accuracy11-11 62,36015 0,033311 0,016071 62,40953 0,99920874511-12 0,081786 0,081786 111-21 0,016071 0,01607111-24 0,116262 0,11626212-12 0,257317 6,794575 7,051892 0,96351091912-21 0,280322 0,257317 0,008096 0,54573612-23 0,053028 0,257317 0,31034512-24 0,007454 0,00745412-31 0,03629 0,0362913-11 0,356535 0,163572 0,520107 0,31449743513-12 0,05867 0,317042 0,839464 1,215176 0,69081705613-13 0,097828 3,577491 0,016725 0,025105 0,109688 3,826837 0,93484276513-14 0,109688 0,10968813-21 0,029569 0,32889 0,358459 0,08248974413-23 0,156967 0,156967 113-24 0,097828 0,09782813-31 0,097828 0,09782813-51 0,059105 0,059105 114-11 0,035989 0,035989 0,07197814-12 0,081786 0,081786 114-14 3,094345 0,035989 3,130334 0,98850317421-12 0,580932 0,580932 121-13 0,726165 0,145233 0,871398 0,83333333321-21 543,9689 0,017791 543,9867 0,99996729521-23 0,029427 0,029427 0,058855 0,521-24 0,116684 30,32277 30,43945 0,00383329921-31 0,051492 0,05149221-32 0,051492 0,051492 0,051492 0,463426 0,61790121-51 0,03315 0,03315 122-21 0,008665 0,00866522-22 6,670639 0,351542 7,022181 0,94993829923-12 5,78999 5,7899923-13 0,145233 0,14523323-21 0,116684 5,78999 5,90667323-23 0,029427 86,89706 11,57998 98,50647 0,88214574623-31 5,78999 0,017791 5,80778123-32 0,051492 0,051492 0,102983 0,205967 0,2524-11 3,683957 3,68395724-13 0,290466 0,290466 124-21 0,029427 4,444118 4,47354524-24 73,05181 2,674756 2,674756 78,40132 0,93176758224-31 2,674756 2,67475624-32 0,183902 0,18390231-12 0,076656 0,076656 131-13 0,153313 0,153313 131-14 0,076656 0,076656 131-21 0,141013 0,141013 131-24 3,305138 0,013765 3,31890331-31 0,084338 394,5995 0,06858 394,7524 0,99961262231-32 3,799524 12,04069 15,84022 0,23986566131-41 0,016119 0,016119 132-13 0,076656 0,076656 0,153313 0,532-21 1,147252 0,0281 0,072433 1,247785 0,0580489432-23 0,072433 0,072433 0,015382 0,160247 0,45200466832-24 1,119152 0,035988 0,015382 1,17052232-31 0,053984 4,325464 0,216735 1,466411 6,062595 0,24187845432-32 0,017997 1,160769 0,017791 21,88326 23,07982 0,94815572333-32 0,466368 0,063318 0,52968633-33 0,021106 0,546529 0,567635 0,96281752533-51 0,019648 0,01964841-12 0,214382 0,21438241-32 0,04465 0,0446541-41 0,025657 0,025657 0,240039 3,926717 4,218069 0,9309275741-51 0,214382 0,21438251-13 0,008628 0,00862851-21 0,017256 0,01725651-31 0,004314 0,00431451-51 0,004314 0,317182 19,45264 19,77414 0,98374159352-52 0,069583 0,069583 1Total 66,75262 0,081786 7,35931 0,163572 0,937292 3,586119 0,029569 0,156967 0,059105 0,081786 3,240022 0,580932 0,726165 546,0306 0,029427 0,116684 0,03315 6,670639 0,145233 5,935223 0,029427 87,35272 0,102983 0,290466 124,5679 0,076656 0,153313 0,076656 0,141013 411,7777 4,482627 0,016119 0,076656 0,072433 0,10842 1,553485 37,93301 0,546529 10,03389 19,79636 0,069583 1341,974

Prod_accuracy 0,934198 1 0,923263 1 0,895627 0,997594 1 1 1 1 0,955038 1 1 0,996224 1 1 1 1 0,994784 0,5 1 0,586442 1 1 1 1 0,958283 0,847611 1 1 1 0,668072 0,943949 0,576892 1 0,391345 0,982637 1 0,921094458



Zone 9: Italy - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 109: Confusion matrix CLCCH2012-2018 for zone 9 (Italy) – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-24 13-32 14-14 21-12 21-21 21-24 21-41 21-51 22-22 23-23 23-32 24-12 24-24 31-31 31-32 32-21 32-31 32-32 32-33 33-33 41-32 41-41 42-42 51-41 51-51 52-52 Total User_accuracy11-11 47,91051 0,003883 0,003883 0,006157 47,92443 0,99970947611-12 0,868585 0,86858511-14 0,003883 0,00388311-21 0,864702 0,018231 0,88293311-22 0,077204 0,07720411-24 0,003883 0,00388312-11 0,698918 0,69891812-12 14,06969 0,006098 0,056306 0,040908 0,080648 14,25365 0,98709380812-13 0,006098 0,006157 0,01225512-21 0,152424 0,15242412-22 0,080065 0,080065 0,1601312-24 0,012002 0,002861 0,018231 0,006157 0,0392513-11 0,202923 0,003986 0,20690913-12 0,020266 0,231712 0,020266 0,27224513-13 1,883408 0,003986 0,107596 0,01849 0,107596 0,215191 2,336267 0,80616135313-21 0,003986 0,003986 0,020266 0,032224 0,003986 0,06444913-24 0,077204 0,231613 0,30881713-32 0,01849 0,006157 0,02464713-33 0,031393 0,006157 0,0375513-41 0,066832 0,06683213-42 0,01849 0,0184913-51 0,107596 0,10759614-11 0,10124 0,1012414-12 0,066531 0,06653114-14 1,728712 0,024036 1,752748 0,98628662114-21 0,006157 0,00615714-24 0,024036 0,024036 0,04807221-12 0,290466 0,290466 121-21 322,2081 27,2401 0,020767 0,026083 0,026083 349,5211 0,92185583521-22 0,233367 0,719178 0,95254521-24 0,026083 0,116684 0,04685 0,189616 0,61536844121-31 0,062302 0,051492 0,051492 0,16528521-32 0,051492 6,836108 6,887621-41 0,066832 0,066832 121-51 0,03315 0,03315 122-21 1,827247 1,82724722-22 1,214884 73,89726 5,861531 1,214884 2,537674 84,72623 0,87218865222-24 6,42396 6,4239623-14 0,904037 0,90403723-21 0,904037 0,90403723-23 0,904037 0,904037 10,84844 1,808073 14,46458 0,7523-32 0,904037 0,91372 1,81775624-11 1,844291 1,84429124-21 0,429929 0,42992924-22 1,844291 5,532873 1,844291 9,22145424-24 1,844291 5,962802 1,844291 5,825579 157,9438 9,084232 0,026083 182,531 0,865298124-31 1,844291 1,84429124-32 0,051492 2,157856 2,20934831-21 0,136647 0,072433 0,20907931-31 0,033558 330,9185 0,033558 2,322866 333,3085 0,9928295231-32 0,466368 1,399104 4,835385 6,700857 0,20879475631-33 0,466368 0,46636832-11 0,009683 0,00968332-13 0,878657 0,87865732-21 0,016621 0,01662132-24 0,945821 0,94582132-31 1,647047 0,050543 0,218673 1,91626332-32 0,878657 1,755301 5,551739 2,63597 110,7466 121,5683 0,91098281932-33 0,466368 17,92458 9,042622 27,4335732-52 2,909703 2,90970333-31 0,198827 0,19882733-32 1,287663 1,28766333-33 0,155827 2,3115 35,22625 0,009683 37,70326 0,93430248333-51 0,056618 0,05661833-52 0,757252 0,75725241-24 0,039069 0,03906941-41 0,749581 0,749581 141-51 0,039069 0,03906942-41 0,044532 0,04453242-42 1,200737 0,044532 1,245269 0,96423888551-21 0,066832 0,06683251-33 0,39413 0,031996 0,009683 0,43580951-51 8,986545 8,986545 152-52 0,194487 2,266693 2,46118 0,920978319Total 56,20964 15,2585 0,006157 2,878634 0,003986 0,003986 2,776749 0,290466 336,8571 0,116684 0,066832 0,099982 83,05491 17,18104 0,072433 0,002861 208,3281 348,1178 1,432662 0,102034 0,077574 155,7045 0,466368 44,99543 0,066832 0,833182 1,413714 0,031996 9,424386 2,311225 1288,186

Prod_accuracy 0,852354 0,922089 0,654272 0,622567 1 0,956513 1 1 0,331557 0,88974 0,631419 0,758149 0,950593 0,976577 0,711261 0,782885 0,89966 0,849349 0,953542 0,980732 0,87137353



Table 110: Confusion matrix CLCCH2012-2018 for zone 9 (Italy) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-24 13-32 13-33 14-14 21-12 21-21 21-24 21-31 21-41 21-51 22-21 22-22 23-12 23-21 23-23 24-12 24-24 31-21 31-31 31-32 32-21 32-31 32-32 32-33 32-51 33-32 33-33 33-51 41-32 41-41 42-42 51-51 52-52 Total User_accuracy11-11 47,91667 0,003883 0,003883 47,92443 0,99983794411-12 0,003883 0,864702 0,86858511-14 0,003883 0,00388311-21 0,864702 0,018231 0,88293311-22 0,077204 0,07720411-24 0,003883 0,00388312-11 0,698918 0,69891812-12 14,06969 0,006098 0,056306 0,040908 0,080648 14,25365 0,98709380812-13 0,006098 0,006157 0,01225512-21 0,030637 0,121787 0,15242412-22 0,080065 0,080065 0,1601312-24 0,012002 0,002861 0,018231 0,006157 0,0392513-11 0,202923 0,003986 0,20690913-12 0,020266 0,194731 0,01849 0,01849 0,020266 0,272245 0,06791861413-13 1,883408 0,111582 0,107596 0,01849 0,107596 0,107596 2,336267 0,80616135313-21 0,003986 0,003986 0,020266 0,032224 0,003986 0,06444913-24 0,077204 0,154408 0,077204 0,30881713-32 0,006157 0,01849 0,02464713-33 0,031393 0,006157 0,0375513-41 0,066832 0,06683213-42 0,01849 0,0184913-51 0,107596 0,10759614-11 0,024036 0,077204 0,1012414-12 0,066531 0,06653114-14 1,728712 0,024036 1,752748 0,98628662114-21 0,006157 0,00615714-24 0,024036 0,024036 0,04807221-12 0,290466 0,290466 121-21 321,5858 6,810026 20,43008 0,622264 0,020767 0,026083 0,026083 349,5211 0,92007550121-22 0,233367 0,719178 0,95254521-24 0,026083 0,116684 0,04685 0,189616 0,61536844121-31 0,041534 0,051492 0,072259 0,16528521-32 0,051492 6,836108 6,887621-41 0,066832 0,066832 121-51 0,03315 0,03315 122-21 1,827247 1,82724722-22 1,214884 73,89726 7,076416 2,537674 84,72623 0,87218865222-24 6,42396 6,4239623-14 0,904037 0,90403723-21 0,904037 0,90403723-23 0,904037 0,904037 10,84844 1,808073 14,46458 0,7523-32 0,904037 0,91372 1,81775624-11 1,844291 1,84429124-21 0,429929 0,42992924-22 1,844291 3,688582 3,688582 9,22145424-24 1,844291 4,118511 1,844291 7,66987 159,7423 5,441391 1,844291 0,026083 182,531 0,87515149324-31 1,844291 1,84429124-32 0,051492 2,157856 2,20934831-21 0,067921 0,014028 0,020335 0,08646 0,020335 0,209079 0,09726103331-31 330,9185 0,033558 0,033558 2,322866 333,3085 0,9928295231-32 1,55594 1,399104 0,218673 3,52714 6,700857 0,20879475631-33 0,466368 0,46636832-11 0,009683 0,00968332-13 0,878657 0,87865732-21 0,016621 0,01662132-24 0,895278 0,050543 0,94582132-31 0,016621 1,52934 0,050543 0,101085 0,218673 1,916263 0,05275131932-32 0,878657 1,755301 5,551739 2,63597 110,7466 121,5683 0,91098281932-33 0,466368 2,909703 14,54851 0,466368 9,042622 27,43357 0,01699989732-52 2,909703 2,90970333-31 0,039744 0,159083 0,19882733-32 1,267737 0,019926 1,287663 0,01547430733-33 0,155827 2,3115 35,22625 0,009683 37,70326 0,93430248333-51 0,056618 0,05661833-52 0,757252 0,75725241-24 0,039069 0,03906941-41 0,749581 0,749581 141-51 0,039069 0,03906942-41 0,044532 0,04453242-42 1,200737 0,044532 1,245269 0,96423888551-21 0,066832 0,06683251-33 0,39413 0,041679 0,43580951-51 8,986545 8,986545 152-52 0,194487 2,266693 2,46118 0,920978319Total 56,14247 15,24439 0,02853 2,878634 0,003986 0,117738 0,006157 2,853953 0,290466 334,2671 0,116684 0,014028 0,066832 0,03315 0,039744 81,21062 0,01849 0,024036 25,83536 0,002861 209,2484 0,6426 344,1715 1,519122 0,102034 2,366827 151,0652 1,151409 0,066832 0,019926 44,7706 0,009683 0,066832 0,833182 1,413714 9,231507 2,311225 1288,186

Prod_accuracy 0,853483 0,922942 0,648096 0,654272 0,605725 1 0,962062 1 1 1 0,909946 0,419907 0,76341 0,031645 0,961493 0,920995 0,042709 0,733105 0,405041 1 0,786817 0,89966 0,849349 0,973465 0,980732 0,872777556



Zone 10: United Kingdom / Ireland - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 111: Confusion matrix CLCCH2012-2018 for zone 10 (United Kingdom, Ireland) – BLIND ANALYSIS - In column the validation and line the production


CLCC_Lvl2 11-11 12-12 12-13 13-11 13-12 13-13 13-21 13-23 13-32 13-41 13-51 14-14 21-11 21-12 21-13 21-21 21-23 21-32 21-51 22-22 23-11 23-12 23-13 23-21 23-23 23-32 24-24 24-32 31-11 31-12 31-31 31-32 32-12 32-13 32-31 32-32 33-23 33-32 33-33 41-12 41-32 41-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 59,91439 0,074695 1,99625 61,98534 0,96658975911-12 0,074695 0,016087 0,09078211-32 0,016087 0,01608712-11 0,491392 0,49139212-12 0,038733 12,13042 0,059242 0,510931 0,042526 12,78185 0,94903454212-13 0,081786 0,037348 0,119134 0,68650606212-21 0,037348 0,037348 0,07469612-23 0,038733 0,146402 0,18513412-32 0,008626 0,00862613-11 0,307692 0,081786 0,081786 0,005989 0,477253 0,17136857913-12 0,118242 0,081786 0,163572 0,005989 0,081786 0,451376 0,36238658413-13 0,021706 2,855533 0,025742 2,90298 0,98365564113-14 0,054605 0,05460513-21 0,029569 0,029569 113-23 0,055311 0,029569 0,029569 0,029569 0,029569 0,277705 0,261592 0,712885 0,04147828413-24 0,029569 0,02956913-31 0,016087 0,01608713-32 0,031393 0,031393 0,031393 0,188611 0,100546 0,383336 0,08189382913-33 0,025742 0,377223 0,40296513-41 0,021706 0,02170613-51 0,04238 0,210998 0,253378 0,16725968714-11 0,787653 0,78765314-14 0,14599 15,01447 15,16046 0,99037032621-11 0,290466 0,290466 121-12 0,871398 0,145233 1,016631 0,85714285721-13 0,580932 0,145233 0,726165 0,821-21 5,915841 278,3243 5,966407 290,2065 0,95905588721-23 0,851974 1,283519 6,910413 9,045906 0,14188947921-24 0,035189 0,03518921-31 0,004793 0,00479321-32 0,051492 0,051492 0,051492 0,154475 0,33333333321-51 0,03315 0,03315 122-12 0,026654 0,02665422-22 0,053307 0,293189 0,026654 0,373149 0,78571428623-11 9,15903 9,1590323-12 0,871398 0,145233 0,145233 1,161863 0,7523-13 0,007689 0,145233 0,007689 0,16061 0,90425658223-21 10,03814 1,400202 0,233367 11,67171 0,11996550323-23 9,269176 397,3558 9,15903 415,784 0,95567841923-24 9,166719 9,16671923-32 0,205967 0,051492 9,328882 9,586341 0,02148546123-41 9,15903 9,1590324-23 0,194081 0,90539 0,517228 0,517228 2,13392824-24 0,711309 3,103371 18,55713 1,228538 0,194081 23,79443 0,77989393824-31 1,228538 1,22853824-32 0,56872 0,620212 0,102983 0,051492 1,343407 0,07665841624-41 1,034457 1,03445731-11 0,153313 0,153313 131-12 0,076656 0,076656 131-31 0,881793 97,02629 3,236964 101,145 0,9592787131-32 2,331147 6,529151 3,690464 12,55076 0,520219532-12 0,076656 0,076656 0,076656 0,076656 0,306626 0,2532-14 4,056682 4,05668232-21 0,010352 0,01035232-23 0,941378 3,121282 0,090071 0,007361 0,698487 4,85857832-24 0,653451 0,134882 0,007361 0,79569432-31 0,228048 3,667932 0,235671 4,679588 3,400219 12,21146 0,38321288732-32 3,113921 0,653451 5,591633 1,119819 150,0598 3,113921 3,122469 166,775 0,89977388832-33 3,113921 3,11392132-41 0,653451 0,687643 1,34109433-32 1,163526 0,100618 1,26414433-33 0,074638 1,969739 13,31029 15,35467 0,86685629933-42 0,100618 0,10061841-12 0,200496 0,200496 0,400992 0,541-23 0,07136 0,0713641-24 0,07136 0,0713641-31 2,79926 2,7992641-32 0,056981 0,018994 0,075975 0,7541-33 0,056981 0,132956 0,189937 0,341-41 0,07136 2,79926 2,79926 2,79926 129,9791 0,010352 138,4586 0,9387579142-23 0,060261 0,06026142-32 0,060261 0,060261 0,12052242-41 0,083327 0,08332742-42 0,060261 0,060261 2,306338 2,42686 0,95033842242-52 0,120522 0,060261 0,18078351-23 0,046007 0,04600751-31 0,046007 0,04600751-41 0,708687 0,70868751-51 13,85382 13,85382 152-42 0,018477 0,01847752-51 0,018477 0,018477 0,03695352-52 0,018477 1,318902 1,337379 0,986184381Total 76,19512 13,10176 0,081786 0,163572 0,163572 2,961531 0,029569 0,090531 0,060962 0,029569 0,04238 19,29843 0,290466 0,871398 0,580932 299,4263 1,283519 0,051492 0,03315 0,293189 0,227019 0,871398 0,435699 1,400202 430,2854 0,205967 29,38804 0,102983 0,153313 0,076656 113,5652 6,780909 0,076656 0,076656 5,840783 188,4637 0,081786 0,076656 22,77487 0,200496 0,056981 0,056981 144,6808 2,72531 14,80234 1,379163 1379,835

Prod_accuracy 0,786328 0,925862 1 0,5 1 0,964208 1 0,326619 0,514957 1 0,778015 1 1 1 0,929525 1 1 1 1 1 0,333333 1 0,92347 1 0,631452 1 1 1 0,854366 0,962873 1 0,801192 0,796227 0,584429 1 1 1 0,898385 0,846266 0,935921 0,956306 0,877225308



Table 112: Confusion matrix CLCCH2012-2018 for zone 10 (United Kingdom, Ireland) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLCC_Lvl2 11-11 12-12 12-13 13-11 13-12 13-13 13-21 13-23 13-32 13-41 13-51 14-14 14-21 14-23 21-11 21-12 21-13 21-21 21-23 21-32 21-51 22-22 23-11 23-12 23-13 23-21 23-23 23-32 24-24 24-32 31-11 31-12 31-31 31-32 32-12 32-31 32-32 33-23 33-32 33-33 41-12 41-32 41-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 59,91439 0,074695 1,99625 61,98534 0,96658975911-12 0,074695 0,016087 0,09078211-32 0,016087 0,01608712-11 0,491392 0,49139212-12 12,14 0,059242 0,029153 0,494845 0,016087 0,042526 12,78185 0,94978405312-13 0,081786 0,037348 0,119134 0,68650606212-21 0,037348 0,037348 0,07469612-23 0,038733 0,146402 0,18513412-32 0,008626 0,00862613-11 0,247461 0,124624 0,005415 0,093764 0,005989 0,477253 0,2611273313-12 0,112253 0,251348 0,005989 0,081786 0,451376 0,55684789713-13 2,877238 0,025742 2,90298 0,9911326413-14 0,054605 0,05460513-21 0,029569 0,029569 113-23 0,055311 0,051275 0,035558 0,029569 0,029569 0,271716 0,239886 0,712885 0,04987916713-24 0,029569 0,02956913-31 0,016087 0,01608713-32 0,031393 0,031393 0,031393 0,188611 0,021706 0,07884 0,383336 0,08189382913-33 0,025742 0,377223 0,40296513-41 0,021706 0,02170613-51 0,04238 0,210998 0,253378 0,16725968714-11 0,787653 0,78765314-14 0,14599 15,01447 15,16046 0,99037032621-11 0,290466 0,290466 121-12 0,871398 0,145233 1,016631 0,85714285721-13 0,580932 0,145233 0,726165 0,821-21 5,915841 278,3243 5,966407 290,2065 0,95905588721-23 0,77048 1,400202 6,875224 9,045906 0,15478852221-24 0,035189 0,03518921-31 0,004793 0,00479321-32 0,051492 0,051492 0,051492 0,154475 0,33333333321-51 0,03315 0,03315 122-12 0,026654 0,02665422-22 0,053307 0,293189 0,026654 0,373149 0,78571428623-11 9,15903 9,1590323-12 1,016631 0,145233 1,161863 0,87523-13 0,007689 0,007689 0,145233 0,16061 0,90425658223-21 0,007689 9,844905 1,400202 0,418912 11,67171 0,11996550323-23 9,217947 0,051229 397,3558 9,15903 415,784 0,95567841923-24 9,166719 9,16671923-32 0,007689 0,205967 0,051492 9,321194 9,586341 0,02148546123-41 9,15903 9,1590324-23 0,194081 0,90539 0,517228 0,517228 2,13392824-24 0,711309 3,103371 18,55713 1,228538 0,194081 23,79443 0,77989393824-31 0,194081 1,034457 1,22853824-32 0,56872 0,56872 0,154475 0,051492 1,343407 0,11498762424-41 1,034457 1,03445731-11 0,153313 0,153313 131-12 0,076656 0,076656 131-31 0,881793 98,4978 1,765447 101,145 0,97382728731-32 0,5657 8,000667 0,293931 3,690464 12,55076 0,63746469232-12 0,153313 0,076656 0,076656 0,306626 0,532-14 4,056682 4,05668232-21 0,010352 0,01035232-23 0,851307 0,045035 3,121282 0,090071 0,007361 0,743522 4,85857832-24 0,653451 0,127521 0,014722 0,79569432-31 0,228048 3,161599 0,235671 5,16975 3,41639 12,21146 0,42335239532-32 3,113921 0,653451 5,591633 1,119819 150,0598 3,113921 3,122469 166,775 0,89977388832-33 3,113921 3,11392132-41 0,653451 0,008548 0,679095 1,34109433-32 1,091172 0,072354 0,100618 1,264144 0,05723535433-33 2,044377 13,31029 15,35467 0,86685629933-42 0,100618 0,10061841-12 0,200496 0,200496 0,400992 0,541-23 0,07136 0,0713641-24 0,07136 0,0713641-31 2,79926 2,7992641-32 0,056981 0,018994 0,075975 0,7541-33 0,056981 0,132956 0,189937 0,341-41 0,07136 138,3769 0,010352 138,4586 0,99940984142-23 0,060261 0,06026142-32 0,060261 0,060261 0,12052242-41 0,083327 0,08332742-42 0,060261 0,060261 2,306338 2,42686 0,95033842242-52 0,120522 0,060261 0,18078351-23 0,046007 0,04600751-31 0,046007 0,04600751-41 0,708687 0,70868751-51 13,85382 13,85382 152-42 0,018477 0,01847752-51 0,018477 0,018477 0,03695352-52 0,018477 0,018477 1,300426 1,337379 0,972368762Total 76,09616 13,08364 0,081786 0,124624 0,251348 3,018046 0,029569 0,09652 0,060962 0,029569 0,04238 19,31691 0,007689 0,007689 0,290466 0,908745 0,580932 298,8689 1,400202 0,051492 0,03315 0,293189 0,238997 1,016631 0,290466 1,645512 430,2898 0,272708 26,72401 0,154475 0,153313 0,076656 109,697 8,268512 0,153313 9,482989 184,193 0,081786 0,165097 19,97561 0,200496 0,065529 0,056981 153,07 2,72531 14,80234 1,360686 1379,835

Prod_accuracy 0,787351 0,927876 1 1 1 0,953345 1 0,368401 0,514957 1 0,777271 1 0,958902 1 0,931259 1 1 1 1 1 0,5 0,850922 0,923461 0,755266 0,694399 1 1 1 0,897908 0,967607 1 0,54516 0,814688 0,43825 0,666327 1 0,869555 1 0,90401 0,846266 0,935921 0,955713 0,886242909



Zone 11: Romania - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 113: Confusion matrix CLCCH2012-2018 for zone 11 (Romania) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =84.4 % Overall accuracy at the third level = 82%

CLCC_Lvl2 11-11 12-12 13-12 13-13 13-23 13-32 14-14 21-21 21-22 21-51 22-21 22-22 22-23 23-11 23-12 23-21 23-22 23-23 23-32 24-11 24-12 24-24 31-31 31-32 32-21 32-31 32-32 33-33 41-21 41-41 41-51 51-21 51-51 52-52 Total User_accuracy11-11 42,13788 0,924659 0,924659 43,9872 0,957957811-12 0,924659 0,92465911-21 0,924659 0,92465911-24 0,924659 0,92465912-11 0,005322 0,005322 0,01064512-12 0,005322 4,962549 4,967871 0,99892863612-13 0,005322 0,227999 0,23332112-14 0,01641 0,0164112-21 0,005322 0,00532212-24 0,035231 0,03523113-12 0,039345 0,081786 0,121131 0,67518957813-13 0,014758 0,029516 0,039345 1,203962 0,062472 0,024586 0,062472 0,07723 0,024586 1,538927 0,78233853813-21 0,073759 0,07375913-23 0,029569 0,062472 0,092041 0,32126143314-11 0,011942 0,01194214-14 0,033503 0,012072 0,357754 0,012072 0,415401 0,8612255814-24 0,011942 0,01194221-21 0,012051 323,8185 14,65404 338,4846 0,95667132421-22 0,116684 0,116684 0,233367 0,521-23 14,66633 14,6663321-24 0,116684 7,327019 7,44370221-31 7,327019 7,32701921-51 0,03315 0,03315 122-21 1,325732 0,116684 0,768476 2,210892 0,05277667922-22 0,662866 12,39859 0,662866 2,305429 16,02975 0,77347365622-23 0,662866 0,116684 2,094208 0,768476 3,642234 0,03203625122-24 5,514149 5,51414922-31 0,768476 0,76847622-32 0,768476 0,76847623-12 0,145233 0,290466 0,145233 0,580932 0,523-13 0,145233 0,14523323-21 4,58122 0,933468 0,116684 2,173926 7,805297 0,11959419123-22 0,116684 0,116684 123-23 2,173926 76,09971 4,347852 8,695705 2,173926 93,49112 0,81397795423-31 2,173926 2,17392623-32 2,173926 2,17392623-51 0,009359 0,00935924-11 0,803698 0,80369824-13 0,803698 0,80369824-21 0,803698 2,469266 3,27296424-23 9,818891 9,81889124-24 3,227085 51,58831 0,803698 55,61909 0,92752879524-32 0,803698 2,411093 3,21479131-23 1,104074 1,10407431-24 0,010104 1,09397 1,10407431-31 288,3378 288,3378 131-32 7,429706 3,730943 5,490056 16,65071 0,22407117832-21 0,072433 0,072433 0,144865 0,532-23 0,908634 0,90863432-24 0,599517 0,59951732-31 2,256111 0,046392 2,30250332-32 0,009359 3,215418 22,34629 9,987669 4,993835 40,55257 0,5510450232-33 0,156056 0,15605633-23 0,028084 0,02808433-32 0,06978 0,0697833-33 0,05135 0,020848 0,068467 0,760293 0,900959 0,84387108333-51 0,028084 0,02808441-21 0,921417 0,009359 0,275727 0,200529 1,407032 0,19596360341-23 0,697515 0,69751541-41 0,697515 11,16023 11,85775 0,94117647141-51 0,066832 0,066832 142-42 0,281568 0,28156851-31 0,38344 0,3834451-51 0,38344 13,64202 14,02546 0,97266113652-52 2,923079 2,923079 1Total 45,32469 6,346695 0,121131 1,203962 0,029569 0,062472 0,374163 332,2297 0,116684 0,03315 0,779549 12,40795 0,116684 0,145233 0,290466 0,933468 0,233367 110,9594 0,028084 0,116684 0,062472 99,51508 320,2806 3,730943 0,072433 0,020848 35,93185 10,90402 0,275727 16,43564 0,066832 0,200529 13,70405 2,923079 1015,977

Prod_accuracy 0,929689 0,781911 0,67519 1 1 0,956143 0,974683 1 1 0,149681 0,999246 1 1 1 0,5 0,685834 0,518397 0,900266 1 1 0,621908 0,069726 1 0,679027 1 0,995474 1 0,844229621



Table 114: Confusion matrix CLCCH2012-2018 for zone 11 (Romania) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-14 13-21 13-23 13-32 14-14 21-11 21-21 21-22 21-23 21-51 22-21 22-22 22-23 23-12 23-21 23-22 23-23 23-32 24-12 24-24 31-31 31-32 32-21 32-31 32-32 33-33 41-21 41-41 41-51 51-21 51-51 52-52 Total User_accuracy11-11 42,13788 0,924659 0,924659 43,9872 0,957957811-12 0,924659 0,92465911-21 0,924659 0,92465911-24 0,924659 0,92465912-11 0,005322 0,005322 0,01064512-12 0,005322 4,962549 4,967871 0,99892863612-13 0,005322 0,227999 0,23332112-14 0,01641 0,0164112-21 0,005322 0,00532212-24 0,035231 0,03523113-12 0,121131 0,121131 113-13 0,014758 0,014758 0,054103 1,266434 0,062472 0,024586 0,062472 0,014758 0,024586 1,538927 0,8229329213-21 0,024586 0,049173 0,073759 0,33333333313-23 0,029569 0,062472 0,092041 0,32126143314-11 0,011942 0,01194214-14 0,033503 0,012072 0,369826 0,415401 0,89028677314-24 0,011942 0,01194221-21 338,4846 338,4846 121-22 0,116684 0,116684 0,233367 0,521-23 14,66633 14,6663321-24 0,116684 7,327019 7,44370221-31 7,327019 7,32701921-51 0,03315 0,03315 122-21 1,325732 0,116684 0,768476 2,210892 0,05277667922-22 0,662866 12,39859 0,662866 2,305429 16,02975 0,77347365622-23 0,662866 0,116684 2,862685 3,642234 0,03203625122-24 5,514149 5,51414922-31 0,768476 0,76847622-32 0,768476 0,76847623-12 0,145233 0,290466 0,145233 0,580932 0,523-13 0,145233 0,14523323-21 2,407293 3,107394 0,116684 2,173926 7,805297 0,3981135223-22 0,116684 0,116684 123-23 82,62149 8,695705 2,173926 93,49112 0,88373622123-31 2,173926 2,17392623-32 2,173926 2,17392623-51 0,009359 0,00935924-11 0,803698 0,80369824-13 0,803698 0,80369824-21 0,803698 2,469266 3,27296424-23 9,015193 0,803698 9,81889124-24 3,227085 52,392 55,61909 0,94197882724-32 0,803698 2,411093 3,21479131-23 1,104074 1,10407431-24 0,010104 1,09397 1,10407431-31 288,3378 288,3378 131-32 7,429706 3,730943 1,09397 4,396087 16,65071 0,22407117832-21 0,072433 0,072433 0,144865 0,532-23 0,908634 0,90863432-24 0,599517 0,59951732-31 1,311863 0,008781 0,935467 0,046392 2,302503 0,40628275732-32 0,009359 2,615901 0,599517 22,34629 9,987669 4,993835 40,55257 0,5510450232-33 0,156056 0,15605633-23 0,028084 0,02808433-32 0,06978 0,0697833-33 0,034234 0,037965 0,068467 0,760293 0,900959 0,84387108333-51 0,028084 0,02808441-21 0,921417 0,009359 0,275727 0,200529 1,407032 0,19596360341-23 0,697515 0,69751541-41 0,697515 11,16023 11,85775 0,94117647141-51 0,066832 0,066832 142-42 0,281568 0,28156851-31 0,38344 0,3834451-51 0,38344 13,64202 14,02546 0,97266113652-52 2,923079 2,923079 1Total 43,94241 6,292593 0,175233 1,266434 0,01641 0,024586 0,029569 0,062472 0,369826 0,116684 343,2659 0,116684 0,662866 0,03315 0,779549 12,40795 0,116684 0,290466 3,107394 0,233367 117,5912 0,028084 0,062472 82,12059 317,0378 3,739724 0,072433 2,666919 34,83788 10,90402 0,275727 16,43564 0,066832 0,200529 13,70405 2,923079 1015,977

Prod_accuracy 0,958934 0,788633 0,691254 1 1 1 1 0,986071 1 1 0,149681 0,999246 1 1 1 0,5 0,702616 0,637989 0,909475 0,997652 1 0,350767 0,641437 0,069726 1 0,679027 1 0,995474 1 0,869072138



Zone 12: Greece - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 115: Confusion matrix CLCCH2012-2018 for zone 12 (Greece) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =83 % Overall accuracy at the third level = 77.2%

CLCC_Lvl2 11-11 12-12 13-12 13-13 14-14 21-13 21-21 22-22 23-23 24-12 24-24 31-31 32-12 32-13 32-22 32-24 32-32 32-51 33-32 33-33 41-21 41-41 42-42 51-51 52-52 Total User_accuracy11-11 12,35369 12,35369 112-12 0,138024 4,514935 0,058488 0,022621 4,734068 0,95371148112-13 0,058488 0,05848812-21 0,040392 0,04039212-22 0,011164 0,01116412-23 0,063013 0,06301312-24 0,020284 0,02028412-32 0,022621 0,02262112-42 0,011342 0,01134213-11 0,085634 0,08563413-12 0,163572 0,040392 0,203964 0,80196740613-13 0,096214 1,783954 1,880168 0,94882678813-14 0,060341 0,06034113-22 0,063013 0,06301313-24 0,060341 0,040392 0,10073313-31 0,096214 0,09621413-32 0,136606 0,13660614-11 0,022621 0,02262114-13 0,020284 0,02028414-14 0,060634 0,869735 0,93037 0,93482782714-21 0,019623 0,01962314-24 0,060634 0,06063414-31 0,019623 0,01962321-21 1,829517 81,90519 3,668609 1,829517 89,23283 0,91788175421-22 2,279979 2,27997921-24 4,799024 0,018203 3,659035 8,47626221-32 0,012593 0,01259322-11 0,244333 0,24433322-21 0,244333 0,405403 0,64973622-22 0,244333 0,488666 30,22976 3,774853 2,069978 36,80759 0,82129147322-24 2,27268 1,034989 3,30766922-32 0,202701 0,20270123-11 0,171001 0,17100123-21 0,171001 0,17100123-23 0,171001 2,772424 0,171001 0,342002 3,456428 0,80210657523-32 0,171001 0,342002 0,51300324-12 0,096932 0,145233 0,242165 0,59972652624-21 3,46052 1,580977 5,04149724-22 3,88799 1,580977 2,734484 8,20345124-23 1,580977 1,58097724-24 1,153507 0,206458 1,153507 66,09556 1,580977 3,161954 73,35196 0,90107418624-31 1,580977 1,58097724-32 0,051492 1,580977 1,63246931-24 1,493258 1,49325831-31 0,765979 0,765979 0,778035 106,8317 1,493258 110,6349 0,96562340631-32 2,179073 2,17907332-12 0,076656 0,076656 0,076656 0,229969 0,33333333332-13 0,153313 0,076656 0,076656 0,306626 0,2532-22 0,068838 0,053592 0,12242932-23 1,4268 1,311792 2,73859232-24 0,160114 0,036406 0,19652132-31 10,40025 1,343272 11,7435232-32 2,630679 3,942471 4,103092 181,3901 1,4268 193,4931 0,93744975532-33 0,466368 0,466368 1,311792 2,24452832-51 0,0266 0,0266 133-12 0,0863 0,086333-14 0,058744 0,0863 0,14504433-21 0,0863 0,086333-23 0,090397 0,114501 0,20489833-24 0,090397 0,09039733-31 0,218233 0,21823333-32 0,466368 3,460386 0,466368 4,393122 0,10615866533-33 0,489355 2,88572 9,1809 12,55597 0,73119772433-42 0,090397 0,09039733-51 0,090397 0,09039741-32 0,018994 0,01899441-41 0,065762 0,657615 0,065762 0,789138 0,83333333341-42 0,131523 0,13152341-51 0,065762 0,06576242-41 0,091144 0,09114442-42 1,396138 1,396138 151-13 0,018203 0,01820351-24 0,018203 0,01820351-31 0,066222 0,06622251-32 0,206015 0,20601551-51 0,066222 5,091113 5,157336 0,98715955652-52 0,027208 1,9697 1,996908 0,986374751Total 13,57189 7,767762 0,240229 1,860645 0,869735 0,153313 92,19323 41,17087 4,478825 0,145233 90,33422 125,367 0,153313 0,076656 1,034989 0,466368 209,281 0,0266 0,466368 12,10029 0,018994 0,768382 1,656609 5,240839 2,056 611,4993

Prod_accuracy 0,91024 0,58124 0,680902 0,958783 1 0,888408 0,734251 0,619007 1 0,731678 0,852151 0,5 1 0,86673 1 1 0,758734 0,855844 0,842769 0,971431 0,958025 0,83074097



Table 116: Confusion matrix CLCCH2012-2018 for zone 12 (Greece) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 12-24 13-12 13-13 14-14 21-13 21-21 22-21 22-22 23-23 24-12 24-24 31-31 32-12 32-13 32-21 32-23 32-24 32-31 32-32 32-51 33-32 33-33 41-21 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 12,35369 12,35369 112-12 0,138024 4,514935 0,058488 0,022621 4,734068 0,95371148112-13 0,058488 0,05848812-21 0,040392 0,04039212-22 0,011164 0,01116412-23 0,063013 0,06301312-24 0,020284 0,02028412-32 0,022621 0,02262112-42 0,011342 0,01134213-11 0,085634 0,08563413-12 0,163572 0,040392 0,203964 0,80196740613-13 0,096214 1,783954 1,880168 0,94882678813-14 0,060341 0,06034113-22 0,063013 0,06301313-24 0,060341 0,040392 0,10073313-31 0,096214 0,09621413-32 0,136606 0,13660614-11 0,022621 0,02262114-13 0,020284 0,02028414-14 0,060634 0,869735 0,93037 0,93482782714-21 0,019623 0,01962314-24 0,060634 0,06063414-31 0,019623 0,01962321-21 83,7347 3,668609 1,829517 89,23283 0,93838449321-22 2,279979 2,27997921-24 2,969507 5,488552 0,018203 8,47626221-32 0,012593 0,01259322-11 0,244333 0,24433322-21 0,447035 0,202701 0,64973622-22 0,244333 0,244333 30,6768 3,572151 2,069978 36,80759 0,83343664422-24 1,034989 2,27268 3,30766922-32 0,202701 0,20270123-11 0,171001 0,17100123-21 0,171001 0,17100123-23 0,171001 2,772424 0,342002 0,171001 3,456428 0,80210657523-32 0,171001 0,342002 0,51300324-12 0,096932 0,145233 0,242165 0,59972652624-21 2,307013 2,734484 5,04149724-22 3,88799 1,580977 2,734484 8,20345124-23 1,580977 1,58097724-24 1,153507 0,206458 1,153507 66,09556 1,580977 3,161954 73,35196 0,90107418624-31 1,580977 1,58097724-32 0,051492 1,580977 1,63246931-24 1,493258 1,49325831-31 0,765979 0,765979 0,778035 106,8317 1,493258 110,6349 0,96562340631-32 2,179073 2,17907332-12 0,076656 0,076656 0,076656 0,229969 0,33333333332-13 0,153313 0,076656 0,076656 0,306626 0,2532-22 0,068838 0,053592 0,12242932-23 1,4268 1,311792 2,73859232-24 0,160114 0,036406 0,19652132-31 9,933885 0,466368 1,343272 11,74352 0,03971277232-32 2,630679 3,942471 1,472414 183,9965 0,024283 1,4268 193,4931 0,95091997732-33 0,466368 0,466368 1,311792 2,24452832-51 0,0266 0,0266 133-12 0,0863 0,086333-14 0,058744 0,0863 0,14504433-21 0,0863 0,086333-23 0,090397 0,114501 0,20489833-24 0,090397 0,09039733-31 0,218233 0,21823333-32 0,466368 3,390803 0,53595 4,393122 0,12199761933-33 0,489355 2,396365 9,670255 12,55597 0,77017157233-42 0,090397 0,09039733-51 0,090397 0,09039741-32 0,018994 0,01899441-41 0,065762 0,657615 0,065762 0,789138 0,83333333341-42 0,131523 0,13152341-51 0,065762 0,06576242-41 0,091144 0,09114442-42 1,396138 1,396138 151-13 0,018203 0,01820351-24 0,018203 0,01820351-31 0,066222 0,06622251-32 0,206015 0,206015 151-51 0,066222 5,091113 5,157336 0,98715955652-52 0,027208 1,9697 1,996908 0,986374751Total 13,32756 5,938245 0,040392 0,240229 1,860645 0,869735 0,153313 90,93233 0,244333 42,6529 4,289621 0,145233 94,79443 122,27 0,153313 0,076656 0,065762 0,018203 0,466368 0,466368 209,3704 0,0266 0,560234 12,58964 0,018994 0,677238 1,747752 0,206015 5,240839 2,056 611,4993

Prod_accuracy 0,926928 0,760315 0,680902 0,958783 1 0,920846 0,71922 0,64631 1 0,697252 0,873736 0,5 1 1 0,878808 1 0,956655 0,768112 0,971025 0,798819 1 0,971431 0,958025 0,840739784



Zone 13: Bulgaria- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 117: Confusion matrix CLCCH2012-2018 for zone 13 (Bulgaria) – BLIND ANALYSIS In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-13 13-51 14-14 21-12 21-21 22-21 22-22 22-24 23-21 23-23 23-32 24-21 24-24 31-31 31-32 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 16,37283 16,37283 112-11 0,161459 0,007629 0,16908812-12 3,393261 0,019763 0,161459 3,574483 0,94930119512-21 0,015257 0,01525712-22 0,007629 0,00762913-11 0,007629 0,00762913-13 1,098214 0,077412 0,077412 0,077412 1,330449 0,82544582313-22 0,007629 0,00762913-23 0,154824 0,15482413-24 0,005304 0,077412 0,08271613-32 0,077412 0,077412 0,15482413-51 0,02119 0,02119 114-11 0,027448 0,02744814-14 0,007629 0,682358 0,027448 0,032752 0,750186 0,90958518721-12 0,145233 0,145233 121-21 157,2744 3,280814 0,007087 0,007087 0,007593 160,577 0,97943303721-23 0,007087 0,00708721-24 3,245727 3,24572721-32 0,007087 0,00708722-21 0,985201 0,350051 0,116684 0,116684 1,568619 0,22315845322-22 5,825976 0,565223 6,391199 0,91156228922-24 0,011702 0,443527 0,45522822-31 0,116847 0,11684722-32 0,051492 0,05149223-21 0,37432 0,583418 0,233367 1,191105 0,48981204623-22 0,116684 0,11668423-23 14,28289 0,678467 1,356934 16,31829 0,87526877124-21 0,035087 0,116684 0,151771 0,76881515724-24 0,574736 0,574736 50,23694 3,944767 55,33118 0,90793186731-31 146,7529 146,7529 131-32 1,399104 0,474576 1,87368 0,74671432732-21 0,007593 0,855082 0,86267532-22 1,239305 1,23930532-24 1,259912 1,25991232-31 0,364767 0,010312 0,37507932-32 1,474734 2,794184 0,029251 42,09158 46,38975 0,9073465733-33 0,009024 0,086786 0,026647 0,733891 1,425313 0,009024 2,290685 0,6222214841-21 0,019138 0,01913841-41 0,419136 0,419136 142-42 0,033373 0,033373 151-51 0,401921 0,264063 3,434275 4,100259 0,83757512652-52 0,074202 0,074202 1Total 16,57699 3,400889 1,098214 0,02119 0,682358 0,145233 159,369 0,350051 7,06528 0,116684 0,709125 18,54577 0,116684 0,116684 58,55569 155,4701 1,399104 0,036338 44,87009 1,425313 0,419136 0,033373 3,434275 0,083226 474,0408

Prod_accuracy 0,987684 0,997757 1 1 1 1 0,986857 1 0,824592 0,822729 0,770143 1 0,857934 0,94393 1 0,938077 1 1 1 1 0,891575 0,940875402



Table 118: Confusion matrix CLCCH2012-2018 for zone 13 (Bulgaria) – PLAUSIBILITY ANALYSIS In column the validation and line the production

Overall accuracy at the second level =95.1 % Overall accuracy at the third level =94 %

CLCC_Lvl2 11-11 12-12 13-13 13-32 13-51 14-14 21-12 21-21 21-24 22-21 22-22 22-24 23-21 23-23 23-32 24-21 24-24 31-31 31-32 32-22 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 16,37283 16,37283 112-11 0,161459 0,007629 0,16908812-12 3,393261 0,019763 0,161459 3,574483 0,94930119512-21 0,015257 0,01525712-22 0,007629 0,00762913-11 0,007629 0,00762913-13 1,098214 0,077412 0,077412 0,077412 1,330449 0,82544582313-22 0,007629 0,00762913-23 0,154824 0,15482413-24 0,005304 0,077412 0,08271613-32 0,154824 0,15482413-51 0,02119 0,02119 114-11 0,027448 0,02744814-14 0,007629 0,682358 0,027448 0,032752 0,750186 0,90958518721-12 0,145233 0,145233 121-21 157,2815 3,280814 0,007087 0,007593 160,577 0,97947717221-23 0,007087 0,00708721-24 3,245727 3,245727 121-32 0,007087 0,00708722-21 0,969009 0,350051 0,016192 0,116684 0,116684 1,568619 0,22315845322-22 5,825976 0,565223 6,391199 0,91156228922-24 0,011702 0,443527 0,45522822-31 0,116847 0,11684722-32 0,051492 0,05149223-21 0,37432 0,583418 0,233367 1,191105 0,48981204623-22 0,116684 0,11668423-23 14,62212 0,678467 1,0177 16,31829 0,89605730924-21 0,035087 0,116684 0,151771 0,76881515724-24 0,574736 0,574736 50,81167 3,370031 55,33118 0,91831906131-31 146,7529 146,7529 131-32 1,399104 0,474576 1,87368 0,74671432732-21 0,007593 0,855082 0,86267532-22 0,619652 0,619652 1,239305 0,532-24 1,25232 0,007593 1,25991232-31 0,223682 0,128069 0,023327 0,375079 0,34144644132-32 1,474734 1,931243 0,884333 42,09944 46,38975 0,90751598333-33 0,009024 0,086786 0,026647 0,707244 1,45196 0,009024 2,290685 0,63385406341-21 0,019138 0,01913841-41 0,419136 0,419136 142-42 0,033373 0,033373 151-51 0,401921 0,264063 3,434275 4,100259 0,83757512652-52 0,074202 0,074202 1Total 16,56936 3,400889 1,105843 0,007629 0,02119 0,682358 0,145233 158,7735 3,245727 0,350051 6,473522 0,116684 0,700101 18,89402 0,116684 0,691419 55,87711 152,9518 1,399104 0,619652 1,01949 45,45754 1,45196 0,419136 0,033373 3,434275 0,083226 474,0408

Prod_accuracy 0,988139 0,997757 0,993101 1 1 1 0,990603 1 1 0,89997 0,833333 0,773902 0,168759 0,909347 0,959472 1 1 0,125621 0,926127 1 1 1 1 0,891575 0,951315452



Zone 14: Island- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 119: Confusion matrix CLCCH2012-2018 for zone 14 (Island) – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-13 14-14 21-21 23-23 23-32 24-24 31-31 32-32 33-32 33-33 33-51 41-41 42-42 51-33 51-51 52-52 Total User_accuracy11-11 0,434877 0,434877 112-12 0,406959 0,01837 0,01837 0,443699 0,91719474812-33 0,01837 0,0183713-13 0,025971 0,075816 0,101787 0,74484741513-14 0,025971 0,02597114-14 0,700382 0,700382 121-21 0,095488 0,095488 123-21 0,002925 0,00292523-23 10,7261 0,002925 10,72903 0,99972736923-32 0,051492 0,051492 124-23 0,021875 0,02187524-24 0,199801 0,199801 131-31 1,296685 0,088535 0,067392 1,452612 0,89265739431-32 0,207215 0,20721531-33 0,067392 0,06739231-41 0,067392 0,06739232-32 0,01304 163,8667 163,8797 0,99992042932-33 0,075577 0,07557733-32 0,466368 0,466368 133-33 219,533 0,01304 219,546 0,99994060533-41 0,58713 0,5871333-51 0,0266 0,398995 0,346764 0,772359 0,51659275133-52 0,0266 0,026641-33 0,081332 0,08133241-41 29,48284 29,48284 142-42 0,468248 0,468248 151-32 0,034721 0,03472151-33 0,307312 0,7679 0,127983 1,203195 0,63821722451-41 0,192834 0,19283451-51 9,240573 9,240573 152-52 0,848332 0,848332 1Total 0,460849 0,406959 0,075816 0,726353 0,098413 10,76102 0,051492 0,202726 1,296685 164,1808 0,466368 220,1279 0,398995 30,39759 0,468248 0,7679 9,763082 0,874931 441,5262

Prod_accuracy 0,943645 1 1 0,964244 0,970278 0,996755 1 0,985571 1 0,998087 1 0,997297 1 0,969907 1 1 0,946481 0,969598 0,994415648



Table 120: Confusion matrix CLCCH2012-2018 for zone 14 (Island) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-13 14-14 21-21 23-23 23-32 24-24 31-31 32-32 33-32 33-33 33-51 41-41 42-42 51-33 51-51 52-52 Total User_accuracy11-11 0,434877 0,434877 112-12 0,425329 0,01837 0,443699 0,95859737412-33 0,01837 0,0183713-13 0,025971 0,075816 0,101787 0,74484741513-14 0,025971 0,02597114-14 0,700382 0,700382 121-21 0,095488 0,095488 123-21 0,002925 0,00292523-23 10,7261 0,002925 10,72903 0,99972736923-32 0,051492 0,051492 124-23 0,021875 0,02187524-24 0,199801 0,199801 131-31 1,296685 0,088535 0,067392 1,452612 0,89265739431-32 0,207215 0,20721531-33 0,067392 0,06739231-41 0,067392 0,06739232-32 0,01304 163,8667 163,8797 0,99992042932-33 0,075577 0,07557733-32 0,466368 0,466368 133-33 219,546 219,546 133-41 0,58713 0,5871333-51 0,0266 0,398995 0,346764 0,772359 0,51659275133-52 0,0266 0,026641-33 0,081332 0,08133241-41 29,48284 29,48284 142-42 0,468248 0,468248 151-32 0,034721 0,03472151-33 0,082482 0,031996 0,960734 0,127983 1,203195 0,79848578751-41 0,192834 0,19283451-51 9,240573 9,240573 152-52 0,848332 0,848332 1Total 0,434877 0,425329 0,025971 0,075816 0,726353 0,098413 10,76102 0,051492 0,202726 1,296685 164,1625 0,466368 219,9161 0,430991 30,39759 0,468248 0,960734 9,750042 0,874931 441,5262

Prod_accuracy 1 1 1 0,964244 0,970278 0,996755 1 0,985571 1 0,998198 1 0,998317 0,925762 0,969907 1 1 0,947747 0,969598 0,994923533



Zone 15: Hungary - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 121: Confusion matrix CLCCH2012-2018 for zone 15 (Hungary) – BLIND ANALYSIS- In column the validation and line the production




CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-12 21-13 21-21 21-22 22-21 22-22 22-23 23-13 23-21 23-22 23-23 23-32 24-24 31-31 31-32 32-13 32-23 32-31 32-32 33-33 41-23 41-41 51-51 Total User_accuracy11-11 18,73035 0,005278 18,73563 0,999718311-24 0,014061 0,01406112-11 0,035002 0,03500212-12 0,008833 3,6031 0,020103 3,632037 0,99203294512-21 0,00344 0,04087 0,00344 0,04774912-23 0,019738 0,003266 0,02300412-24 0,020103 0,020103 0,04020612-32 0,023004 0,02300412-51 0,014061 0,01406113-11 0,14787 0,1478713-12 0,072533 0,081786 0,005194 0,025123 0,184636 0,4429582213-13 0,642772 0,012282 0,655055 0,98124969513-21 0,089218 0,08921813-23 0,046896 0,04689613-31 0,037405 0,03740513-32 0,062786 0,003266 0,003266 0,069317 0,90577604513-51 0,02119 0,0211914-11 0,083995 0,08399514-14 1,484522 1,484522 114-24 0,072771 0,07277114-51 0,072771 0,07277121-13 0,290466 0,145233 0,145233 0,580932 0,521-21 0,008308 192,7833 0,036944 4,129678 196,9582 0,97880296721-22 0,116684 0,350051 0,213907 0,680641 0,51429571521-23 0,147692 4,137986 4,28567721-24 0,163657 4,137986 4,30164221-51 0,008308 0,00830822-21 0,115058 0,350051 0,122294 0,116684 0,067123 0,771209 0,45389873522-22 6,93054 6,93054 122-24 0,009587 0,773853 0,7834422-32 0,067123 0,06712323-12 0,580672 0,58067223-13 0,004299 0,00429923-21 0,96594 0,350051 0,004299 1,320289 0,26513173523-22 0,116684 0,116684 123-23 0,806582 26,42123 0,580672 0,004299 27,81278 0,94996716323-24 1,161344 1,16134423-31 0,004299 0,00429923-32 0,051492 0,051492 0,810591 0,913574 0,05636295623-51 0,008308 0,00830824-11 0,605428 0,60542824-21 0,020414 0,006805 0,02721924-22 0,006805 0,00680524-24 1,210856 0,605428 0,612233 15,04091 0,697217 18,16664 0,82794103324-31 0,697217 0,69721724-32 0,163657 0,16365731-22 0,038326 0,03832631-31 71,75931 0,047645 71,80696 0,99933647931-32 2,33184 3,128828 5,460667 0,42702467232-12 0,015919 0,01591932-13 0,076656 0,076656 132-21 0,184666 0,037417 0,22208332-22 0,015919 0,01591932-23 0,532715 0,072433 0,605148 0,119694132-24 0,053336 0,05333632-31 3,790592 0,05785 3,264575 7,113017 0,45895791232-32 0,886596 0,126816 0,656024 26,78852 28,45795 0,94133673132-41 0,015919 0,01591933-33 0,114331 0,114331 141-23 0,161695 0,025066 0,186761 0,13421472741-32 0,161695 0,16169541-41 0,161695 0,201466 2,94506 3,308221 0,89022465651-13 0,002903 0,00290351-21 0,002903 0,002903 0,00580651-24 0,002903 0,00290351-31 0,002903 0,00290351-41 0,008308 0,00830851-51 7,517374 7,517374 1Total 20,84244 4,302774 0,081786 0,652878 0,062786 2,16272 0,00344 0,290466 196,1747 0,495284 0,350051 7,490065 0,116684 0,145233 0,350051 0,168175 31,94023 0,051492 21,5233 81,98672 2,38969 0,076656 0,072433 3,264575 31,95751 0,114331 0,025066 2,969287 7,619643 417,6804

Prod_accuracy 0,898664 0,83739 1 0,984522 1 0,686414 1 0,982712 0,706768 1 0,925298 1 0,693821 0,827208 1 0,69882 0,875255 0,975792 1 1 1 0,838254 1 1 0,991841 0,986578 0,915018263



Table 122: Confusion matrix CLCCH2012-2018 for zone 15 (Hungary) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-13 21-21 21-22 22-21 22-22 22-23 22-24 23-13 23-21 23-22 23-23 23-32 24-24 31-31 31-32 32-13 32-23 32-31 32-32 33-33 41-23 41-41 41-51 51-51 Total User_accuracy11-11 18,73035 0,005278 18,73563 0,999718311-24 0,014061 0,01406112-11 0,035002 0,03500212-12 3,611934 0,020103 3,632037 0,99446502612-21 0,00344 0,04087 0,00344 0,04774912-23 0,019738 0,003266 0,02300412-24 0,020103 0,020103 0,04020612-32 0,003266 0,019738 0,02300412-51 0,014061 0,01406113-11 0,14787 0,1478713-12 0,072533 0,081786 0,005194 0,025123 0,184636 0,4429582213-13 0,636535 0,01852 0,655055 0,97172689113-21 0,089218 0,08921813-23 0,046896 0,04689613-31 0,037405 0,03740513-32 0,062786 0,003266 0,003266 0,069317 0,90577604513-51 0,02119 0,0211914-11 0,083995 0,08399514-14 1,484522 1,484522 114-24 0,072771 0,07277114-51 0,072771 0,07277121-13 0,435699 0,145233 0,580932 0,7521-21 192,8167 0,011819 4,129678 196,9582 0,9789727121-22 0,466734 0,213907 0,680641 0,68572761921-23 0,147692 4,137986 4,28567721-24 0,163657 4,137986 4,30164221-51 0,008308 0,00830822-21 0,115058 0,417174 0,122294 0,116684 0,771209 0,54093491922-22 6,93054 6,93054 122-24 0,067123 0,716317 0,78344 0,08567730622-32 0,067123 0,06712323-12 0,580672 0,58067223-13 0,004299 0,00429923-21 0,221611 0,513707 0,58497 1,320289 0,38908701623-22 0,116684 0,116684 123-23 0,167956 0,638626 26,42123 0,580672 0,004299 27,81278 0,94996716323-24 0,580672 0,580672 1,16134423-31 0,004299 0,00429923-32 0,051492 0,051492 0,810591 0,913574 0,05636295623-51 0,008308 0,00830824-11 0,605428 0,60542824-21 0,020414 0,006805 0,02721924-22 0,006805 0,00680524-24 1,210856 0,605428 0,612233 15,04091 0,697217 18,16664 0,82794103324-31 0,697217 0,69721724-32 0,163657 0,16365731-22 0,038326 0,03832631-31 71,79764 0,009319 71,80696 0,99987021631-32 0,076652 2,370166 3,013849 5,460667 0,43404324532-12 0,015919 0,01591932-13 0,076656 0,076656 132-21 0,184666 0,037417 0,22208332-22 0,015919 0,01591932-23 0,532715 0,072433 0,605148 0,119694132-24 0,053336 0,05333632-31 3,152845 0,05785 3,886403 0,015919 7,113017 0,54637902732-32 0,493945 0,1157 27,84831 28,45795 0,97857734132-41 0,015919 0,01591933-33 0,114331 0,114331 141-23 0,161695 0,025066 0,186761 0,13421472741-32 0,161695 0,16169541-41 0,039771 0,161695 0,161695 2,94506 3,308221 0,89022465651-13 0,002903 0,00290351-21 0,002903 0,002903 0,00580651-24 0,002903 0,00290351-31 0,002903 0,00290351-41 0,008308 0,00830851-51 7,517374 7,517374 1Total 20,83361 4,310005 0,101889 0,64664 0,062786 2,16272 0,435699 193,8794 0,466734 0,417174 7,503266 0,116684 0,067123 0,145233 1,152334 0,168175 33,14134 0,051492 20,63272 81,30187 2,428016 0,095177 0,072433 4,011423 32,73984 0,114331 0,025066 2,960979 0,008308 7,62795 417,6804

Prod_accuracy 0,899045 0,838035 0,802696 0,984373 1 0,686414 1 0,994519 1 1 0,92367 1 0,445797 0,693821 0,797229 1 0,728983 0,883099 0,976174 0,80541 1 0,968834 0,850594 1 1 0,994624 0,985504 0,920654435



Zone 16: Portugal- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 123: Confusion matrix CLCCH2012-2018 for zone 16 (Portugal) –BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level = 80.75% Overall accuracy at the third level = 74%

CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-21 21-22 21-32 22-21 22-22 23-21 23-23 23-51 24-21 24-22 24-24 24-32 24-51 31-31 31-32 32-21 32-22 32-31 32-32 32-33 32-51 33-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 11,08755 11,08755 111-24 0,009725 0,00972512-11 0,009725 0,00972512-12 2,721556 0,021768 2,743323 0,99206526712-23 0,012497 0,01249712-24 0,018975 0,01897513-11 0,091511 0,09151113-12 0,060341 0,081786 0,006391 0,009725 0,081786 0,018975 0,259004 0,31577222913-13 0,031642 0,812373 0,006391 0,018975 0,869381 0,93442760313-14 0,028736 0,02873613-31 0,041366 0,04136613-32 0,031393 0,018975 0,031642 0,082009 0,38279550913-51 0,012782 0,02119 0,02119 0,05516214-14 0,054953 0,01225 0,727126 0,01225 0,806579 0,90149287314-32 0,049181 0,04918121-21 34,62196 4,387716 0,74249 39,75216 0,87094522821-22 0,116684 0,933468 0,143855 1,194007 0,78179451421-23 6,245339 6,24533921-24 0,74249 1,673713 2,41620421-32 0,051492 0,825437 0,876928 0,05871828822-21 0,143855 0,233367 0,377222 0,61864575222-22 0,111878 0,116684 23,95791 3,72802 27,91449 0,85826069522-24 0,676724 0,143855 0,055939 0,330779 0,015727 1,22302422-32 0,051492 0,051492 0,10298322-51 0,03315 0,0331523-21 0,466734 0,116684 0,583418 0,823-23 5,024926 0,323308 0,323308 5,671542 0,88598946723-32 0,323308 0,32330824-21 2,853087 0,116684 2,969771 0,03929041524-22 0,69357 0,116684 0,810254 0,14400861824-23 2,642819 1,32141 3,96422924-24 1,387141 3,402802 1,732416 81,31535 1,387141 2,425986 91,65084 0,88722977224-31 1,388629 1,732416 3,12104524-32 0,051492 0,05149224-51 0,03315 0,03315 0,066299 0,531-22 0,072433 0,07243331-24 7,353017 7,35301731-31 0,5184 7,353017 86,89427 2,645604 97,41129 0,89203488731-32 0,466368 1,771077 6,529151 0,466368 5,293869 14,52683 0,44945455331-33 0,466368 0,466368 0,93273632-21 0,072433 0,072433 0,257828 0,402693 0,1798704132-22 0,007189 0,072433 0,28973 0,072433 0,441785 0,6558179932-23 0,072433 0,072433 0,559534 0,70439932-24 1,382229 0,778452 2,16068132-31 0,007189 0,031701 0,045992 2,187168 1,865472 1,873605 6,011126 0,31033645732-32 1,780907 0,077693 93,18942 2,185689 97,23371 0,95840651832-33 0,466368 1,865472 2,33184 0,832-51 0,0266 0,106399 0,132998 0,833-32 0,466368 2,28914 0,466368 0,184845 3,406721 0,13689643533-33 0,027321 0,184845 0,36969 2,382795 0,027321 2,991972 0,79639623441-32 0,075524 0,07552441-41 0,222394 0,222394 142-42 1,095521 1,095521 151-21 0,007189 0,00718951-24 0,007189 0,00718951-51 0,129842 3,183554 3,313396 0,96081301351-52 0,157571 0,15757152-42 0,068054 0,06805452-52 0,655395 0,655395 1Total 12,6582 2,832978 0,081786 0,831546 0,031393 0,762252 42,71809 1,050152 0,102983 0,284859 26,69999 0,466734 14,6166 0,03315 0,116684 0,189116 112,9856 0,051492 0,059749 93,73752 7,461887 0,144865 0,28973 2,516684 113,5525 1,865472 0,139548 0,466368 4,78497 0,480222 1,122842 3,211933 0,88102 447,2289

Prod_accuracy 0,875918 0,96067 1 0,976944 1 0,953917 0,810475 0,888889 0,5 0,819238 0,8973 1 0,343782 1 0,616994 0,719697 0,554812 0,926996 0,875 0,5 1 0,741242 0,820673 1 0,762451 1 0,497975 0,463107 0,975668 0,991164 0,743905 0,807532529



Table 124: Confusion matrix CLCCH2012-2018 for zone 16 (Portugal) –PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-32 13-33 14-14 21-21 21-22 21-23 21-32 22-21 22-22 23-21 23-23 23-32 24-13 24-21 24-22 24-24 24-32 24-51 31-31 31-32 32-21 32-22 32-23 32-31 32-32 32-33 32-51 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 11,08755 11,08755 111-24 0,009725 0,00972512-11 0,009725 0,00972512-12 2,721556 0,021768 2,743323 0,99206526712-23 0,012497 0,01249712-24 0,018975 0,01897513-11 0,081786 0,009725 0,091511 0,10626633613-12 0,050617 0,081786 0,016115 0,018975 0,009725 0,081786 0,259004 0,31577222913-13 0,031642 0,812373 0,018975 0,006391 0,869381 0,93442760313-14 0,028736 0,02873613-31 0,041366 0,04136613-32 0,050368 0,031642 0,082009 0,61417142413-51 0,012782 0,02119 0,02119 0,05516214-14 0,042703 0,01225 0,739376 0,01225 0,806579 0,91668088814-32 0,049181 0,04918121-21 34,62196 5,03358 0,096626 39,75216 0,87094522821-22 0,116684 0,933468 0,143855 1,194007 0,78179451421-23 0,74249 5,502849 6,245339 0,11888711821-24 0,74249 1,673713 2,41620421-32 0,051492 0,825437 0,876928 0,05871828822-21 0,143855 0,233367 0,377222 0,61864575222-22 0,111878 0,116684 24,63464 3,051296 27,91449 0,88250344322-24 0,820579 0,143855 0,055939 0,186923 0,015727 1,22302422-32 0,051492 0,051492 0,10298322-51 0,03315 0,0331523-21 0,466734 0,116684 0,583418 0,823-23 5,024926 0,323308 0,323308 5,671542 0,88598946723-32 0,323308 0,32330824-21 2,709232 0,260539 2,969771 0,08773030724-22 0,69357 0,116684 0,810254 0,14400861824-23 2,642819 1,32141 3,96422924-24 1,387141 3,402802 1,732416 0,69357 80,62178 0,69357 3,119557 91,65084 0,87966224424-31 1,388629 1,732416 3,12104524-32 0,051492 0,05149224-51 0,03315 0,03315 0,066299 0,531-22 0,072433 0,07243331-24 7,353017 7,35301731-31 0,5184 6,898312 87,34897 2,645604 97,41129 0,89670276931-32 0,976374 0,466368 1,750368 7,147117 0,171187 4,015418 14,52683 0,49199421431-33 0,466368 0,466368 0,93273632-21 0,072433 0,072433 0,257828 0,402693 0,1798704132-22 0,007189 0,072433 0,28973 0,072433 0,441785 0,6558179932-23 0,072433 0,072433 0,559534 0,704399 0,10282894532-24 1,382229 0,778452 2,16068132-31 0,007189 0,031701 0,045992 1,928775 2,077873 1,919597 6,011126 0,34567109932-32 1,780907 0,077693 95,37511 97,23371 0,9808852332-33 0,466368 1,865472 2,33184 0,832-51 0,0266 0,106399 0,132998 0,833-32 0,466368 2,755508 0,184845 3,40672133-33 0,027321 0,184845 0,36969 2,382795 0,027321 2,991972 0,79639623441-32 0,075524 0,07552441-41 0,222394 0,222394 142-42 1,095521 1,095521 151-21 0,007189 0,00718951-24 0,007189 0,00718951-51 0,129842 3,183554 3,313396 0,96081301351-52 0,157571 0,15757152-42 0,068054 0,06805452-52 0,655395 0,655395 1Total 12,63622 2,823254 0,009725 0,081786 0,84127 0,129684 0,031642 0,774502 42,70837 1,050152 0,74249 0,051492 0,284859 28,35309 0,466734 14,57741 0,051492 0,009725 0,260539 0,189116 111,6406 0,051492 0,059749 92,54457 8,079853 0,072433 0,28973 0,072433 2,433905 115,5332 1,865472 0,172698 2,56764 0,555746 1,122842 3,211933 0,88102 447,2289

Prod_accuracy 0,877442 0,963979 1 1 0,965651 0,388389 0,954646 0,81066 0,888889 1 1 0,819238 0,868852 1 0,344706 1 0,616994 0,722154 0,554812 0,943858 0,88456 1 1 1 0,85372 0,825521 1 0,616097 0,92801 0,400172 0,975668 0,991164 0,743905 0,816448041



Zone 17: Austria / Swiss - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 125: Confusion matrix CLCCH2012-2018 for zone 17 (Austria / Swiss) – BLIND ANALYSIS - In column the validation and line the production

Overall accuracy at the second level = 88.5% Overall accuracy at the third level =83 %

CLCC_Lvl2 11-11 12-12 13-12 13-13 13-23 14-14 21-12 21-21 22-22 23-23 24-24 31-12 31-31 31-32 32-31 32-32 33-33 41-41 51-51 Total User_accuracy11-11 23,85048 1,288562 1,288562 26,4276 0,90248359212-11 0,00623 0,004154 0,01038412-12 0,134161 2,479661 0,009259 0,002077 2,625158 0,94457566112-14 0,027937 0,02793712-21 0,013678 0,013678 0,003508 0,03086312-22 0,106806 0,10680612-24 0,013678 0,01367813-11 0,025061 0,006405 0,03146613-12 0,025061 0,031466 0,009259 0,06578713-13 0,006405 0,431726 0,044778 0,034321 0,51723 0,83468955513-14 0,081786 0,08178613-21 0,015665 0,006405 0,0220713-24 0,009259 0,00925913-31 0,004693 0,00469314-14 1,489516 0,013057 0,013057 0,004693 1,520323 0,97973618314-21 0,067053 0,026115 0,09316714-31 0,067053 0,06705314-32 0,004693 0,00469321-12 0,290466 0,290466 121-21 63,00221 3,405336 6,810671 73,21822 0,86047180121-23 1,702668 3,405336 5,10800321-24 1,702668 5,108003 6,81067122-11 0,024128 0,02412822-22 0,024128 3,550265 0,024128 3,598522 0,98658979923-21 0,003508 0,00350823-23 33,68907 4,498423 38,18749 0,88220165223-24 4,491408 0,003508 4,49491523-32 2,245704 2,24570424-11 0,847595 0,84759524-21 0,61275 0,6127524-23 1,2255 1,225524-24 25,67346 0,847595 26,52106 0,96804067431-12 0,076656 0,076656 131-23 0,072433 0,07243331-31 2,4115 194,5359 0,007976 196,9553 0,98771561231-32 1,267708 7,719923 8,98763131-33 0,485424 2,4115 2,89692432-21 0,053005 0,05300532-23 0,082145 0,08214532-24 0,053005 0,05300532-31 0,019162 2,195491 0,110492 2,32514532-32 0,239954 0,008875 60,37116 60,61999 0,99589526532-33 0,053005 0,05300533-32 1,167134 1,16713433-33 2,519034 51,99445 54,51349 0,95379063241-21 0,050213 0,05021341-23 0,014485 0,01448541-32 0,050213 0,05021341-41 0,064698 0,897077 0,961775 0,93273060851-51 0,003508 8,981882 8,98539 0,999609624Total 24,92639 2,556895 0,015665 0,431726 0,044778 1,638355 0,290466 64,99383 3,657071 43,0015 45,63319 0,076656 206,8197 0,072433 0,008875 76,67182 51,99445 0,950798 8,981882 532,7665

Prod_accuracy 0,956836 0,969794 1 0,909153 1 0,969357 0,970795 0,783439 0,562605 1 0,940606 0,787397 1 0,943499 1 0,884653933



Table 126: Confusion matrix CLCCH2012-2018 for zone 17 (Austria / Swiss) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-23 14-14 21-12 21-21 22-22 23-23 24-24 31-12 31-31 32-31 32-32 33-33 41-41 51-51 Total User_accuracy11-11 25,13904 1,288562 26,4276 0,95124179612-11 0,00623 0,004154 0,01038412-12 0,134161 2,479661 0,009259 0,002077 2,625158 0,94457566112-14 0,027937 0,02793712-21 0,013678 0,013678 0,003508 0,03086312-22 0,106806 0,10680612-24 0,013678 0,01367813-11 0,025061 0,006405 0,03146613-12 0,025061 0,031466 0,009259 0,06578713-13 0,006405 0,431726 0,025061 0,019717 0,034321 0,51723 0,83468955513-14 0,081786 0,08178613-21 0,006405 0,009259 0,006405 0,0220713-24 0,009259 0,00925913-31 0,004693 0,00469314-14 1,489516 0,013057 0,013057 0,004693 1,520323 0,97973618314-21 0,067053 0,026115 0,09316714-31 0,067053 0,06705314-32 0,004693 0,00469321-12 0,290466 0,290466 121-21 63,00221 3,405336 6,810671 73,21822 0,86047180121-23 1,702668 3,405336 5,10800321-24 1,702668 5,108003 6,81067122-11 0,024128 0,02412822-22 3,574393 0,024128 3,598522 0,993294923-21 0,003508 0,00350823-23 33,68907 4,498423 38,18749 0,88220165223-24 4,491408 0,003508 4,49491523-32 2,245704 2,24570424-11 0,847595 0,84759524-21 0,61275 0,6127524-23 0,61275 0,61275 1,225524-24 25,67346 0,847595 26,52106 0,96804067431-12 0,076656 0,076656 131-23 0,072433 0,07243331-31 2,4115 194,5359 0,007976 196,9553 0,98771561231-32 1,267708 7,719923 8,98763131-33 0,485424 2,4115 2,89692432-21 0,053005 0,05300532-23 0,003788 0,078357 0,08214532-24 0,053005 0,05300532-31 0,019162 2,130355 0,072788 0,10284 2,325145 0,03130480432-32 0,286316 0,012663 60,32101 60,61999 0,99506797132-33 0,053005 0,05300533-32 1,167134 1,16713433-33 2,519034 51,99445 54,51349 0,95379063241-21 0,050213 0,05021341-23 0,014485 0,01448541-32 0,050213 0,05021341-41 0,064698 0,897077 0,961775 0,93273060851-51 0,003508 8,981882 8,98539 0,999609624Total 26,21495 2,556895 0,02207 0,431726 0,025061 1,638355 0,299725 64,95404 3,6812 43,63397 45,70562 0,076656 204,8212 0,085451 76,69238 51,99445 0,950798 8,981882 532,7665

Prod_accuracy 0,958958 0,969794 1 0,909153 0,969107 0,969951 0,970986 0,772083 0,561714 1 0,949784 0,85181 0,786532 1 0,943499 1 0,887160338



Zone 18: Denmark/Netherland/Belgium/Luxembourg - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 127: Confusion matrix CLCCH2012-2018 for zone 18 (Denmark/Netherland/Belgium/Luxembourg) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =86.55 % Overall accuracy at the third level = 86%

CLCC_Lvl2 11-11 11-51 12-12 13-11 13-12 13-13 13-14 13-23 13-32 13-51 14-14 21-13 21-14 21-21 21-51 22-22 23-12 23-13 23-23 23-51 24-24 31-31 31-32 32-31 32-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 40,03314 2,256526 2,256526 44,54619 0,89868827211-21 0,015866 0,01586611-31 2,256526 2,25652612-11 0,364113 0,36411312-12 10,34633 10,34633 112-21 0,005845 0,01169 0,058143 0,07567812-24 0,072887 0,005845 0,07873212-32 0,006382 0,00638213-11 0,287852 0,072887 0,081786 0,011526 0,454051 0,18012548213-12 0,196145 0,081786 0,277931 0,29426790413-13 0,010044 1,465572 0,011526 0,036353 1,523495 0,96198008413-14 0,102518 0,036353 0,012233 0,151104 0,67846226113-21 0,071845 0,07184513-23 0,029569 0,079254 0,108823 0,27171874513-24 0,029569 0,020088 0,020732 0,07038913-31 0,006382 0,012233 0,01861513-32 0,031393 0,041437 0,031393 0,031393 0,036353 0,020732 0,1927 0,16291001513-51 0,02119 0,047879 0,069069 0,30679298814-11 0,165794 0,072887 0,23868114-12 0,290675 0,29067514-14 7,374413 7,374413 114-24 0,046454 0,063648 0,11010221-13 0,145233 0,145233 0,290466 0,521-14 3,565778 3,56577821-21 7,131555 3,565778 153,4922 3,565778 167,7553 0,91497667921-24 7,131555 7,13155521-32 0,051492 0,05149221-51 0,132598 0,132598 122-21 0,009041 0,00904122-22 0,122249 0,734083 0,04075 0,897082 0,81830098822-24 0,009041 0,00904123-13 0,145233 0,145233 123-21 0,018081 0,01808123-23 3,086813 55,57167 3,086813 61,74529 0,90001464223-32 0,051492 0,05149223-41 0,066832 0,06683223-51 0,03315 0,066299 0,099449 0,66666666724-21 4,760582 4,76058224-24 2,592984 4,083748 4,083748 62,38912 1,572047 74,72164 0,83495375924-32 0,051492 0,05149231-13 0,076656 0,07665631-14 0,021426 0,02142631-21 0,455714 0,45571431-31 1,697306 57,64525 59,34256 0,9713981731-32 0,466368 0,466368 0,113854 1,04659 0,44560719732-11 0,228801 0,22880132-13 0,076656 0,076656 0,15331332-14 0,272645 0,27264532-21 0,03655 0,038381 0,012794 0,012794 0,10051832-23 0,039701 0,03970132-24 0,006595 0,155732 0,025587 0,18791432-31 0,70929 0,006595 0,006595 0,228801 0,951281 0,00693261332-32 0,018275 0,155732 0,018275 0,59509 0,056927 10,76323 0,155732 0,054825 11,81809 0,9107422432-41 0,012794 0,016119 0,190126 0,21903933-33 0,95676 0,95676 141-32 0,143608 0,14360841-41 0,143608 0,156941 0,078471 3,903897 0,186461 4,469378 0,87347664542-42 1,821675 0,014106 1,835782 0,99231587951-51 14,69839 1,116583 15,81497 0,92939710452-52 0,709642 0,709642 1Total 52,74427 0,03315 13,06217 0,081786 0,081786 1,471954 0,102518 0,029569 0,031393 0,057543 18,01843 0,221889 0,145233 165,6059 0,132598 0,734083 0,018275 0,221889 61,08978 0,117791 76,43385 61,1612 0,485756 0,006595 11,24962 1,112492 5,885235 1,821675 15,00392 1,826225 488,9885

Prod_accuracy 0,759005 0,792083 1 1 0,995664 1 1 1 0,368246 0,409271 0,654529 0,926852 1 1 0,654529 0,909672 0,562855 0,81625 0,942514 0,960086 1 0,956764 0,860015 0,663337 1 0,979637 0,388584 0,865492508



Table 128: Confusion matrix CLCCH2012-2018 for zone 18 (Denmark / Netherland / Belgium / Luxembourg) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-51 12-12 12-21 13-11 13-12 13-13 13-14 13-21 13-23 13-32 13-51 14-14 21-11 21-12 21-13 21-14 21-21 21-41 21-51 22-22 23-11 23-12 23-13 23-21 23-23 23-51 24-21 24-24 31-31 31-32 32-31 32-32 33-33 41-41 41-51 42-42 51-51 52-52 Total User_accuracy11-11 40,03314 2,256526 2,256526 44,54619 0,89868811-21 0,015866 0,01586611-31 2,256526 2,25652612-11 0,364113 0,36411312-12 10,34633 10,34633 112-21 0,017535 0,005845 0,005845 0,046454 0,075678 0,07723412-24 0,072887 0,005845 0,07873212-32 0,006382 0,00638213-11 0,21619 0,081786 0,072887 0,011526 0,011526 0,060135 0,454051 0,18012513-12 0,143799 0,122606 0,011526 0,277931 0,44113813-13 0,010044 1,465572 0,011526 0,036353 1,523495 0,9619813-14 0,102518 0,036353 0,012233 0,151104 0,67846213-21 0,025557 0,025557 0,020732 0,071845 0,35571613-23 0,029569 0,079254 0,108823 0,27171913-24 0,029569 0,020088 0,020732 0,07038913-31 0,012233 0,006382 0,01861513-32 0,031393 0,041437 0,031393 0,052125 0,036353 0,1927 0,1629113-51 0,032716 0,036353 0,069069 0,47367314-11 0,046454 0,192227 0,23868114-12 0,290675 0,29067514-14 7,374413 7,374413 114-24 0,110102 0,11010221-13 0,145233 0,145233 0,290466 0,521-14 3,565778 3,56577821-21 7,131555 3,565778 153,4922 3,565778 167,7553 0,91497721-24 7,131555 7,13155521-32 0,051492 0,05149221-51 0,132598 0,132598 122-21 0,009041 0,00904122-22 0,04075 0,734083 0,04075 0,04075 0,04075 0,897082 0,81830122-24 0,009041 0,00904123-13 0,145233 0,145233 123-21 0,018081 0,01808123-23 3,086813 55,57167 3,086813 61,74529 0,90001523-32 0,051492 0,05149223-41 0,066832 0,06683223-51 0,03315 0,066299 0,099449 0,66666724-21 4,760582 4,76058224-24 2,592984 3,062811 4,083748 63,41006 1,572047 74,72164 0,84861724-32 0,051492 0,05149231-13 0,076656 0,07665631-14 0,021426 0,02142631-21 0,455714 0,45571431-31 1,697306 57,64525 59,34256 0,97139831-32 0,466368 0,466368 0,113854 1,04659 0,44560732-11 0,228801 0,22880132-13 0,076656 0,076656 0,15331332-14 0,272645 0,27264532-21 0,03655 0,038381 0,012794 0,012794 0,10051832-23 0,039701 0,03970132-24 0,006595 0,155732 0,025587 0,18791432-31 0,256741 0,025587 0,128729 0,540223 0,951281 0,13532232-32 0,018275 0,018275 0,59509 11,13162 0,054825 11,81809 0,94191432-41 0,012794 0,016119 0,190126 0,21903933-33 0,95676 0,95676 141-32 0,143608 0,14360841-41 0,143608 0,156941 3,982368 0,021426 0,165034 4,469378 0,89103442-42 1,821675 0,014106 1,835782 0,99231651-51 14,69839 1,116583 15,81497 0,92939752-52 0,709642 0,709642 1Total 52,48555 0,03315 13,22341 0,005845 0,081786 0,217769 1,471954 0,102518 0,025557 0,029569 0,031393 0,069069 18,20141 0,011526 0,005845 0,221889 0,145233 161,9561 0,051492 0,132598 0,734083 0,060135 0,029801 0,221889 0,066306 63,38777 0,117791 0,04075 77,33421 60,46761 0,504749 0,128729 11,85097 0,95676 5,799366 0,021426 1,965284 14,97096 1,826225 488,9885

Prod_accuracy 0,762746 0,782425 1 1 0,563009 0,995664 1 1 1 1 0,473673 0,405156 0,654529 0,947739 1 1 0,654529 0,876694 0,562855 0,819948 0,953324 0,92396 1 0,939301 1 0,68669 0,926928 0,981793 0,388584 0,868915



Zone 19: Albania/Serbia /Macedonia - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 129: Confusion matrix CLCCH2012-2018 for zone 19 (Albania/Serbia/Macedonia) – BLIND ANALYSIS - in column the validation and line the production

Overall accuracy at the second level = 87.1% Overall accuracy at the third level = 84%

CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-12 21-21 21-22 21-51 22-22 23-14 23-21 23-23 23-32 24-11 24-13 24-24 24-32 24-51 31-22 31-31 31-32 32-13 32-21 32-32 32-33 33-32 33-33 33-51 41-21 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 15,9111 15,9111 111-21 0,256299 0,25629911-24 0,03775 0,0377512-11 0,008486 0,00848612-12 1,900042 0,083252 0,040103 2,023397 0,93903576712-24 0,083252 0,053297 0,008486 0,14503612-31 0,005614 0,00561412-32 0,04304 0,0430413-11 0,040103 0,005614 0,04571713-12 0,028428 0,081786 0,005614 0,115828 0,70609919513-13 1,151058 0,038139 1,189198 0,96792854713-21 0,008486 0,028428 0,03691413-23 0,008486 0,00848613-24 0,014101 0,01410113-32 0,062786 0,031393 0,090696 0,184875 0,3396114513-41 0,008486 0,00848614-11 0,015278 0,01527814-12 0,033607 0,015278 0,015278 0,06416314-14 0,015278 0,015278 0,329912 0,360469 0,91523167321-12 0,145233 0,145233 121-21 108,7818 0,021324 0,072782 108,876 0,99913565721-22 0,116684 0,116684 121-24 0,021324 5,101974 5,12329821-51 0,03315 0,03315 122-11 0,159037 0,074402 0,23343922-21 0,063631 0,06363122-22 0,161716 3,773143 0,5923 0,11519 4,642349 0,81276596822-23 0,159037 0,15903722-24 0,11519 0,063631 0,17882122-31 0,158836 0,15883622-32 0,063631 0,080858 0,14448923-21 0,23359 0,116684 0,212267 0,56254 0,20742247823-23 0,012032 12,32205 1,119772 3,295344 16,7492 0,73568002523-24 1,310714 1,31071423-31 0,212267 0,21226723-32 0,102983 0,212267 0,849066 1,164316 0,08844975423-51 0,012032 0,012032 0,02406424-11 1,273508 1,27350824-21 6,16538 1,253714 7,41909524-22 1,253714 1,25371424-24 124,8128 2,897191 0,021324 127,7313 0,9771511424-31 2,897191 2,89719124-32 0,051492 0,051492 2,255927 1,460627 3,819537 0,01348114631-24 0,298417 0,29841731-31 196,8018 4,155117 200,9569 0,97932334731-32 0,147256 0,187061 0,932736 5,757107 7,02416 0,13278967231-33 0,298417 0,29841732-13 0,011896 0,076656 0,088552 0,86566601932-14 0,076656 0,07665632-22 0,76044 0,7604432-23 0,136454 0,13645432-24 5,806058 0,129136 5,93519332-31 0,466368 1,223208 6,628404 0,466368 0,028961 8,8133132-32 0,012032 2,529674 5,413834 5,964025 97,2734 1,072941 112,2659 0,86645539832-33 0,466368 2,5264 0,079983 3,07275132-51 0,0266 0,026633-24 0,398263 0,39826333-31 0,476473 0,47647333-32 0,129136 2,844698 0,058661 3,03249533-33 1,953519 0,466368 10,45626 12,87615 0,81206436633-51 0,0266 0,07821 0,10481 0,25378904141-21 0,025066 0,02506641-32 0,044466 0,04446641-41 0,116468 1,616578 1,733046 0,93279554742-42 0,180691 0,180691 151-33 0,141215 0,14121551-41 0,066832 0,06683251-51 0,070607 9,31706 9,387667 0,99247871552-52 0,498327 0,498327 1Total 17,42279 1,977355 0,081786 1,195504 0,062786 0,34519 0,145233 115,7062 0,116684 0,03315 5,808621 0,076656 0,116684 15,07997 0,154475 1,253714 0,008486 145,7194 0,051492 0,0266 1,223208 220,1044 1,399104 0,076656 0,021324 121,0196 0,466368 0,079983 11,79968 0,0266 0,116468 1,616578 0,180691 0,066832 9,407302 0,498327 673,4859

Prod_accuracy 0,913235 0,960901 1 0,962823 1 0,95574 1 0,940156 1 1 0,649576 1 0,817113 0,666667 0,856528 1 0,894129 0,666667 1 0,803782 0,886147 1 1 1 0,990407 1 0,871395926



Table 130: Confusion matrix CLCCH2012-2018 for zone 19 (Albania / Serbia / Macedonia) – PLAUSIBILITY ANALYSIS - in column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-12 21-21 21-22 21-51 22-22 23-21 23-23 23-32 24-11 24-13 24-24 24-32 24-51 31-22 31-31 31-32 32-13 32-14 32-21 32-31 32-32 32-33 33-32 33-33 33-51 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 15,9111 15,9111 111-21 0,256299 0,25629911-24 0,03775 0,0377512-11 0,008486 0,00848612-12 1,983294 0,040103 2,023397 0,98018036712-24 0,083252 0,053297 0,008486 0,14503612-31 0,005614 0,00561412-32 0,021395 0,021646 0,0430413-11 0,045717 0,04571713-12 0,028428 0,081786 0,005614 0,115828 0,70609919513-13 1,151058 0,038139 1,189198 0,96792854713-21 0,008486 0,028428 0,03691413-23 0,008486 0,00848613-24 0,014101 0,01410113-32 0,062786 0,031393 0,090696 0,184875 0,3396114513-41 0,008486 0,00848614-11 0,015278 0,01527814-12 0,033607 0,030556 0,06416314-14 0,015278 0,34519 0,360469 0,95761583721-12 0,145233 0,145233 121-21 108,7818 0,021324 0,072782 108,876 0,99913565721-22 0,116684 0,116684 121-24 0,021324 5,101974 5,12329821-51 0,03315 0,03315 122-11 0,159037 0,074402 0,23343922-21 0,063631 0,06363122-22 0,080858 3,773143 0,11519 0,673158 4,642349 0,81276596822-23 0,159037 0,15903722-24 0,11519 0,063631 0,17882122-31 0,158836 0,15883622-32 0,144489 0,14448923-21 0,23359 0,116684 0,212267 0,56254 0,20742247823-23 0,012032 12,32205 1,119772 3,295344 16,7492 0,73568002523-24 1,310714 1,31071423-31 0,212267 0,21226723-32 0,102983 0,212267 0,849066 1,164316 0,08844975423-51 0,012032 0,012032 0,02406424-11 1,273508 1,27350824-21 5,037417 1,253714 1,127963 7,41909524-22 1,253714 1,25371424-24 124,8128 1,448595 0,021324 1,448595 127,7313 0,9771511424-31 2,897191 2,89719124-32 0,051492 0,051492 2,255927 1,460627 3,819537 0,01348114631-24 0,298417 0,29841731-31 196,5034 4,453534 200,9569 0,97783836731-32 0,147256 0,147256 0,932736 0,039805 5,757107 7,02416 0,13278967231-33 0,298417 0,29841732-13 0,011896 0,076656 0,088552 0,86566601932-14 0,076656 0,076656 132-22 0,76044 0,7604432-23 0,136454 0,13645432-24 5,806058 0,129136 5,93519332-31 0,466368 0,005948 1,223208 3,861579 1,917153 0,057923 1,281131 8,81331 0,00657216732-32 0,012032 1,456733 1,072941 5,413834 5,929116 0,028961 97,19937 1,152925 112,2659 0,86579593332-33 0,466368 2,446417 0,159967 3,07275132-51 0,0266 0,026633-24 0,398263 0,39826333-31 0,476473 0,47647333-32 2,67765 0,296184 0,058661 3,032495 0,09767009833-33 1,372758 0,466368 0,084921 10,9521 12,87615 0,85057275433-51 0,0266 0,07821 0,10481 0,25378904141-21 0,025066 0,02506641-32 0,044466 0,04446641-41 1,733046 1,733046 142-42 0,180691 0,180691 151-33 0,141215 0,14121551-41 0,066832 0,06683251-51 0,070607 9,31706 9,387667 0,99247871552-52 0,498327 0,498327 1Total 17,41313 2,060607 0,081786 1,195504 0,08418 0,375747 0,145233 114,4821 0,116684 0,03315 5,808621 0,116684 14,12222 1,227416 1,253714 0,008486 146,5232 0,05744 0,0266 1,223208 215,4326 2,849889 0,076656 0,076656 0,021324 0,126689 123,229 0,466368 0,402751 12,53547 0,0266 1,733046 0,180691 0,066832 9,407302 0,498327 673,4859

Prod_accuracy 0,913742 0,962481 1 0,962823 0,745848 0,918678 1 0,950209 1 1 0,649576 1 0,872529 0,083903 0,851829 0,896452 0,912134 0,327289 1 1 0,457202 0,78877 0,735403 0,873689 1 1 1 0,990407 1 0,872537967



Zone 20: Bosnia and Herzegovina/Croatia - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 131: Confusion matrix CLCCH2012-2018 for zone 20 (Bosnia and Herzegovina / Croatia) –BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 14-14 21-21 21-22 22-21 22-22 23-23 23-51 24-24 31-13 31-31 31-32 32-31 32-32 32-51 33-32 33-33 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 10,17624 0,542031 10,71827 0,94942922712-11 0,098378 0,007087 0,007087 0,11255312-12 0,113272 1,828442 0,010009 0,010009 0,034655 1,996387 0,91587555212-21 0,014174 0,01417412-24 0,007087 0,138622 0,14570913-12 0,029163 0,081786 0,030534 0,141484 0,57806185313-13 0,030534 0,616469 0,007087 0,030534 0,684625 0,90044765913-14 0,010009 0,01000913-21 0,007087 0,00708713-24 0,030534 0,03053413-31 0,039172 0,029163 0,06833413-32 0,030534 0,030026 0,06056114-11 0,019692 0,01969214-14 0,078769 0,372691 0,019692 0,471153 0,79102018121-21 26,17509 0,027815 0,009272 26,21218 0,99858511321-22 0,289012 0,28901221-23 0,013503 0,01350321-24 2,875444 2,87544421-41 0,040508 0,04050822-21 0,071814 0,116684 0,188498 0,61901874922-22 0,093011 2,083768 0,536889 0,035907 0,042993 2,792567 0,74618354922-24 0,823991 0,82399122-32 0,007086 0,00708623-23 24,97877 0,013503 3,118804 3,118804 31,22988 0,79983562623-32 0,051492 0,07275 0,12424124-12 0,009272 0,00927224-21 16,8701 4,217524 21,0876224-24 8,438373 100,0921 5,269876 1,052352 114,8527 0,8714823324-31 1,052352 1,05235224-32 0,051492 0,05149231-14 0,076656 0,07665631-31 2,45681 220,9694 9,949578 233,3758 0,94683943931-32 0,957355 2,33184 3,289194 0,70893945731-51 0,0266 0,026632-13 0,076656 0,07665632-21 0,016793 0,01679332-22 0,072433 0,07243332-23 0,016793 0,01679332-31 3,406951 0,932736 0,447409 4,787096 0,19484377132-32 0,430616 7,454386 0,033585 68,4842 1,214705 77,6175 0,88232946132-33 0,430616 0,430616 0,86123332-51 0,0266 0,026633-31 0,059039 0,05903933-32 0,466368 0,857807 0,466368 1,790543 0,26046170333-33 0,017564 0,288813 1,460194 4,712496 6,479067 0,72734179141-23 0,055962 0,05596241-24 0,055962 0,05596241-31 0,055962 0,05596241-41 0,111924 0,89591 1,007835 0,88894580542-42 0,030706 0,042478 0,073183 0,58042508251-51 0,013503 3,982852 3,996355 0,99662125152-52 0,182526 0,182526 1Total 10,6099 1,881051 0,091795 0,687547 0,3827 51,62021 0,072433 0,116684 2,37278 25,07605 0,0266 112,2355 0,076656 243,4692 2,365425 0,932736 86,06496 0,0266 0,466368 6,357817 0,976396 0,042478 0,013503 3,982852 0,182526 550,1307

Prod_accuracy 0,959127 0,972032 0,890965 0,896621 0,973847 0,507071 1 0,878197 0,996121 0,891805 0,907587 0,985802 1 0,795727 1 0,741213 0,917568 1 1 1 0,853475107



Table 132: Confusion matrix CLCCH2012-2018 for zone 20 (Bosnia and Herzegovina / Croatia) –PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-31 13-32 14-14 21-21 21-22 22-21 22-22 23-23 24-12 24-24 31-31 31-32 32-13 32-31 32-32 32-51 33-32 33-33 41-21 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 10,17624 0,542031 10,71827 0,94942922712-11 0,063723 0,041743 0,007087 0,11255312-12 0,113272 1,828442 0,010009 0,010009 0,034655 1,996387 0,91587555212-21 0,014174 0,01417412-24 0,007087 0,103966 0,034655 0,14570913-12 0,029163 0,081786 0,030534 0,141484 0,57806185313-13 0,030534 0,616469 0,007087 0,030534 0,684625 0,90044765913-14 0,010009 0,01000913-21 0,007087 0,00708713-24 0,030534 0,03053413-31 0,010009 0,029163 0,029163 0,068334 0,14646828913-32 0,040543 0,020018 0,060561 0,66946269214-11 0,019692 0,01969214-14 0,078769 0,372691 0,019692 0,471153 0,79102018121-21 26,17509 0,027815 0,009272 26,21218 0,99858511321-22 0,289012 0,28901221-23 0,013503 0,01350321-24 2,875444 2,87544421-41 0,013503 0,027005 0,04050822-21 0,071814 0,116684 0,188498 0,61901874922-22 0,046505 2,268505 0,102324 0,33224 0,035907 0,007086 2,792567 0,81233658622-24 0,071814 0,752177 0,82399122-32 0,007086 0,00708623-23 24,99227 3,118804 3,118804 31,22988 0,8002679923-32 0,051492 0,07275 0,12424124-12 0,009272 0,009272 124-21 16,8701 4,217524 21,0876224-24 4,220849 105,362 4,217524 1,052352 114,8527 0,91736611124-31 1,052352 1,05235224-32 0,051492 0,05149231-14 0,076656 0,07665631-31 2,45681 224,54 0,103947 6,275036 233,3758 0,96213920331-32 0,957355 2,33184 3,289194 0,70893945731-51 0,0266 0,026632-13 0,076656 0,076656 132-21 0,016793 0,01679332-22 0,072433 0,07243332-23 0,016793 0,01679332-31 3,322988 0,430616 0,983114 0,050378 4,787096 0,20536746232-32 0,430616 7,430342 0,033585 0,013503 67,28004 1,214705 1,214705 77,6175 0,86681539332-33 0,861233 0,86123332-51 0,0266 0,0266 133-31 0,059039 0,05903933-32 0,466368 0,75386 0,570315 1,790543 0,31851504233-33 0,017564 0,288813 1,460194 4,712496 6,479067 0,72734179141-23 0,055962 0,05596241-24 0,055962 0,05596241-31 0,055962 0,05596241-41 0,111924 0,89591 1,007835 0,88894580542-42 0,030706 0,042478 0,073183 0,58042508251-51 0,013503 3,982852 3,996355 0,99662125152-52 0,182526 0,182526 1Total 10,52873 1,906434 0,091795 0,626478 0,010009 0,040543 0,3827 47,42969 0,072433 0,116684 2,629331 25,17838 0,009272 117,2113 245,8694 2,796041 0,076656 1,100563 81,10464 0,053199 1,785019 5,927201 0,027005 0,935888 0,042478 0,013503 3,982852 0,182526 550,1307

Prod_accuracy 0,966521 0,95909 0,890965 0,984024 1 1 0,973847 0,551871 1 0,862769 0,992609 1 0,898907 0,913249 0,833979 1 0,893282 0,829546 0,5 0,319501 0,795063 0,957284 1 1 1 0,868293317



Zone 21: Czech Republic / Slovakia - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 133: Confusion matrix CLCCH2012-2018 for zone 21 (Czech Republic / Slovakia) – BLIND ANALYSIS - In column the validation and line the production

Overall accuracy at the second level = 94.6% Overall accuracy at the third level =93.9%

MAP-CLCC_Lvl2 11-11 11-13 12-12 13-12 13-13 13-21 14-14 21-21 21-23 22-21 22-22 23-21 23-23 24-24 31-31 31-32 32-31 32-32 33-33 33-51 41-41 51-51 Total User_accuracy11-11 26,35383 0,007676 0,007676 26,36919 0,99941780511-21 0,007676 0,00767612-11 0,038148 0,03814812-12 0,008227 4,947055 4,955282 0,99833968712-13 0,008939 0,00893912-21 0,095739 0,09573912-23 0,198735 0,19873512-31 0,005189 0,00518912-32 0,005189 0,00518913-11 0,095386 0,09538613-12 0,033299 0,03329913-13 0,081786 0,046244 0,025319 1,274473 0,00798 0,046244 0,046244 1,52829 0,83392086213-14 0,033299 0,03329913-21 0,00798 0,046244 0,029569 0,01596 0,099753 0,29642589513-23 0,029569 0,066962 0,09653113-24 0,00798 0,0079814-14 1,559013 0,097228 1,656241 0,9412961714-23 0,016687 0,01668714-24 0,059079 0,05907914-31 0,005189 0,00518921-13 0,007388 0,00738821-21 0,007388 186,9229 186,9303 0,99996047921-22 0,014775 0,01477521-23 0,016431 0,133115 0,116684 3,823224 4,089453 0,02853279621-31 0,016431 0,01643122-21 0,395083 0,116684 0,00754 0,116684 0,635991 0,18346735522-22 0,060174 0,161411 0,060174 3,172291 3,454051 0,91842625622-23 0,00754 0,0075422-24 0,00754 0,0075423-21 1,741235 0,466734 2,207969 0,21138621123-22 0,237325 0,23732523-23 0,077202 48,89238 0,972509 49,94209 0,97898144823-24 0,887893 0,88789323-31 0,077202 0,07720223-32 0,007414 0,00741424-21 0,457753 0,45775324-24 49,28255 49,28255 131-21 1,84987 1,8498731-23 0,011268 0,01126831-31 186,1805 0,034302 186,2148 0,99981579231-32 0,466368 5,130047 0,466368 9,83247 15,89525 0,32274083632-21 0,011268 0,01126832-24 0,094938 0,024571 0,11950932-31 5,151136 0,466368 0,842682 6,460187 0,07219109132-32 0,869763 14,5427 0,007414 15,41987 0,94311384432-51 0,0266 0,026633-33 0,022006 0,108872 0,353982 0,484859 0,73007076541-31 0,020897 0,02089741-41 0,040977 0,535965 0,020897 0,597839 0,89650456551-21 0,022242 0,02224251-24 0,007414 0,00741451-51 0,064501 3,768521 3,833021 0,983172371Total 26,58018 0,081786 5,034274 0,054888 1,328104 0,029569 1,5997 192,8923 0,116684 0,176858 3,424391 0,466734 53,13535 49,37869 193,8767 5,130047 0,932736 25,55586 0,353982 0,0266 0,543379 3,835662 564,5544

Prod_accuracy 0,991484 0,982675 0,959618 1 0,974566 0,969054 1 0,659759 0,926381 1 0,920148 0,998053 0,960304 1 0,5 0,569055 1 0,986356 0,982496 0,946077602



Table 134: Confusion matrix CLCCH2012-2018 for zone 21 (Czech Republic / Slovakia) – PLAUSIBILITY ANALYSIS - In column the validation and line the production


CLCC_Lvl2 11-11 11-13 12-12 13-11 13-12 13-13 13-21 13-23 14-14 21-21 21-22 21-23 22-21 22-22 22-32 23-21 23-23 24-21 24-24 31-31 31-32 32-31 32-32 33-33 33-51 41-41 51-51 Total User_accuracy11-11 26,35383 0,007676 0,007676 26,36919 0,99941780511-21 0,007676 0,00767612-11 0,038148 0,03814812-12 4,955282 4,955282 112-13 0,008939 0,00893912-21 0,008227 0,087512 0,09573912-23 0,198735 0,19873512-31 0,005189 0,00518912-32 0,005189 0,00518913-11 0,087407 0,00798 0,095386 0,08365728813-12 0,033299 0,03329913-13 0,046244 0,081786 0,025319 1,274473 0,00798 0,046244 0,046244 1,52829 0,83392086213-14 0,00798 0,025319 0,03329913-21 0,00798 0,046244 0,029569 0,01596 0,099753 0,29642589513-23 0,050287 0,046244 0,096531 0,52094254713-24 0,00798 0,0079814-14 1,559013 0,097228 1,656241 0,9412961714-23 0,016687 0,01668714-24 0,059079 0,05907914-31 0,005189 0,00518921-13 0,007388 0,00738821-21 0,007388 186,9229 186,9303 0,99996047921-22 0,007388 0,007388 0,014775 0,521-23 0,016431 0,116684 3,956338 4,089453 0,02853279621-31 0,016431 0,01643122-21 0,387543 0,124224 0,116684 0,00754 0,635991 0,19532358222-22 0,060174 0,075255 0,060174 3,258447 3,454051 0,94336969422-23 0,00754 0,0075422-24 0,00754 0,0075423-21 1,655557 0,552412 2,207969 0,25018992823-22 0,237325 0,23732523-23 0,077202 48,89238 0,972509 49,94209 0,97898144823-24 0,887893 0,88789323-31 0,077202 0,07720223-32 0,007414 0,00741424-21 0,228876 0,228876 0,457753 0,524-24 49,28255 49,28255 131-21 1,84987 1,8498731-23 0,011268 0,01126831-31 186,1805 0,034302 186,2148 0,99981579231-32 0,466368 7,00399 0,466368 7,958527 15,89525 0,44063409232-21 0,011268 0,01126832-24 0,08367 0,035839 0,11950932-31 3,412639 2,204865 0,842682 6,460187 0,34130056432-32 0,128743 15,28372 0,007414 15,41987 0,99116999932-51 0,0266 0,026633-33 0,022006 0,108872 0,353982 0,484859 0,73007076541-31 0,020897 0,02089741-41 0,040977 0,535965 0,020897 0,597839 0,89650456551-21 0,007414 0,014828 0,02224251-24 0,007414 0,00741451-51 3,833021 3,833021 1Total 26,60969 0,081786 4,996257 0,01596 0,025319 1,328104 0,029569 0,050287 1,59172 191,3715 0,007388 0,116684 0,184398 3,50316 0,116684 0,629613 54,15232 0,228876 49,29751 191,3859 7,00399 2,705535 24,28321 0,353982 0,0266 0,543379 3,914991 564,5544

Prod_accuracy0,990385 0,991799 0,5 0,959618 1 1 0,979452 0,976754 1 1 0,673672 0,930145 0,877382 0,902868 1 0,999697 0,972802 1 0,814946 0,629394 1 0,986356 0,979063 0,954757178



Zone 22: Estonia/Latvia/Lithuania - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 135: Confusion matrix CLCCH2012-2018 for zone 22 (Estonia / Latvia / Lithuania) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =88.95 % Overall accuracy at the third level = 87.35 %

CLCC_Lvl2 11-11 12-12 13-12 13-13 14-14 21-21 21-22 21-23 22-21 22-22 23-12 23-21 23-23 23-32 24-24 31-31 31-32 31-33 32-13 32-21 32-23 32-31 32-32 32-41 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 11,83196 0,012799 11,84476 0,99891942411-14 0,60564 0,6056411-21 0,014884 0,01488411-24 0,008039 0,008039 0,01607911-32 0,008039 0,00803912-12 3,76525 3,76525 112-21 0,052032 0,05203212-23 0,157911 0,15791112-24 0,157911 0,15791112-32 0,00784 0,0078413-11 0,070687 0,07068713-12 0,082742 0,08274213-13 0,949406 0,018196 0,052448 1,020049 0,93074477913-21 0,014884 0,01488413-23 0,029569 0,014884 0,04445313-24 0,014884 0,01488413-31 0,018196 0,022724 0,0409213-32 0,048665 0,04866514-11 0,035208 0,03520814-14 1,207899 0,035208 1,243108 0,97167725314-21 0,012799 0,01279914-23 0,014884 0,01488414-24 0,048007 0,04800714-31 0,030615 0,03061521-12 0,145233 0,14523321-21 144,2938 0,359032 0,133594 144,7864 0,99659756821-22 0,116684 0,116684 121-23 0,350051 0,350051 0,116684 17,64716 0,116684 18,58062 0,01883954921-24 8,218719 8,21871921-32 0,185085 0,18508522-21 0,116684 0,116684 122-22 0,475928 0,031729 0,507656 0,937522-24 0,031729 0,03172923-21 6,53995 3,733873 3,135677 13,4095 0,27844982523-23 0,225438 49,15535 49,38079 0,99543469323-24 0,227869 0,22786923-31 0,075956 0,051492 0,12744823-32 0,051492 0,102983 3,137914 3,292389 0,03127925324-21 12,45515 12,4551524-24 90,31923 90,31923 124-31 5,683754 5,68375424-32 2,410773 2,41077324-51 3,272981 3,27298131-21 5,708747 5,70874731-31 262,9499 0,028083 262,9779 0,99989321131-32 9,327358 5,080365 14,40772 0,64738599531-33 0,466368 0,466368 132-13 0,153313 0,153313 132-21 0,04235 0,072433 0,114782 0,63104361832-23 0,072433 0,144865 0,217298 0,66666666732-24 0,015937 0,025785 0,012049 0,05377232-31 3,735015 0,208406 0,932736 4,876156 0,19128505932-32 0,012049 3,931112 74,54448 0,027786 78,51543 0,94942462732-41 0,048357 0,048357 133-33 0,042156 0,042156 0,396206 0,042156 0,522673 0,75803770241-32 0,671816 0,67181641-41 17,89804 17,89804 142-41 0,014214 0,01421451-51 0,15871 19,50347 19,66218 0,99192817452-52 0,196972 0,196972 1Total 11,96409 3,855832 0,029569 0,949406 1,813539 169,737 0,116684 0,350051 0,116684 0,475928 0,145233 3,902048 70,51768 0,102983 99,08317 276,8511 9,680531 0,466368 0,153313 0,144865 0,144865 0,932736 86,19283 0,048357 0,396206 17,92583 0,014214 22,77645 0,239128 779,1267

Prod_accuracy 0,988956 0,976508 1 0,666045 0,850102 1 1 1 1 0,956901 0,697064 1 0,91155 0,949788 0,963517 1 1 0,5 1 1 0,864857 1 1 0,99845 0,8563 0,823711 0,889526061



Table 136: Confusion matrix CLCCH2012-2018 for zone 22 (Estonia / Latvia / Lithuania) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 14-14 21-21 21-22 21-23 22-21 22-22 23-12 23-21 23-23 23-24 23-32 24-24 31-31 31-32 31-33 32-13 32-21 32-23 32-31 32-32 32-41 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 11,84476 11,84476 111-14 0,60564 0,6056411-21 0,014884 0,01488411-24 0,008039 0,008039 0,01607911-32 0,008039 0,00803912-12 3,76525 3,76525 112-21 0,052032 0,05203212-23 0,157911 0,15791112-24 0,157911 0,15791112-32 0,00784 0,0078413-11 0,070687 0,07068713-12 0,049191 0,014884 0,018667 0,082742 0,17988178913-13 0,018196 1,001853 1,020049 0,982161513-21 0,014884 0,01488413-23 0,029569 0,014884 0,04445313-24 0,014884 0,01488413-31 0,018196 0,022724 0,0409213-32 0,048665 0,04866514-11 0,035208 0,03520814-14 1,243108 1,243108 114-21 0,012799 0,01279914-23 0,014884 0,01488414-24 0,048007 0,04800714-31 0,030615 0,03061521-12 0,145233 0,14523321-21 144,4274 0,359032 144,7864 0,99752026321-22 0,116684 0,116684 121-23 0,350051 0,466734 0,116684 17,64716 18,58062 0,02511939921-24 8,218719 8,21871921-32 0,185085 0,18508522-21 0,116684 0,116684 122-22 0,507656 0,507656 122-24 0,031729 0,03172923-21 6,53995 3,733873 3,135677 13,4095 0,27844982523-23 0,225438 49,0794 0,075956 49,38079 0,99389651623-24 0,151913 0,075956 0,227869 0,66666666723-31 0,075956 0,051492 0,12744823-32 0,051492 0,102983 3,137914 3,292389 0,03127925324-21 9,182173 3,272981 12,4551524-24 90,31923 90,31923 124-31 5,683754 5,68375424-32 2,410773 2,41077324-51 3,272981 3,27298131-21 5,708747 5,70874731-31 257,2411 5,73683 262,9779 0,97818512931-32 9,327358 5,080365 14,40772 0,64738599531-33 0,466368 0,466368 132-13 0,153313 0,153313 132-21 0,04235 0,072433 0,114782 0,63104361832-23 0,072433 0,144865 0,217298 0,66666666732-24 0,015937 0,025785 0,012049 0,05377232-31 2,804949 0,462219 1,400582 0,208406 4,876156 0,28723073432-32 0,012049 3,441106 0,253814 74,80846 78,51543 0,95278673632-41 0,048357 0,048357 133-33 0,042156 0,084311 0,396206 0,522673 0,75803770241-32 0,671816 0,67181641-41 17,89804 17,89804 142-41 0,014214 0,01421451-51 0,15871 19,50347 19,66218 0,99192817452-52 0,196972 0,196972 1Total 11,97689 3,822282 0,018196 0,014884 1,02052 1,848747 166,3869 0,116684 0,466734 0,116684 0,507656 0,145233 4,075995 73,74935 0,151913 0,17894 98,90026 269,5011 17,93718 0,466368 0,153313 0,144865 0,144865 1,654396 84,2966 0,048357 0,396206 17,89804 0,014214 22,77645 0,196972 779,1267

Prod_accuracy 0,988968 0,985079 1 0,981709 0,672405 0,868022 1 1 1 1 0,916064 0,665489 1 0,57552 0,913236 0,954509 0,520001 1 1 0,5 1 0,846582 0,887443 1 1 1 0,8563 1 0,883745715



Zone 23: Oversea departments - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 137: Confusion matrix CLCCH2012-2018 for zone 23 (Guadeloupe /Guyana / La reunion/ Martinique/ Mayotte) – BLIND ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =86.6% Overall accuracy at the third level =86.4 %



Table 138: Confusion matrix CLCCH2012-2018 for zone 23 (Guadeloupe /Guyana / La reunion/ Martinique/ Mayotte) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-12 12-12 13-11 13-13 14-14 21-11 21-21 22-22 23-23 24-12 24-24 31-31 32-23 32-24 32-32 33-33 41-23 41-41 42-42 51-51 52-52 Total User_accuracy11-11 2,61046 0,005092 2,615553 0,9980531311-21 0,005092 0,00509211-24 0,005092 0,00509212-11 0,01365 0,0136512-12 0,323821 0,005092 0,006825 0,335738 0,96450421213-11 0,008707 0,008707 113-13 0,048119 0,048119 114-14 0,050413 0,050413 121-11 0,132553 0,132553 121-21 2,667072 0,132553 2,799625 0,95265317321-23 0,003449 0,003449 0,00689822-22 0,713743 0,713743 123-22 0,006825 0,00682523-23 0,110781 0,896523 0,117606 1,124911 0,79697283324-11 0,169381 0,16938124-24 0,16235 4,653922 0,003449 4,819721 0,96559995924-32 0,169381 0,16938131-31 34,05947 34,05947 131-32 0,004333 0,00433331-52 0,020023 0,006674 0,02669832-23 0,004496 0,00449632-24 0,006825 0,00682532-31 0,165748 0,501741 1,445368 2,11285732-32 0,165748 0,004496 0,093768 0,004496 0,170244 3,703321 4,142073 0,89407428533-31 0,047 0,04733-33 0,047 0,698927 0,745927 0,93699083441-41 4,676151 4,676151 142-31 0,003055 0,00305542-42 0,031668 0,031668 151-51 0,045584 0,428878 0,474462 0,90392468852-31 6,239595 6,234796 12,4743952-52 0,11511 51,04762 51,16273 0,997750113Total 3,240862 0,005092 0,323821 0,008707 0,048119 0,050413 0,132553 2,667072 0,853121 0,901615 0,16235 4,670336 40,96593 0,007945 0,177069 5,487173 0,744511 0,003449 4,676151 0,034723 0,547437 57,28909 122,9975

Prod_accuracy 0,805483 1 1 1 1 1 1 0,836625 0,994352 0,996486 0,83141 0,674905 0,938773 1 0,912027 0,783428 0,891053 0,86791467



Annex 8. Confusion matrix of CLCCH2006-12 per bio-geographical region

Bio-geographical region ALP - Alpine - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 139: Confusion matrix CLCCH2012-2018 for Alpine region –BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 14-14 21-21 22-22 23-21 23-23 24-24 31-14 31-31 31-32 32-31 32-32 33-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 39,84709 0,924659 0,924659 1,288562 42,98497 0,92700050311-24 0,002473 0,00247312-11 0,036732 0,005322 0,04205512-12 0,083991 3,563943 0,009259 3,657193 0,97450214512-13 0,008939 0,00893912-14 0,027937 0,02793712-23 0,198735 0,19873512-31 0,005189 0,00518913-11 0,05038 0,0503813-12 0,025061 0,06665 0,081786 0,173497 0,47139833213-13 1,095662 0,165433 1,261095 0,86881809313-14 0,107105 0,10710513-21 0,046244 0,00798 0,006405 0,06062913-24 0,00798 0,077412 0,08539213-31 0,049009 0,04900913-32 0,077412 0,117515 0,19492714-14 0,012072 2,966835 0,012072 0,009997 3,000976 0,98862339814-23 0,016687 0,01668714-24 0,059079 0,05907914-31 0,004621 0,005189 0,071674 0,08148414-32 0,004693 0,00469314-51 0,004621 0,004621 0,004621 0,01386421-21 50,7046 1,730483 0,012587 0,009272 52,45694 0,96659465521-23 5,509461 5,50946121-24 1,781038 1,78103821-31 0,0055 0,005521-32 0,007087 0,00708722-11 0,024128 0,02412822-21 0,063631 0,116684 0,18031522-22 0,088398 5,422586 0,768476 6,279461 0,8635432622-32 0,063631 0,06363123-21 0,116684 0,116684 123-23 0,904037 0,012032 101,0812 3,130879 9,734169 3,756297 118,6186 0,85215293323-24 0,887893 4,491408 0,003508 5,38280923-32 0,212267 2,465056 2,67732324-11 0,847595 0,84759524-21 2,674756 0,228876 1,665568 4,569224-22 1,844291 1,84429124-23 4,134834 1,2255 5,36033424-24 3,176983 110,2774 12,55357 126,0079 0,87516221324-31 1,464255 1,46425524-32 1,127963 0,855189 1,98315331-14 0,153313 0,153313 131-23 1,09397 0,072433 1,16640231-24 0,298417 1,09397 1,39238731-31 2,4115 1115,145 3,881829 3,691336 1,767275 1126,897 0,98957141131-32 5,163241 7,928255 33,90737 46,99886 0,16869035531-33 0,485424 2,4115 2,89692431-41 0,58327 0,5832732-11 0,009683 0,00968332-21 0,072433 0,07243332-23 0,599517 0,082145 0,68166232-24 2,752792 0,224074 0,024571 3,00143732-31 0,019162 14,21049 2,33184 3,879661 0,218673 20,65982 0,11286832932-32 0,878657 7,222771 11,77441 0,016793 0,008875 574,4196 10,35711 604,6782 0,94995914832-33 11,69182 6,288975 17,9807933-31 0,137249 0,13724933-32 1,71986 0,466368 0,058661 2,244888 0,20774661233-33 0,017564 0,688234 17,24132 519,8879 537,835 0,96663081341-21 0,050213 0,05021341-23 0,014485 0,01448541-31 1,793178 1,79317841-32 1,837644 0,050213 1,88785741-41 0,014485 0,025657 101,6373 101,6774 0,99960520541-51 0,170851 0,17085142-42 0,014576 0,014576 151-31 0,091662 0,09166251-51 0,064501 0,003508 92,31662 92,38463 0,99926385752-52 0,368182 0,368182 1Total 45,39418 3,663851 0,091046 1,153938 3,083183 52,0609 7,266877 0,116684 119,8708 132,7918 0,153313 1180,755 8,01748 2,340715 658,3662 0,466368 540,5026 104,0508 0,014576 92,57913 0,368182 2953,108

Prod_accuracy 0,877802 0,972731 0,898299 0,949498 0,962264 0,973948 0,746206 1 0,843251 0,830453 1 0,944433 0,988871 0,996208 0,872492 1 0,96186 0,976804 1 0,997164 1 0,924390943



Table 140: Confusion matrix CLCCH2012-2018 for Alpine region – PLAUSIBILITY ANALYSIS- In column the validation and line the production

Overall accuracy at the second level =93,11% Overall accuracy at the third level = 90,61%

CLCC_Lvl2 11-11 12-12 13-12 13-13 14-14 21-21 22-22 22-32 23-21 23-23 24-21 24-24 31-14 31-31 31-32 32-31 32-32 32-33 33-32 33-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 41,13565 0,924659 0,924659 42,98497 0,95697754811-24 0,002473 0,00247312-11 0,002077 0,039978 0,04205512-12 0,083991 3,563943 0,009259 3,657193 0,97450214512-13 0,008939 0,00893912-14 0,027937 0,02793712-23 0,198735 0,19873512-31 0,005189 0,00518913-11 0,05038 0,0503813-12 0,025061 0,06665 0,081786 0,173497 0,47139833213-13 1,137439 0,123656 1,261095 0,90194563713-14 0,107105 0,10710513-21 0,046244 0,00798 0,006405 0,06062913-24 0,00798 0,077412 0,08539213-31 0,049009 0,04900913-32 0,194927 0,19492714-14 0,012072 2,978907 0,009997 3,000976 0,99264610214-23 0,016687 0,01668714-24 0,059079 0,05907914-31 0,009243 0,005189 0,067053 0,08148414-32 0,004693 0,00469314-51 0,004621 0,004621 0,004621 0,01386421-21 50,71718 1,730483 0,009272 52,45694 0,96683460621-23 5,509461 5,50946121-24 1,781038 1,78103821-31 0,0055 0,005521-32 0,007087 0,00708722-11 0,024128 0,02412822-21 0,063631 0,116684 0,18031522-22 0,088398 5,422586 0,768476 6,279461 0,8635432622-32 0,063631 0,06363123-21 0,116684 0,116684 123-23 0,904037 0,012032 103,2551 0,956952 9,734169 3,756297 118,6186 0,87047995823-24 0,887893 4,491408 0,003508 5,38280923-32 0,212267 2,465056 2,67732324-11 0,847595 0,84759524-21 0,228876 4,340324 4,5692 0,05009109924-22 1,844291 1,84429124-23 3,943887 0,803698 0,61275 5,36033424-24 3,176983 113,932 8,898969 126,0079 0,90416514624-31 1,464255 1,46425524-32 1,127963 0,855189 1,98315331-14 0,153313 0,153313 131-23 0,072433 1,09397 1,16640231-24 0,298417 1,09397 1,39238731-31 2,4115 1114,846 0,034302 4,145944 3,691336 1,767275 1126,897 0,98930659831-32 5,163241 14,9887 1,09397 25,75295 46,99886 0,31891623431-33 0,485424 2,4115 2,89692431-41 0,58327 0,5832732-11 0,009683 0,00968332-21 0,072433 0,07243332-23 0,599517 0,003788 0,078357 0,68166232-24 2,752792 0,212805 0,035839 3,00143732-31 0,019162 8,661345 0,008781 4,58111 5,961323 0,218673 1,209428 20,65982 0,22174005832-32 0,878657 7,222771 9,729685 0,016793 0,026166 577,5627 1,214705 8,026693 604,6782 0,95515719232-33 11,69182 6,288975 17,9807933-31 0,137249 0,13724933-32 1,71986 0,466368 0,058661 2,244888 0,20774661233-33 0,017564 0,688234 17,00553 0,084921 520,0388 537,835 0,96691132641-21 0,050213 0,05021341-23 0,014485 0,01448541-31 1,793178 1,79317841-32 1,837644 0,050213 1,88785741-41 0,014485 0,025657 101,6373 101,6774 0,99960520541-51 0,170851 0,17085142-42 0,014576 0,014576 151-31 0,091662 0,09166251-51 0,003508 92,38112 92,38463 0,99996203252-52 0,368182 0,368182 1Total 43,97333 3,698507 0,091046 1,195715 3,099876 50,95671 7,266877 0,116684 0,116684 122,7584 0,228876 137,6786 0,153313 1165,276 15,01427 5,735548 655,5789 0,218673 1,765993 539,3138 105,844 0,014576 92,64363 0,368182 2953,108

Prod_accuracy 0,935468 0,963617 0,898299 0,951263 0,960976 0,995299 0,746206 1 0,841125 1 0,827522 1 0,956723 0,998297 0,798722 0,880996 0,264082 0,96426 0,960256 1 0,997166 1 0,931089721



Bio-geographical region ANA - Anatolian - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 141: Confusion matrix CLCCH2012-2018 for Anatolian region– BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-32 13-51 14-14 21-11 21-12 21-13 21-21 21-51 22-22 23-21 23-23 23-24 23-51 24-11 24-13 24-21 24-24 24-51 31-31 31-51 32-11 32-12 32-13 32-21 32-23 32-32 32-51 33-11 33-12 33-13 33-21 33-33 41-21 41-41 42-42 51-42 51-51 52-52 Total User_accuracy11-11 19,12962 19,12962 111-13 0,054592 0,05459211-21 0,454743 0,031787 0,4865311-23 0,070333 0,07033311-24 0,009834 0,00983411-51 0,06357 0,0635712-11 0,070333 0,07033312-12 0,049686 3,597522 0,049686 3,696894 0,97311994512-23 0,049686 0,04968612-24 0,369152 0,36915212-32 0,369152 0,36915213-11 0,06618 0,081786 0,081786 0,229753 0,35597479413-12 0,117973 0,163572 0,081786 0,363332 0,45020112713-13 3,214444 0,075795 3,290239 0,97696380313-21 0,212444 0,070333 0,28277613-23 0,070333 0,07033313-24 0,031677 0,03167713-32 0,03068 0,065309 0,0959913-33 0,084731 0,063051 0,14778213-51 0,04238 0,02119 0,02119 0,02119 0,10595 0,214-14 0,131919 0,131919 114-21 0,003746 0,00374621-11 0,145233 0,14523321-12 0,145233 0,145233 121-13 0,145233 0,145233 0,290466 0,521-21 335,224 4,558836 339,7828 0,98658308821-23 4,558836 0,028552 4,58738921-24 0,017054 0,017054 0,03410921-51 0,165748 0,03315 0,03315 0,232047 0,71428571422-22 1,74371 18,02762 0,955677 0,501213 21,22822 0,84922904322-24 0,387597 2,601742 2,98933922-32 0,387597 0,38759723-12 0,145233 0,014119 0,15935223-13 0,145233 0,14523323-21 8,339197 0,583418 0,350051 0,116684 9,389349 0,06213611123-23 51,77767 5,061432 56,8391 0,91095158323-24 0,116684 0,116684 0,233367 0,523-32 4,765696 4,76569623-51 0,03315 0,03315 124-13 0,145233 0,290466 0,145233 0,580932 0,524-21 15,81781 0,116684 0,028552 15,96304 0,00730960524-24 21,03592 8,159192 179,7458 6,344992 215,2859 0,83491673524-32 0,051492 0,05149224-51 0,03315 0,198897 0,03315 0,265196 0,7531-24 2,086095 2,08609531-31 2,086095 75,79444 2,086095 79,96663 0,94782586831-32 0,476804 0,47680432-13 0,229969 0,229969 132-21 0,507028 0,072433 0,579461 0,87532-24 5,470003 5,47000332-31 0,015563 0,01556332-32 0,021727 4,941475 7,419145 356,1055 368,4878 0,96639686532-33 10,24772 28,94215 39,1898632-51 0,0266 0,0266 0,053199 0,533-12 0,076656 0,076656 0,076656 0,22996933-13 0,076656 0,076656 0,15331333-21 0,072433 0,072433 0,072433 0,144865 0,362163 0,433-24 0,144865 0,14486533-32 16,36056 5,096447 21,45733-33 10,06445 80,20531 284,1395 374,4093 0,75890086133-51 0,0266 0,079799 0,10639941-21 0,03144 0,025066 0,056506 0,44360097441-41 0,286761 7,44747 7,734231 0,96292319741-51 0,029985 0,02998542-33 0,392884 0,39288442-42 1,964418 0,392884 4,2722 6,629502 0,64442252551-11 0,026665 0,02666551-21 0,187453 0,18745351-22 0,026665 0,02666551-32 0,014008 0,01400851-42 0,066832 0,066832 151-51 0,029985 0,374906 46,59003 46,99492 0,99138434752-52 0,011604 0,011604 1Total 20,18483 4,084647 0,081786 0,163572 3,499 0,04238 0,02119 0,153645 0,081786 0,290466 0,145233 387,6421 0,262467 18,02762 0,65585 66,00657 0,233367 0,059749 0,009834 0,290466 0,116684 211,2506 0,198897 75,81001 0,03315 0,076656 0,221889 0,229969 0,579461 0,072433 487,5821 0,172698 0,076656 0,076656 0,145233 0,144865 320,6458 0,025066 7,854473 4,2722 0,066832 46,64668 0,011604 1658,247

Prod_accuracy 0,947723 0,880742 1 1 0,918675 1 0,858593 0,5 1 0,864777 0,631499 1 0,889559 0,784432 0,5 0,554812 1 1 0,850866 1 0,999795 1 0,875 0,73035 0,154024 1 0,886148 1 0,948182 1 1 0,998786 1 0,837192321



Table 142: Confusion matrix CLCCH2012-2018 for Anatolian region– PLAUSIBILITY ANALYSIS- In column the validation and line the production

Overall accuracy at the second level = 84,65% Overall accuracy at the third level =81,34%

CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-32 13-51 14-14 21-11 21-12 21-13 21-21 21-51 22-22 23-13 23-21 23-23 23-24 23-51 24-11 24-13 24-21 24-24 24-51 31-31 31-51 32-11 32-12 32-13 32-21 32-32 32-51 33-11 33-12 33-13 33-21 33-32 33-33 41-21 41-41 42-42 51-42 51-51 52-52 Total User_accuracy11-11 19,12962 19,12962 111-13 0,054592 0,05459211-21 0,454743 0,031787 0,4865311-23 0,070333 0,07033311-24 0,009834 0,00983411-51 0,06357 0,0635712-11 0,070333 0,07033312-12 0,049686 3,597522 0,049686 3,696894 0,97311994512-23 0,049686 0,04968612-24 0,369152 0,36915212-32 0,369152 0,36915213-11 0,06618 0,081786 0,081786 0,229753 0,35597479413-12 0,117973 0,163572 0,081786 0,363332 0,45020112713-13 3,214444 0,075795 3,290239 0,97696380313-21 0,065062 0,147382 0,070333 0,28277613-23 0,070333 0,07033313-24 0,031677 0,03167713-32 0,03068 0,065309 0,0959913-33 0,084731 0,063051 0,14778213-51 0,04238 0,02119 0,02119 0,02119 0,10595 0,214-14 0,131919 0,131919 114-21 0,003746 0,00374621-11 0,145233 0,14523321-12 0,145233 0,145233 121-13 0,145233 0,145233 0,290466 0,521-21 335,224 4,558836 339,7828 0,98658308821-23 4,558836 0,028552 4,58738921-24 0,034109 0,03410921-51 0,165748 0,03315 0,03315 0,232047 0,71428571422-22 0,113616 18,25486 2,746135 0,113616 21,22822 0,85993328922-24 0,971648 0,387597 1,630094 2,98933922-32 0,387597 0,38759723-12 0,145233 0,014119 0,15935223-13 0,145233 0,145233 123-21 6,717087 2,205528 0,350051 0,116684 9,389349 0,23489678223-23 51,77767 5,061432 56,8391 0,91095158323-24 0,116684 0,116684 0,233367 0,523-32 4,765696 4,76569623-51 0,03315 0,03315 124-13 0,145233 0,290466 0,145233 0,580932 0,524-21 9,518421 6,327937 0,116684 15,96304 0,00730960524-24 17,87399 8,159192 182,9078 6,344992 215,2859 0,84960385624-32 0,051492 0,05149224-51 0,03315 0,198897 0,03315 0,265196 0,7531-24 2,086095 2,08609531-31 2,086095 75,79444 2,086095 79,96663 0,94782586831-32 0,476804 0,47680432-13 0,229969 0,229969 132-21 0,507028 0,072433 0,579461 0,87532-24 5,470003 5,47000332-31 0,015563 0,01556332-32 0,021727 7,419145 361,047 368,4878 0,97980700832-33 10,24772 28,94215 39,1898632-51 0,0266 0,0266 0,053199 0,533-12 0,076656 0,076656 0,076656 0,22996933-13 0,076656 0,076656 0,15331333-21 0,072433 0,072433 0,217298 0,362163 0,633-24 0,144865 0,14486533-32 14,66898 6,788024 21,45733-33 10,06445 75,3268 289,018 374,4093 0,77193072633-51 0,106399 0,10639941-21 0,03144 0,025066 0,056506 0,44360097441-41 0,286761 7,44747 7,734231 0,96292319741-51 0,029985 0,02998542-33 0,392884 0,39288442-42 1,571534 0,392884 4,665084 6,629502 0,70368543751-11 0,026665 0,02666551-21 0,187453 0,18745351-22 0,026665 0,02666551-32 0,014008 0,01400851-42 0,066832 0,066832 151-51 0,029985 0,187453 0,187453 46,59003 46,99492 0,99138434752-52 0,011604 0,011604 1Total 20,18483 4,149708 0,081786 0,163572 3,414269 0,04238 0,02119 0,153645 0,081786 0,290466 0,145233 369,9001 0,262467 19,2265 0,145233 6,836797 67,7103 0,233367 0,03315 0,009834 0,290466 0,116684 215,2198 0,198897 75,81001 0,03315 0,076656 0,221889 0,229969 0,507028 485,7086 0,199297 0,076656 0,076656 0,084731 0,217298 0,187453 326,6355 0,025066 7,854473 4,665084 0,066832 46,64668 0,011604 1658,247

Prod_accuracy 0,947723 0,866934 1 1 0,941474 1 0,858593 0,5 1 0,906255 0,631499 0,949463 1 0,322597 0,764694 0,5 1 1 1 0,849865 1 0,999795 1 1 0,743341 0,133467 1 0,884833 1 0,948182 1 1 0,998786 1 0,846504443



Bio-geographical region ARC - Arctic - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 143: Confusion matrix CLCCH2012-2018 for Arctic region –BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-13 14-14 21-21 23-23 23-32 24-24 31-31 32-32 33-32 33-33 33-51 41-41 42-42 51-33 51-51 52-52 Total User_accuracy11-11 0,434877 0,434877 112-12 0,406959 0,01837 0,01837 0,443699 0,91719474812-33 0,01837 0,0183713-13 0,025971 0,075816 0,101787 0,74484741513-14 0,025971 0,02597114-14 0,700382 0,700382 121-21 0,095488 0,095488 123-21 0,002925 0,00292523-23 10,7261 0,002925 10,72903 0,99972736923-32 0,051492 0,051492 124-23 0,021875 0,02187524-24 0,199801 0,199801 131-31 1,296685 0,088535 0,067392 1,452612 0,89265739431-32 0,207215 0,20721531-33 0,067392 0,06739231-41 0,067392 0,06739232-32 0,01304 163,8667 163,8797 0,99992042932-33 0,075577 0,07557733-32 0,466368 0,466368 133-33 224,186 0,01304 224,199 0,99994183733-41 0,58713 0,5871333-51 0,0266 0,398995 0,346764 0,772359 0,51659275133-52 0,0266 0,026641-33 0,081332 0,08133241-41 29,48284 29,48284 142-42 0,473106 0,473106 151-32 0,034721 0,03472151-33 0,307312 0,7679 0,127983 1,203195 0,63821722451-41 0,192834 0,19283451-51 9,240573 9,240573 152-52 0,848332 0,848332 1Total 0,460849 0,406959 0,075816 0,726353 0,098413 10,76102 0,051492 0,202726 1,296685 164,1808 0,466368 224,7809 0,398995 30,39759 0,473106 0,7679 9,763082 0,874931 446,184

Prod_accuracy 0,943645 1 1 0,964244 0,970278 0,996755 1 0,985571 1 0,998087 1 0,997353 1 0,969907 1 1 0,946481 0,969598 0,994473945



Table 144: Confusion matrix CLCCH2012-2018 for Arctic region –PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-13 14-14 21-21 23-23 23-32 24-24 31-31 32-32 33-32 33-33 33-51 41-41 42-42 51-33 51-51 52-52 Total User_accuracy11-11 0,434877 0,434877 112-12 0,425329 0,01837 0,443699 0,95859737412-33 0,01837 0,0183713-13 0,025971 0,075816 0,101787 0,74484741513-14 0,025971 0,02597114-14 0,700382 0,700382 121-21 0,095488 0,095488 123-21 0,002925 0,00292523-23 10,7261 0,002925 10,72903 0,99972736923-32 0,051492 0,051492 124-23 0,021875 0,02187524-24 0,199801 0,199801 131-31 1,296685 0,088535 0,067392 1,452612 0,89265739431-32 0,207215 0,20721531-33 0,067392 0,06739231-41 0,067392 0,06739232-32 0,01304 163,8667 163,8797 0,99992042932-33 0,075577 0,07557733-32 0,466368 0,466368 133-33 224,199 224,199 133-41 0,58713 0,5871333-51 0,0266 0,398995 0,346764 0,772359 0,51659275133-52 0,0266 0,026641-33 0,081332 0,08133241-41 29,48284 29,48284 142-42 0,473106 0,473106 151-32 0,034721 0,03472151-33 0,082482 0,031996 0,960734 0,127983 1,203195 0,79848578751-41 0,192834 0,19283451-51 9,240573 9,240573 152-52 0,848332 0,848332 1Total 0,434877 0,425329 0,025971 0,075816 0,726353 0,098413 10,76102 0,051492 0,202726 1,296685 164,1625 0,466368 224,5691 0,430991 30,39759 0,473106 0,960734 9,750042 0,874931 446,184

Prod_accuracy 1 1 1 0,964244 0,970278 0,996755 1 0,985571 1 0,998198 1 0,998352 0,925762 0,969907 1 1 0,947747 0,969598 0,994976528



Bio-geographical region ATL – Atlantic - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 145: Confusion matrix CLCCH2012-2018 for Atlantic region –BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-51 12-12 12-13 13-11 13-12 13-13 13-14 13-21 13-23 13-24 13-32 13-41 13-51 14-14 21-11 21-12 21-13 21-14 21-21 21-23 21-32 21-51 22-22 23-11 23-12 23-13 23-21 23-23 23-32 23-51 24-13 24-24 24-32 31-11 31-12 31-13 31-31 31-32 32-12 32-13 32-21 32-23 32-31 32-32 33-23 33-32 33-33 33-51 41-12 41-21 41-32 41-33 41-41 42-42 51-51 52-52 Total User_accuracy11-11 184,4429 2,256526 2,086548 0,074695 2,256526 1,99625 193,1134 0,95510128311-12 0,083716 0,016087 0,09980211-32 0,016087 0,01608712-11 0,483622 0,491392 0,97501412-12 0,278008 38,54821 0,059242 0,021559 0,510931 0,042526 39,46047 0,97688150112-13 0,081786 0,037348 0,119134 0,68650606212-21 0,063039 0,276892 0,009432 0,34936412-23 0,013954 0,116553 0,038733 0,345301 0,51454112-24 0,119891 0,11989112-31 0,722187 0,72218712-32 0,006382 0,008626 0,01500813-11 0,826622 0,072887 0,163572 0,011526 0,081786 0,005989 1,162382 0,14072174213-12 0,326455 0,081786 0,65429 0,081786 0,081786 0,005989 0,081786 1,313878 0,49798356113-13 0,031749 6,487445 0,025742 0,018975 0,025742 0,036353 6,626006 0,97908834213-14 0,102518 0,036353 0,136391 0,275262 0,37243923813-21 0,029569 0,003007 0,131138 0,016246 0,17996 0,16430998613-23 0,055311 0,029569 0,059138 0,088708 0,029569 0,356959 0,261592 0,880846 0,06713825213-24 0,029569 0,003007 0,029569 0,494807 0,087592 0,020732 0,66527713-31 0,006382 0,012233 0,031393 0,016087 0,06609513-32 0,031393 0,041437 0,031393 0,062786 0,031393 0,125571 0,220004 0,136899 0,020732 0,701607 0,17897660113-33 0,025742 0,397069 0,42281113-41 0,021706 0,0055 0,02720613-51 0,10595 1,148256 1,254206 0,084475714-11 1,75246 0,072887 1,82534714-12 0,248707 0,24870714-14 0,14599 26,91558 0,592242 27,65381 0,97330451414-21 0,447343 0,151826 0,59916914-23 0,151826 0,15182614-31 0,343534 0,34353421-11 0,290466 0,290466 121-12 1,016631 0,145233 1,161863 0,87521-13 0,00978 0,580932 0,145233 0,145233 0,881178 0,65926743221-21 13,0474 3,565778 950,7976 6,19491 6,18105 979,7868 0,97041281421-23 0,851974 1,283519 16,82622 18,96171 0,06769002721-24 12,9952 0,0055 0,105414 13,1061121-31 0,004793 0,00479321-32 0,051492 0,051492 0,051492 0,051492 0,205967 0,2521-51 0,132598 0,132598 122-12 0,026654 0,02665422-21 0,37487 0,3748722-22 0,053307 0,122249 19,30675 0,37487 0,37487 0,026654 20,2587 0,95301031323-11 9,304263 9,30426323-12 0,145233 0,871398 0,145233 0,145233 1,307096 0,66666666723-13 0,007689 0,290466 0,007689 0,145233 0,451076 0,64393971423-21 10,05622 1,400202 0,233367 11,68979 0,11977994523-23 3,086813 9,269176 599,7235 19,3698 5,444464 0,019326 9,15903 646,0721 0,92826093323-24 9,166719 7,295809 1,818258 18,2807923-32 5,444464 0,205967 0,051492 0,051492 9,348976 15,10239 0,01363803723-41 0,066832 9,15903 9,22586223-51 0,03315 0,066299 0,099449 0,66666666724-12 0,145233 0,14523324-13 0,145233 0,145233 124-21 6,095996 6,09599624-22 4,953601 0,035659 4,9892624-23 0,194081 0,90539 0,517228 0,517228 2,13392824-24 2,592984 10,40657 4,124308 281,4585 1,987496 1,228538 1,766128 303,5645 0,9271785124-31 1,238318 1,23831824-32 0,56872 0,723195 0,102983 1,548347 2,943246 0,03498976524-41 1,034457 1,03445731-11 0,229969 0,229969 131-12 0,076656 0,076656 131-13 0,076656 0,076656 0,076656 0,229969 0,33333333331-14 0,021426 0,02142631-21 0,018275 0,072433 0,09070831-23 0,072433 0,07243331-31 1,259866 0,881793 619,4996 0,466254 3,236964 625,3445 0,99065334831-32 6,231207 14,45741 4,76426 25,45287 0,56800684131-42 0,016119 0,01611932-11 0,228801 0,22880132-12 0,153313 0,076656 0,076656 0,076656 0,383282 0,432-13 0,009459 0,076656 0,076656 0,16277232-14 4,64484 4,6448432-21 0,032201 0,003924 0,038381 0,072433 0,023146 0,170085 0,42586148832-23 0,315513 1,390576 3,121282 0,090071 0,144865 0,007361 0,698487 0,315513 6,083668 0,02381214632-24 0,809183 0,148265 0,007361 0,9648132-31 0,031701 0,228048 0,337065 12,38826 0,235671 8,8769 6,290709 28,38836 0,31269509832-32 0,018275 0,155732 0,018275 4,749198 3,712441 9,926208 1,119819 325,1641 3,269653 3,177294 351,311 0,92557336932-33 3,113921 3,11392132-41 0,653451 0,86165 1,51510133-23 0,01044 0,0104433-31 0,101969 0,004777 0,10674633-32 2,242539 0,184845 0,100618 2,52800233-33 0,027321 0,074638 0,184845 8,825915 91,03572 100,1484 0,90900786833-42 0,100618 0,10061833-52 0,020004 0,02000441-12 0,200496 0,200496 0,400992 0,541-21 0,075198 0,075198 141-23 0,07136 0,0713641-24 0,07136 0,0713641-31 2,79926 2,7992641-32 0,031045 0,056981 0,162602 0,250628 0,22735282241-33 0,056981 0,132956 0,189937 0,341-41 0,143608 0,07136 2,79926 2,79926 2,79926 156,4215 0,196813 165,231 0,94668336942-23 0,104761 0,10476142-32 0,060261 0,060261 0,12052242-33 0,018994 0,01899442-41 0,083327 0,08332742-42 0,004859 0,004859 0,060261 0,065119 0,053398 6,268 0,014106 0,0445 6,515102 0,96207251542-52 0,120522 0,060261 0,18078351-12 0,010495 0,01049551-23 0,046007 0,459909 0,50591651-24 0,010495 0,01049551-31 0,046007 0,04600751-41 0,708687 0,70868751-51 44,72235 1,116583 45,83894 0,97564117752-32 0,052655 0,05265552-42 0,018477 0,01847752-51 0,018477 0,018477 0,104126 0,1410852-52 0,122727 0,018477 4,506876 4,64808 0,969621018Total 214,2762 0,03315 42,89371 2,168334 0,248365 0,65429 6,695721 0,102518 0,029569 0,23328 0,031393 0,214279 0,029569 0,142303 38,62124 0,290466 1,161863 0,660595 0,145233 1004,731 1,283519 0,051492 0,132598 24,26035 0,227019 0,889672 0,657588 1,400202 652,456 0,205967 0,117791 0,145233 330,7909 0,102983 0,229969 0,076656 0,221889 663,8754 14,72528 0,153313 0,076656 0,072433 0,144865 10,73991 377,2286 0,081786 0,076656 100,8656 0,01044 0,200496 0,075198 0,056981 0,056981 173,1635 6,705966 47,75582 5,748223 3728,427

Prod_accuracy 0,860772 0,898691 0,037718 0,658596 1 0,968894 1 1 0,253509 0,586018 0,744538 0,696911 1 0,875 0,879407 0,946321 1 1 1 0,795815 0,979459 0,441714 1 0,919178 1 0,562855 1 0,850865 1 1 1 0,345471 0,933156 0,981808 1 1 1 0,826534 0,861982 0,902545 1 1 1 1 0,903316 0,93469 0,93648 0,784047 0,90857



Table 146: Confusion matrix CLCCH2012-2018 for Atlantic region –PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-51 12-12 12-13 12-21 13-11 13-12 13-13 13-14 13-21 13-23 13-24 13-32 13-41 13-51 14-14 14-21 14-23 21-11 21-12 21-13 21-14 21-21 21-23 21-32 21-41 21-51 22-22 23-11 23-12 23-13 23-21 23-23 23-32 23-51 24-13 24-21 24-24 24-32 31-11 31-12 31-13 31-31 31-32 31-42 32-12 32-21 32-23 32-31 32-32 33-23 33-32 33-33 33-51 41-12 41-21 41-32 41-33 41-41 41-51 42-33 42-42 51-51 52-52 Total User_accuracy11-11 184,4429 2,256526 2,086548 0,074695 2,256526 1,99625 193,1134 0,95510128311-12 0,083716 0,016087 0,09980211-32 0,016087 0,01608712-11 0,483622 0,491392 0,97501412-12 0,239275 38,53794 0,079089 0,021559 0,029153 0,494845 0,016087 0,042526 39,46047 0,97662133612-13 0,081786 0,037348 0,119134 0,68650606212-21 0,063039 0,005845 0,037348 0,2337 0,009432 0,349364 0,01673015712-23 0,013954 0,116553 0,038733 0,345301 0,51454112-24 0,119891 0,11989112-31 0,722187 0,72218712-32 0,006382 0,008626 0,01500813-11 0,642961 0,209417 0,072887 0,005415 0,011526 0,011526 0,153899 0,05475 1,162382 0,18016182713-12 0,26812 0,782885 0,081786 0,081786 0,011526 0,005989 0,081786 1,313878 0,59585792113-13 0,010044 6,50915 0,018975 0,025742 0,025742 0,036353 6,626006 0,98236415913-14 0,102518 0,036353 0,136391 0,275262 0,37243923813-21 0,055126 0,003007 0,059292 0,025557 0,020732 0,016246 0,17996 0,30632229813-23 0,055311 0,051275 0,065127 0,088708 0,029569 0,35097 0,239886 0,880846 0,07393723813-24 0,029569 0,003007 0,029569 0,087592 0,494807 0,020732 0,66527713-31 0,012233 0,006382 0,031393 0,016087 0,06609513-32 0,031393 0,041437 0,031393 0,062786 0,031393 0,125571 0,240737 0,021706 0,115193 0,701607 0,17897660113-33 0,025742 0,397069 0,42281113-41 0,021706 0,0055 0,02720613-51 0,147199 1,107006 1,254206 0,11736446214-11 1,63312 0,192227 1,82534714-12 0,248707 0,24870714-14 0,14599 26,91558 0,592242 27,65381 0,97330451414-21 0,198635 0,248707 0,151826 0,59916914-23 0,151826 0,15182614-31 0,343534 0,34353421-11 0,290466 0,290466 121-12 1,016631 0,145233 1,161863 0,87521-13 0,00978 0,580932 0,145233 0,145233 0,881178 0,65926743221-21 13,0474 3,565778 950,9298 6,062756 6,18105 979,7868 0,97054769421-23 0,77048 1,516118 16,54296 0,132154 18,96171 0,07995680121-24 12,9952 0,0055 0,105414 13,1061121-31 0,004793 0,00479321-32 0,051492 0,051492 0,051492 0,051492 0,205967 0,2521-51 0,132598 0,132598 122-12 0,026654 0,02665422-21 0,37487 0,3748722-22 0,053307 0,04075 19,30675 0,04075 0,37487 0,04075 0,37487 0,026654 20,2587 0,95301031323-11 9,304263 9,30426323-12 0,145233 1,016631 0,145233 1,307096 0,77777777823-13 0,007689 0,007689 0,290466 0,145233 0,451076 0,64393971423-21 0,007689 9,862986 1,400202 0,418912 11,68979 0,11977994523-23 3,086813 9,217947 0,051229 605,1679 19,3698 0,019326 9,15903 646,0721 0,93668795623-24 9,166719 7,295809 1,818258 18,2807923-32 0,007689 5,444464 0,205967 0,051492 0,051492 9,341288 15,10239 0,01363803723-41 0,066832 9,15903 9,22586223-51 0,03315 0,066299 0,099449 0,66666666724-12 0,145233 0,14523324-13 0,145233 0,145233 124-21 6,095996 6,09599624-22 4,953601 0,035659 4,9892624-23 0,194081 0,90539 0,517228 0,517228 2,13392824-24 2,592984 4,46769 4,817878 286,7038 1,293925 1,922108 1,766128 303,5645 0,94445756524-31 0,194081 1,044237 1,23831824-32 0,56872 0,671704 0,154475 1,548347 2,943246 0,05248464824-41 1,034457 1,03445731-11 0,229969 0,229969 131-12 0,076656 0,076656 131-13 0,076656 0,076656 0,076656 0,229969 0,33333333331-14 0,021426 0,02142631-21 0,018275 0,072433 0,09070831-23 0,072433 0,07243331-31 1,259866 0,881793 621,4374 1,765447 625,3445 0,99375207331-32 2,602159 16,47109 0,464919 5,914705 25,45287 0,64712104331-42 0,016119 0,016119 132-11 0,228801 0,22880132-12 0,229969 0,076656 0,076656 0,383282 0,632-13 0,009459 0,076656 0,076656 0,16277232-14 4,64484 4,6448432-21 0,032201 0,003924 0,038381 0,072433 0,023146 0,170085 0,42586148832-23 0,315513 1,300505 0,045035 3,121282 0,090071 0,144865 0,007361 0,743522 0,315513 6,083668 0,02381214632-24 0,809183 0,140904 0,014722 0,9648132-31 0,031701 0,228048 0,337065 11,22546 0,239595 9,650216 6,676275 28,38836 0,33993571632-32 0,018275 0,018275 4,749198 3,655514 9,089578 1,95645 325,5325 3,113921 3,177294 351,311 0,92662198832-33 3,113921 3,11392132-41 0,653451 0,008548 0,853102 1,51510133-23 0,01044 0,0104433-31 0,101969 0,004777 0,10674633-32 2,170186 0,072354 0,184845 0,100618 2,528002 0,02862090333-33 0,027321 0,184845 8,900554 91,03572 100,1484 0,90900786833-42 0,100618 0,10061833-52 0,020004 0,02000441-12 0,200496 0,200496 0,400992 0,541-21 0,075198 0,075198 141-23 0,07136 0,0713641-24 0,07136 0,0713641-31 2,79926 2,7992641-32 0,031045 0,056981 0,018994 0,143608 0,250628 0,22735282241-33 0,056981 0,132956 0,189937 0,341-41 0,143608 0,07136 164,8192 0,021426 0,175387 165,231 0,99750784542-23 0,104761 0,10476142-32 0,060261 0,060261 0,12052242-33 0,018994 0,018994 142-41 0,083327 0,08332742-42 0,004859 0,004859 0,060261 0,060261 6,326257 0,014106 0,0445 6,515102 0,97101423842-52 0,120522 0,060261 0,18078351-12 0,010495 0,01049551-23 0,046007 0,459909 0,50591651-24 0,010495 0,01049551-31 0,046007 0,04600751-41 0,708687 0,70868751-51 44,72235 1,116583 45,83894 0,97564117752-32 0,052655 0,05265552-42 0,018477 0,01847752-51 0,018477 0,018477 0,104126 0,1410852-52 0,018477 0,122727 0,018477 4,488399 4,64808 0,965645888Total 214,1632 0,03315 42,72048 2,168334 0,005845 0,212424 0,878048 6,752236 0,102518 0,055126 0,239268 0,031393 0,320846 0,029569 0,183552 38,97754 0,007689 0,007689 0,301992 1,199211 0,660595 0,145233 995,5669 1,516118 0,051492 0,051492 0,132598 24,26035 0,299132 1,046432 0,512355 1,711818 660,5649 0,272708 0,117791 0,145233 0,04075 333,4258 0,154475 0,229969 0,076656 0,221889 650,7377 16,74286 0,016119 0,229969 0,072433 0,144865 15,20664 375,4332 0,081786 0,165097 97,90573 0,01044 0,200496 0,075198 0,065529 0,056981 181,335 0,021426 0,018994 6,888837 47,69315 5,729746 3728,427

Prod_accuracy 0,861226 0,902095 0,037718 1 0,985845 0,891619 0,963999 1 1 0,272194 0,391376 0,801947 0,690541 0,961832 0,847749 0,879407 0,955164 1 1 1 0,795815 0,971521 0,566923 0,817962 0,916137 0,755266 0,562855 1 0,859873 1 1 1 0,345471 0,954974 0,983768 1 1 1 1 0,634606 0,867085 0,43825 0,92983 1 1 0,869555 1 0,908921 1 0,918334 0,93771 0,78335 0,915337093



Bio-geographical region BLS – Black sea - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 147: Confusion matrix CLCCH2012-2018 for black sea region –BLIND ANALYSIS - In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 14-14 21-21 21-51 22-13 22-21 22-22 23-13 23-21 23-23 23-51 24-24 24-51 31-13 31-31 32-13 32-31 32-32 32-51 33-33 33-51 41-21 41-41 42-42 51-51 52-52 Total User_accuracy11-11 2,661311 2,661311 112-12 2,722286 2,722286 112-24 0,084731 0,08473112-31 0,08453 0,0845313-13 0,014758 0,473969 0,077412 0,566139 0,83719567313-21 0,063381 0,06338113-51 0,058658 0,05865814-14 0,007629 0,309281 0,027448 0,344357 0,89813959921-21 268,1633 3,245727 31,54994 6,747776 6,747776 6,747776 323,2023 0,82970728821-24 40,48666 40,4866621-32 0,292193 0,29219321-51 0,132598 0,03315 0,03315 0,03315 0,232047 0,57142857122-21 0,282611 0,116684 0,399295 0,29222385522-22 0,662866 5,592198 1,972434 1,630094 9,857592 0,56729863922-24 0,116847 0,11684723-13 0,145233 0,145233 123-21 0,035087 0,350051 0,385138 0,90889735123-23 4,780192 0,339233 5,119425 0,93373603924-22 3,282209 3,28220924-24 3,161931 32,04653 3,161931 38,37039 0,83518901224-51 0,03315 0,03315 0,06629931-13 0,076656 0,076656 131-31 113,9893 113,9893 131-32 2,693878 2,69387832-13 0,153313 0,153313 132-24 0,072433 0,07243332-31 0,466368 0,46636832-32 0,035525 0,005156 58,92084 58,96152 0,99931004932-51 0,053199 0,0266 0,053199 0,0266 0,159598 0,33333333333-24 0,072433 0,07243333-33 4,878502 15,27014 0,009024 20,15767 0,75753515133-51 0,0266 0,0266 0,053199 0,541-21 0,100264 0,100264 141-41 4,997429 4,997429 142-42 0,281568 0,033373 0,314941 0,10596687651-13 0,066832 0,06683251-51 0,052021 0,24684 2,529489 2,828349 0,89433379452-11 0,186601 0,18660152-52 3,262208 3,262208 1Total 2,855542 2,737044 0,063381 0,473969 0,309281 268,533 0,132598 0,066832 0,779549 8,754129 0,145233 0,350051 12,97685 0,086349 109,608 0,059749 0,076656 125,8588 0,153313 0,005156 69,34707 0,438291 22,01792 0,053199 0,100264 5,278997 0,033373 2,588146 3,271232 637,154

Prod_accuracy 0,931981 0,994608 1 1 0,998623 1 0,149681 0,638807 1 1 0,368363 0,292374 1 0,905692 1 0,849651 0,121379 0,693533 0,5 1 0,946663 1 0,977336 0,997241 0,811273946



Table 148: Confusion matrix CLCCH2012-2018 for black sea region –PLAUSIBILITY ANALYSIS - In column the validation and line the production

Overall accuracy at the second level = 81,19% Overall accuracy at the third level =78,53%

CLCC_Lvl2 11-11 12-12 13-12 13-13 13-31 14-14 21-21 21-51 22-21 22-22 23-13 23-21 23-23 23-51 24-24 24-51 31-13 31-31 32-13 32-31 32-32 32-51 33-33 33-51 41-21 41-41 42-42 51-21 51-51 52-52 Total User_accuracy11-11 2,661311 2,661311 112-12 2,722286 2,722286 112-24 0,084731 0,08473112-31 0,08453 0,0845313-13 0,014758 0,473969 0,077412 0,566139 0,83719567313-21 0,063381 0,06338113-51 0,058658 0,05865814-14 0,007629 0,309281 0,027448 0,344357 0,89813959921-21 268,1633 3,245727 31,54994 6,747776 6,747776 6,747776 323,2023 0,82970728821-24 6,747776 33,73888 40,4866621-32 0,292193 0,29219321-51 0,132598 0,03315 0,03315 0,03315 0,232047 0,57142857122-21 0,282611 0,116684 0,399295 0,29222385522-22 0,662866 5,592198 3,602527 9,857592 0,56729863922-24 0,116847 0,11684723-13 0,145233 0,145233 123-21 0,035087 0,350051 0,385138 0,90889735123-23 5,119425 5,119425 124-22 3,282209 3,28220924-24 3,161931 32,04653 3,161931 38,37039 0,83518901224-51 0,03315 0,03315 0,066299 0,531-13 0,076656 0,076656 131-31 113,9893 113,9893 131-32 2,693878 2,69387832-13 0,153313 0,153313 132-24 0,072433 0,07243332-31 0,466368 0,46636832-32 0,035525 0,005156 58,92084 58,96152 0,99931004932-51 0,053199 0,0266 0,053199 0,0266 0,159598 0,33333333333-24 0,072433 0,07243333-33 4,878502 15,27014 0,009024 20,15767 0,75753515133-51 0,0266 0,0266 0,053199 0,541-21 0,100264 0,100264 141-41 4,997429 4,997429 142-42 0,281568 0,033373 0,314941 0,10596687651-13 0,066832 0,06683251-51 0,24684 0,052021 2,529489 2,828349 0,89433379452-11 0,186601 0,18660152-52 3,262208 3,262208 1Total 2,855542 2,737044 0,063381 0,473969 0,084731 0,309281 275,2288 0,132598 0,779549 8,820961 0,145233 0,350051 13,31609 0,086349 104,3725 0,092899 0,076656 124,2287 0,153313 0,005156 69,00784 0,438291 22,01792 0,053199 0,100264 5,278997 0,033373 0,052021 2,588146 3,271232 637,154

Prod_accuracy 0,931981 0,994608 1 1 0,974329 1 0,149681 0,633967 1 1 0,384454 0,30704 0,356835 1 0,917576 1 0,853828 0,121379 0,693533 0,5 1 0,946663 1 0,977336 0,997241 0,811858393



Bio-geographical region BOR – Boreal - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 149: Confusion matrix CLCCH2012-2018 for Boreal region – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-31 13-32 14-14 21-21 21-22 21-23 22-21 22-22 23-12 23-21 23-23 23-32 24-12 24-24 31-12 31-13 31-23 31-31 31-32 31-33 31-41 32-13 32-21 32-23 32-31 32-32 32-41 33-32 33-33 41-13 41-21 41-23 41-32 41-41 42-42 51-51 52-52 Total User_accuracy11-11 42,23224 0,724283 0,012799 0,002473 0,002473 42,97427 0,98273319211-12 0,009682 0,00968211-14 0,004362 0,61096 0,61532111-21 0,002473 0,014884 0,01735711-24 0,008039 0,734795 0,74283511-31 0,726756 0,004362 0,73111811-32 0,008039 0,00803912-11 0,118395 0,116012 0,002146 0,23655212-12 0,276292 10,75392 0,004695 0,004695 11,0396 0,97412200212-13 0,01268 0,0126812-21 0,235327 0,23532712-23 0,157911 0,15791112-24 0,00964 0,160294 0,16993412-31 0,138146 0,030481 0,003007 0,270568 0,44220312-32 0,00784 0,002146 0,00998613-11 0,132477 0,163572 0,003803 0,299853 0,5455091313-12 0,1358 0,081786 0,217586 0,37587993913-13 0,062603 0,001689 3,078853 0,018196 0,054136 0,0055 3,220977 0,95587537513-14 0,004282 0,00428213-21 0,029569 0,014884 0,04445313-23 0,029569 0,014884 0,04445313-24 0,054537 0,05453713-31 0,018196 0,004282 0,055125 0,530783 0,001689 0,610075 0,00701923613-32 0,031393 0,031393 0,26582 0,328605 0,09553353613-41 0,014215 0,01421514-11 0,049963 0,04996314-12 0,040623 0,04062314-13 0,021881 0,02188114-14 0,073775 5,598456 0,013912 0,035208 5,721351 0,97851989514-21 0,012799 0,01279914-23 0,014884 0,01488414-24 0,048007 0,04800714-31 0,030615 0,03061514-51 0,004621 0,00462121-11 0,011695 0,01169521-12 0,145233 0,14523321-21 2,52619 296,2537 5,421266 5,05238 3,964203 0,002423 313,2201 0,94583214621-22 0,116684 0,116684 121-23 0,350051 0,350051 0,116684 17,64716 0,116684 18,58062 0,01883954921-24 8,239264 0,002423 8,24168721-31 1,345382 0,002423 1,34780521-32 0,051492 0,185085 0,23657721-41 0,002423 0,00242322-21 0,116684 0,116684 122-22 0,506181 0,031729 0,015127 0,015127 0,568164 0,89090784522-24 0,031729 0,03172923-21 6,54891 3,733873 3,135677 13,41846 0,27826388823-23 0,560061 0,225438 53,14636 1,133753 2,25925 0,560061 0,027261 57,91218 0,91770600423-24 0,00448 0,232593 0,002423 0,23949723-31 0,20145 0,051492 0,25294223-32 0,051492 0,102983 3,203037 3,357512 0,03067255923-33 0,004724 0,072878 0,07760224-11 0,789355 0,78935524-21 19,37483 1,155702 20,5305324-24 0,25202 3,095913 156,5942 7,604921 0,50404 168,0511 0,93182495724-31 1,153279 7,990312 9,1435924-32 3,564052 3,56405224-33 0,789355 0,78935524-51 3,272981 3,27298131-11 0,076656 0,07665631-12 0,076656 0,153313 0,22996931-13 0,459939 0,459939 131-14 0,076656 0,07665631-21 5,720099 0,072433 0,072433 0,144865 6,00982931-23 0,072433 0,07243331-24 0,018268 0,01826831-31 0,58327 11,92184 2401,376 18,95054 43,77258 0,003632 2476,608 0,96962302831-32 0,466368 0,56446 66,69061 0,466368 27,10257 95,29038 0,69986722831-33 0,466368 0,466368 131-41 0,048357 0,064476 0,016119 0,128952 0,532-13 0,039722 2,860336 0,229969 3,130028 0,07347197532-21 0,128918 0,00987 0,007077 0,144865 0,144865 0,072433 0,072433 0,58046 0,24956948832-23 0,072433 0,144865 0,217298 0,66666666732-24 0,004935 0,015937 0,173473 0,002836 0,012049 0,20923132-31 0,466368 0,004265 0,007077 60,15839 4,449822 0,004935 33,58557 21,47918 0,004265 120,1599 0,27950736632-32 0,012049 16,78719 0,0055 0,002836 371,0154 0,027786 387,8507 0,95659318132-41 0,016119 0,257905 0,060454 0,334478 0,77106629833-33 0,352939 1,01692 0,023431 10,05301 0,042156 11,48845 0,87505311741-13 0,066832 0,066832 141-21 0,050132 0,025066 0,025066 0,100264 0,541-31 0,019411 0,01941141-32 0,007631 0,056981 0,671816 0,73642841-41 199,0132 199,0132 142-23 0,025066 0,02506642-24 0,025848 0,02584842-31 0,012924 0,01292442-32 0,011099 0,01109942-41 0,014214 0,01421442-42 0,244942 0,244942 151-31 0,24964 0,2496451-51 0,128402 3,592271 278,1667 281,8874 0,98680085552-31 0,045495 0,04549552-41 0,026746 0,02674652-52 0,148601 2,820641 2,969242 0,949953206Total 48,85048 12,07749 0,163572 0,21927 3,157418 0,004282 0,031393 6,312351 343,9646 0,116684 0,350051 0,116684 0,506181 0,145233 3,902048 79,5754 0,154475 0,00964 174,2698 0,055125 0,685684 0,072433 2511,731 90,47299 0,466368 0,064476 0,235469 0,222233 0,28973 34,08616 474,3818 0,257905 0,023431 10,05301 0,066832 0,050132 0,025066 0,019751 199,2594 0,311483 281,4422 2,862796 4281,062

Prod_accuracy 0,864521 0,89041 1 0,372993 0,975117 1 1 0,886905 0,861291 1 1 1 1 0,956901 0,667874 0,666667 0,898573 0,670773 0,956064 0,737133 1 1 0,976642 0,651862 0,5 0,985314 0,782103 1 1 1 1 0,998765 0,786374 0,988362 0,985275 0,919799067



Table 150: Confusion matrix CLCCH2012-2018 for Boreal region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-32 14-14 21-21 21-22 21-23 21-41 22-21 22-22 23-12 23-21 23-23 23-24 23-32 24-12 24-24 31-12 31-13 31-23 31-31 31-32 31-33 31-41 32-13 32-21 32-23 32-31 32-32 32-41 33-32 33-33 41-13 41-21 41-23 41-32 41-41 42-42 51-51 52-52 Total User_accuracy11-11 42,24999 0,724283 42,97427 0,98314612911-12 0,009682 0,00968211-14 0,004362 0,61096 0,61532111-21 0,002473 0,014884 0,01735711-24 0,008039 0,734795 0,74283511-31 0,726756 0,004362 0,73111811-32 0,008039 0,00803912-11 0,118395 0,116012 0,002146 0,23655212-12 0,276292 10,76331 11,0396 0,97497263312-13 0,01268 0,0126812-21 0,235327 0,23532712-23 0,157911 0,15791112-24 0,002383 0,00964 0,157911 0,16993412-31 0,138146 0,030718 0,003007 0,002146 0,268185 0,44220312-32 0,00784 0,002146 0,00998613-11 0,13628 0,163572 0,299853 0,5455091313-12 0,076565 0,122355 0,018667 0,217586 0,5623271213-13 0,062603 0,018196 0,001689 3,109419 0,001689 0,021881 0,0055 3,220977 0,96536518513-14 0,004282 0,00428213-21 0,029569 0,014884 0,04445313-23 0,029569 0,014884 0,04445313-24 0,054537 0,05453713-31 0,018196 0,004282 0,06369 0,055125 0,411968 0,056814 0,61007513-32 0,004282 0,086518 0,031393 0,206412 0,328605 0,26328847913-41 0,014215 0,01421514-11 0,049963 0,04996314-12 0,040623 0,04062314-13 0,021881 0,02188114-14 0,044265 0,014755 5,648419 0,013912 5,721351 0,98725265814-21 0,012799 0,01279914-23 0,014884 0,01488414-24 0,048007 0,04800714-31 0,030615 0,03061514-51 0,004621 0,00462121-11 0,011695 0,01169521-12 0,145233 0,14523321-21 2,52619 296,3872 5,421266 5,05238 3,830609 0,002423 313,2201 0,94625866321-22 0,116684 0,116684 121-23 0,350051 0,466734 0,116684 17,64716 18,58062 0,02511939921-24 8,233764 0,0055 0,002423 8,24168721-31 0,002423 1,340536 0,004846 1,34780521-32 0,051492 0,185085 0,23657721-41 0,002423 0,00242322-21 0,116684 0,116684 122-22 0,553037 0,015127 0,568164 0,97337591222-24 0,031729 0,03172923-21 6,54443 3,738353 3,135677 13,41846 0,27859776723-23 0,560061 0,225438 53,0704 0,075956 1,133753 2,25925 0,560061 0,027261 57,91218 0,91639442523-24 0,006903 0,151913 0,080681 0,239497 0,63430068423-31 0,196726 0,004724 0,051492 0,25294223-32 0,051492 0,102983 0,013631 3,189406 3,357512 0,03067255923-33 0,023079 0,054523 0,07760224-11 0,789355 0,78935524-21 16,10185 3,272981 0,002423 1,153279 20,5305324-24 0,25202 3,095913 156,8463 6,451642 1,153279 0,25202 168,0511 0,93332461924-31 1,153279 7,990312 9,1435924-32 2,410773 1,153279 3,56405224-33 0,789355 0,78935524-51 3,272981 3,27298131-11 0,076656 0,07665631-12 0,076656 0,153313 0,22996931-13 0,459939 0,459939 131-14 0,076656 0,07665631-21 5,720099 0,072433 0,072433 0,144865 6,00982931-23 0,072433 0,07243331-24 0,018268 0,01826831-31 0,58327 11,92184 2398,689 5,73683 1,048941 58,62524 0,003632 2476,608 0,96853771731-32 0,466368 0,466368 66,7887 0,466368 27,10257 95,29038 0,7008966331-33 0,466368 0,466368 131-41 0,048357 0,064476 0,016119 0,128952 0,532-13 0,018776 2,860336 0,250915 3,130028 0,08016393432-21 0,128918 0,00987 0,007077 0,144865 0,072433 0,072433 0,072433 0,072433 0,58046 0,24956948832-23 0,072433 0,144865 0,217298 0,66666666732-24 0,004935 0,015937 0,168538 0,002836 0,004935 0,012049 0,20923132-31 0,466368 0,004265 0,007077 0,007077 47,09626 4,588466 0,004935 47,89848 20,08267 0,004265 120,1599 0,39862298932-32 0,0055 0,012049 15,98632 0,862182 0,567514 370,4172 387,8507 0,95505082332-41 0,016119 0,257905 0,060454 0,334478 0,77106629833-33 0,352939 1,059076 0,023431 10,05301 11,48845 0,87505311741-13 0,066832 0,066832 141-21 0,050132 0,050132 0,100264 0,541-31 0,01178 0,007631 0,01941141-32 0,007631 0,056981 0,671816 0,73642841-41 199,0132 199,0132 142-23 0,025066 0,02506642-24 0,012924 0,012924 0,02584842-31 0,012924 0,01292442-32 0,011099 0,01109942-41 0,014214 0,01421442-42 0,244942 0,244942 151-31 0,24964 0,2496451-51 3,592271 278,2951 281,8874 0,98725636352-31 0,045495 0,04549552-41 0,026746 0,02674652-52 0,148601 2,820641 2,969242 0,949953206Total 48,84252 12,04502 0,181769 0,234551 3,237296 0,086518 6,380392 340,5963 0,116684 0,466734 0,016119 0,116684 0,553037 0,145233 4,080475 82,80949 0,151913 0,230432 0,00964 174,1919 0,057272 0,685684 0,072433 2492,446 80,64209 0,466368 0,064476 0,272796 0,222233 0,217298 52,46836 484,5086 0,257905 0,023431 10,05301 0,066832 0,050132 0,050132 0,003632 199,2279 0,324407 281,5681 2,820641 4281,062

Prod_accuracy 0,865025 0,89359 0,899894 0,521654 0,960499 1 0,885278 0,870201 1 1 1 1 0,916156 0,640873 1 0,446916 0,900422 0,670773 0,962383 0,828211 1 1 0,91979 0,651862 0,666667 0,912902 0,764521 1 1 1 1 0,998923 0,755045 0,988376 1 0,922626152



Bio-geographical region CON – Continental - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 151: Confusion matrix CLCCH2012-2018 for Continental region – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-12 11-13 12-12 13-11 13-12 13-13 13-21 13-23 13-24 13-32 13-51 14-12 14-14 21-11 21-12 21-13 21-21 21-23 21-24 21-32 21-41 21-51 22-21 22-22 22-24 23-11 23-12 23-13 23-14 23-21 23-22 23-23 23-32 23-51 24-11 24-13 24-21 24-24 24-32 24-51 31-11 31-12 31-13 31-21 31-31 31-32 31-41 32-11 32-13 32-21 32-23 32-31 32-32 32-51 33-33 33-51 41-21 41-32 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 269,8448 0,123997 1,320344 0,041995 0,542031 271,8732 0,99253928811-12 0,081786 3,929168 4,010954 0,02039071611-14 2,086548 2,08654811-21 3,011207 0,295912 3,30711911-23 4,173096 0,028335 4,20143111-24 0,116262 0,11626211-31 2,256526 2,25652612-11 1,057689 0,018869 0,007087 1,08364612-12 1,131149 52,59914 0,02184 0,006098 0,244711 54,00294 0,97400515912-13 0,005322 0,234097 0,081786 0,32120612-14 0,01641 0,0164112-21 0,019523 0,041081 0,841501 0,257317 0,011604 1,17102612-22 0,18401 0,007629 0,19163912-23 0,028961 0,028961 0,091421 0,266749 0,41609212-24 0,089115 0,116012 0,254128 0,006157 0,46541112-31 0,040656 0,03629 0,69684 0,77378712-32 0,026583 0,02658313-11 1,197773 0,408931 0,006405 0,006032 1,619142 0,25256038413-12 0,078936 1,126207 1,30858 0,030534 0,081786 0,091046 0,005614 2,722704 0,48061762513-13 0,045293 0,081786 0,124373 0,168897 12,80004 0,044778 0,062472 0,107596 0,03345 0,024586 0,11882 0,13386 0,055639 0,395709 14,1973 0,9015827313-14 0,1299 0,129913-21 0,00798 0,039012 0,059138 0,003986 0,020266 1,011223 0,003986 1,145592 0,05162261613-22 0,007629 0,00762913-23 0,059138 0,147846 0,029569 0,017513 0,029569 0,814565 0,029569 0,059138 1,186909 0,12456401813-24 0,005304 0,198393 0,030534 0,23423113-31 0,031393 0,174249 0,20564213-32 0,030534 0,094178 0,031393 0,028499 0,025829 0,210435 0,44754292713-33 0,025829 0,02582913-41 0,008486 0,066832 0,07531813-51 0,016725 0,08476 0,029723 0,131208 0,64599609314-11 1,241973 0,087592 1,32956514-12 0,290675 0,233116 0,081786 0,015278 0,015278 0,636133 0,12856787414-14 0,060815 0,012072 14,65544 0,075242 0,035989 0,040505 0,343534 15,22359 0,96267915414-21 0,07321 0,026115 0,09932414-24 0,046454 0,024036 0,024036 0,07559 0,17011621-11 0,290466 0,290466 121-12 1,161863 1,161863 121-13 0,007388 0,145233 1,016631 0,145233 0,145233 1,459717 0,69645730821-14 3,565778 3,56577821-21 0,023745 1957,783 1,778467 43,85517 0,020767 0,033169 0,007593 2003,502 0,97718050421-22 0,233367 0,024047 0,116684 0,37409821-23 0,016431 0,140202 0,116684 34,09454 3,405336 37,77319 0,00308905721-24 0,026083 0,233367 0,021324 1,702668 0,116684 54,3547 56,45482 0,00413369621-31 0,016431 7,327019 0,113793 0,051492 0,167407 7,67614221-32 0,051492 0,051492 0,051492 0,154475 7,22196 7,53091 0,00683738621-41 0,066832 0,040508 0,10734 0,62261969221-51 0,03315 0,066299 0,099449 0,66666666722-11 0,261013 0,074402 0,33541522-21 1,341884 0,350051 0,116684 0,116684 0,00754 0,768476 2,701319 0,12958506922-22 0,060174 1,327411 43,20848 0,37487 2,7918 2,787744 50,55048 0,85475905422-23 0,662866 2,421266 0,639034 0,768476 4,49164322-24 0,011702 0,11519 6,067455 6,19434722-31 0,768476 0,116847 0,88532322-32 0,051492 0,849334 0,90082623-11 5,444464 0,145233 5,589697 0,02598225623-12 0,290466 5,935223 6,225688 0,04665602223-13 0,020309 0,290466 0,31077423-14 0,904037 0,90403723-21 41,76195 1,166835 0,354531 7,734306 0,003508 5,78999 56,81112 0,02053885323-22 0,115916 0,237325 0,116684 0,116684 0,586608 0,19891228923-23 0,020094 0,538275 0,904037 546,1105 41,84223 14,67557 4,295448 608,3861 0,8976379523-24 1,098448 1,09844823-31 0,077202 18,87601 18,9532123-32 0,154475 0,051492 2,402704 2,608671 0,05921605723-41 0,066832 0,06683223-51 0,012032 0,021391 0,03342324-11 3,168309 2,57306 5,74136924-12 0,009272 0,00927224-13 0,435699 0,803698 1,239396 0,35154110224-21 20,85199 0,803698 0,116684 6,790584 28,56295 0,00408513524-22 1,844291 1,84429124-23 6,194808 0,136652 6,3314624-24 1,844291 9,200159 1,844291 14,18829 521,34 19,14075 0,021324 567,5791 0,91853275924-31 3,914158 3,91415824-32 0,051492 0,855189 0,051492 2,396736 3,354909 0,0153481831-12 0,153313 0,153313 131-13 0,306626 0,306626 131-21 5,426509 0,072433 0,072433 2,933972 8,505346 0,00851612631-23 6,233199 5,005791 11,2389931-24 3,315242 0,013765 3,32900731-31 0,437439 0,084338 2,558948 2,933972 1635,502 0,033558 0,522018 1642,072 0,99599879131-32 0,466368 5,57152 17,25561 24,61489 47,90839 0,36017937431-41 0,016119 0,016119 131-51 0,0266 0,0266 0,0266 0,07979932-11 0,315513 0,31551332-13 0,09472 0,076656 0,076656 0,076656 0,076656 0,401346 0,19099843332-14 0,076656 0,07665632-21 1,221947 0,855082 0,012794 0,144865 0,053005 2,287693 0,06332369532-22 1,239305 1,23930532-23 2,539853 0,072433 0,042615 2,6549 0,02728261232-24 0,006595 0,035988 3,943301 1,14474 0,015382 5,14600632-31 0,286927 0,502356 20,85471 0,57934 0,050543 3,285096 1,267894 26,82687 0,12245544432-32 0,012032 0,878657 0,009359 5,917251 6,443658 13,32196 0,016793 0,024095 146,6226 9,987669 5,338313 188,5724 0,77754013332-33 2,909703 2,90970332-41 0,012794 0,016119 0,016119 0,04503232-51 0,0266 0,0266 0,0266 0,07979933-13 0,013926 0,01392633-23 0,072433 0,028084 0,096325 0,19684133-31 0,398263 0,39826333-32 0,129136 0,466368 0,097095 0,048163 0,74076133-33 0,009024 0,036405 0,086786 0,059272 0,020848 1,944575 3,136442 0,009683 5,303036 0,59144271333-51 0,053199 0,10435 0,157549 0,33766864241-12 0,214382 0,21438241-21 0,019138 0,01913841-23 0,753477 0,75347741-31 0,020897 0,055962 0,07685941-32 0,04465 0,0446541-41 0,723171 0,344735 0,495524 0,116468 11,50127 13,18117 0,87255309841-51 0,214382 0,21438242-42 0,011099 1,126726 0,044532 1,182357 0,95294867251-13 0,032643 0,03264351-21 0,039499 0,066832 0,10633151-23 0,013708 0,01370851-24 0,467323 0,46732351-31 0,387754 0,459909 0,84766351-33 0,009683 0,00968351-41 0,020309 0,013708 0,066832 0,10084951-51 0,406235 0,723562 0,632705 0,317182 0,013503 65,57752 67,67071 0,96906804452-33 0,026746 0,02674652-41 0,027787 0,02778752-52 0,147942 1,888653 2,036595 0,927358306Total 293,7804 0,081786 0,081786 58,84461 0,408931 1,536615 13,08114 0,059138 0,192624 0,115341 0,205556 0,08476 0,081786 21,62091 0,435699 1,161863 1,016631 2048,464 0,116684 0,233367 0,051492 0,066832 0,133131 0,350051 47,67218 0,116684 0,435699 0,290466 0,145233 0,076656 1,292543 0,233367 632,574 0,423167 0,056169 0,116684 0,444185 0,116684 717,9978 0,051492 0,0266 0,028335 3,087285 0,409882 0,072433 1755,342 17,9247 0,016119 0,076656 0,076656 0,268223 0,072433 3,582108 197,5559 0,0266 13,17577 0,079799 0,116468 0,066832 23,11171 1,274667 0,080335 67,22776 1,933186 5929,88

Prod_accuracy 0,918525 1 0,893865 1 0,851599 0,978511 1 0,767538 0,458164 1 1 0,677836 0,666667 1 1 0,955733 1 1 1 1 0,497998 1 0,906367 0,333333 1 0,902744 0,5 0,863315 0,365046 0,980895 1 0,726103 1 0,049659 0,748083 1 0,931728 0,962673 1 1 0,540091 1 0,917085 0,742183 0,238046 0,666667 0,497638 0,883937 0,975453 0,976964 0,896009936



Table 152: Confusion matrix CLCCH2012-2018 for Continental region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-12 11-13 12-12 13-11 13-12 13-13 13-14 13-21 13-23 13-24 13-31 13-32 13-51 14-12 14-14 21-11 21-12 21-13 21-21 21-22 21-23 21-24 21-31 21-32 21-41 21-51 22-21 22-22 22-24 23-11 23-12 23-13 23-21 23-22 23-23 23-24 23-32 23-51 24-12 24-13 24-21 24-24 24-32 24-51 31-11 31-12 31-13 31-21 31-31 31-32 31-41 32-13 32-14 32-21 32-22 32-23 32-31 32-32 32-51 33-32 33-33 33-51 41-21 41-32 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 269,8529 0,120114 0,003883 1,312309 0,041995 0,542031 271,8732 0,99256884411-12 0,081786 3,929168 4,010954 0,02039071611-14 2,086548 2,08654811-21 3,018883 0,288236 3,30711911-23 4,173096 0,028335 4,20143111-24 0,116262 0,11626211-31 2,256526 2,25652612-11 0,970097 0,018869 0,087592 0,007087 1,08364612-12 0,426082 53,38746 0,02184 0,006098 0,161459 54,00294 0,98860286712-13 0,005322 0,234097 0,081786 0,32120612-14 0,01641 0,0164112-21 0,021905 0,046926 0,005845 0,827429 0,257317 0,011604 1,17102612-22 0,18401 0,007629 0,19163912-23 0,028961 0,028961 0,091421 0,266749 0,41609212-24 0,089115 0,335484 0,006157 0,034655 0,46541112-31 0,040656 0,03629 0,69684 0,77378712-32 0,021395 0,005189 0,02658313-11 1,182165 0,416911 0,007629 0,006405 0,006032 1,619142 0,25748877213-12 0,078936 0,989495 1,36343 0,063371 0,081786 0,009259 0,081786 0,01849 0,030534 0,005614 2,722704 0,50076317113-13 0,091537 0,081786 0,063371 0,183655 12,87924 0,025061 0,170067 0,107596 0,016725 0,044303 0,11882 0,071388 0,055639 0,288114 14,1973 0,90716104513-14 0,00798 0,12192 0,129913-21 0,00798 0,006405 0,039012 0,162367 0,003986 0,020266 0,90159 0,003986 1,145592 0,14173174913-22 0,007629 0,00762913-23 0,029569 0,295962 0,029569 0,017513 0,029569 0,696019 0,029569 0,059138 1,186909 0,24935492713-24 0,005304 0,198393 0,030534 0,23423113-31 0,010009 0,031393 0,16424 0,205642 0,04867111813-32 0,134722 0,031393 0,01849 0,025829 0,210435 0,64020763913-33 0,025829 0,02582913-41 0,008486 0,066832 0,07531813-51 0,101485 0,029723 0,131208 0,77346695814-11 0,862449 0,379523 0,087592 1,32956514-12 0,52379 0,081786 0,030556 0,636133 0,12856787414-14 0,060815 0,012072 14,65544 0,051206 0,024036 0,035989 0,040505 0,343534 15,22359 0,96267915414-21 0,07321 0,026115 0,09932414-24 0,110102 0,024036 0,024036 0,011942 0,17011621-11 0,290466 0,290466 121-12 1,161863 1,161863 121-13 0,007388 0,145233 1,016631 0,145233 0,145233 1,459717 0,69645730821-14 3,565778 3,56577821-21 0,011695 1971,827 1,778467 29,20113 0,622264 0,020767 0,033169 0,007593 2003,502 0,98419014221-22 0,233367 0,007388 0,016659 0,116684 0,374098 0,01974781321-23 9,704758 0,146111 24,51699 3,405336 37,77319 0,00386810821-24 0,026083 0,116684 3,479094 0,021324 1,702668 51,10897 56,45482 0,06162615621-31 0,016431 7,327019 0,093026 0,051492 0,188174 7,67614221-32 0,051492 0,051492 0,051492 0,051492 0,051492 7,273452 7,53091 0,00683738621-41 0,013503 0,066832 0,027005 0,10734 0,62261969221-51 0,099449 0,099449 122-11 0,261013 0,074402 0,33541522-21 1,318151 0,357591 0,016192 0,116684 0,116684 0,00754 0,768476 2,701319 0,13237646522-22 0,060174 1,222425 43,23261 0,37487 4,087542 1,57286 50,55048 0,85523636822-23 0,662866 0,319517 3,189742 0,319517 4,49164322-24 0,083516 0,11519 5,995641 6,19434722-31 0,885323 0,88532322-32 0,051492 0,849334 0,90082623-11 5,444464 0,145233 5,589697 0,02598225623-12 0,290466 5,78999 0,145233 6,225688 0,04665602223-13 0,020309 0,145233 0,145233 0,31077423-14 0,904037 0,90403723-21 39,49787 3,430919 0,470446 7,61839 0,003508 5,78999 56,81112 0,06039167923-22 0,237325 0,115916 0,116684 0,116684 0,586608 0,19891228923-23 0,020094 0,431646 0,904037 0,106629 551,5684 7,232364 29,1519 14,67557 4,295448 608,3861 0,90660917123-24 1,098448 1,09844823-31 5,521665 13,41375 0,017791 18,9532123-32 0,218281 0,051492 2,338898 2,608671 0,08367520723-41 0,066832 0,06683223-51 0,012032 0,021391 0,03342324-11 5,741369 5,74136924-12 0,009272 0,009272 124-13 0,435699 0,803698 1,239396 0,35154110224-21 20,85199 0,803698 0,116684 6,790584 28,56295 0,00408513524-22 1,844291 1,84429124-23 6,007758 0,323702 6,3314624-24 1,844291 4,407899 1,844291 14,18829 0,574736 526,1323 12,59837 0,021324 1,844291 4,123351 567,5791 0,92697609224-31 3,914158 3,91415824-32 0,051492 0,855189 0,051492 2,396736 3,354909 0,0153481831-12 0,153313 0,153313 131-13 0,306626 0,306626 131-21 5,289203 0,014028 0,161348 2,933972 0,08646 0,020335 8,505346 0,0189702131-23 6,233199 5,005791 11,2389931-24 3,315242 0,013765 3,32900731-31 0,437439 0,084338 2,45681 2,933972 1630,411 0,033558 0,156709 5,558755 1642,072 0,99289825331-32 0,466368 5,57152 17,32419 0,218673 24,32763 47,90839 0,36161086331-41 0,016119 0,016119 131-51 0,0266 0,0266 0,0266 0,07979932-11 0,315513 0,31551332-13 0,09472 0,229969 0,076656 0,401346 0,572995332-14 0,076656 0,076656 132-21 1,193847 0,0281 0,012794 0,144865 0,908087 2,287693 0,06332369532-22 0,619652 0,619652 1,239305 0,532-23 2,443584 0,013926 0,072433 0,124957 2,6549 0,02728261232-24 0,006595 5,004318 0,025587 0,035988 0,050543 0,022975 5,14600632-31 0,204584 0,520352 0,005948 16,4439 2,208905 0,050543 5,864821 1,527812 26,82687 0,21861742932-32 0,012032 0,878657 0,009359 4,84431 1,072941 6,443658 11,80857 0,016793 1,196727 146,9633 9,987669 5,338313 188,5724 0,77934715632-33 2,909703 2,90970332-41 0,012794 0,016119 0,016119 0,04503232-51 0,0266 0,0266 0,0266 0,079799 0,33333333333-13 0,013926 0,01392633-23 0,072433 0,028084 0,048163 0,048163 0,19684133-31 0,398263 0,39826333-32 0,466368 0,178068 0,048163 0,048163 0,740761 0,06501774833-33 0,045428 0,086786 0,042156 0,037965 1,572959 3,508058 0,009683 5,303036 0,66151881733-51 0,053199 0,10435 0,157549 0,33766864241-12 0,214382 0,21438241-21 0,019138 0,01913841-23 0,753477 0,75347741-31 0,020897 0,055962 0,07685941-32 0,04465 0,0446541-41 0,723171 0,344735 0,417053 11,69621 13,18117 0,88734230541-51 0,214382 0,21438242-42 0,011099 1,126726 0,044532 1,182357 0,95294867251-13 0,032643 0,03264351-21 0,02467 0,066832 0,014828 0,10633151-23 0,013708 0,01370851-24 0,467323 0,46732351-31 0,387754 0,459909 0,84766351-33 0,009683 0,00968351-41 0,020309 0,013708 0,066832 0,10084951-51 0,406235 0,723562 0,632705 0,317182 0,013503 65,57752 67,67071 0,96906804452-33 0,026746 0,02674652-41 0,027787 0,02778752-52 0,091989 1,944606 2,036595 0,95483199Total 294,8942 0,081786 0,081786 59,71857 0,424891 1,557373 13,17026 0,01641 0,191936 0,321023 0,115341 0,010009 0,382719 0,101485 0,081786 22,05497 0,639974 1,176968 1,016631 2062,555 0,007388 0,808977 3,479094 0,014028 0,051492 0,066832 0,099449 0,357591 47,48849 0,116684 0,290466 0,308956 5,935223 3,794183 0,233367 627,5741 7,232364 1,538973 0,029569 0,009272 0,444185 0,691419 694,0854 0,05744 0,0266 0,028335 3,087285 0,333225 0,928846 1725,825 20,17567 0,016119 0,229969 0,076656 0,268223 0,619652 0,10842 9,680691 207,5405 0,168194 0,096325 13,54739 0,089482 0,027005 0,066832 23,26614 1,218715 0,080335 67,07714 1,989138 5929,88

Prod_accuracy 0,915084 1 0,893984 0,981219 0,875468 0,977903 0,845942 0,921933 1 0,352013 1 1 0,664496 0,453871 0,987167 1 0,956012 1 0,180612 1 1 1 1 1 0,910381 0,5 0,940152 0,904258 0,5 0,87889 0,141836 1 0,980895 0,168759 0,758022 0,896452 0,049659 0,920175 0,173708 0,944714 0,858668 1 1 1 0,540091 1 0,668072 0,605827 0,708119 0,158149 0,5 0,258947 0,594523 0,502714 0,92452 0,977643 0,977612 0,901198765



Bio-geographical region MAC– Macaronesia- Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 153: Confusion matrix CLCCH2012-2018 for Macaronesia region – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-13 14-14 21-21 23-23 24-24 31-31 32-32 33-33 41-41 52-52 Total User_accuracy11-11 0,036197 0,036197 111-14 1,026852 1,02685211-23 0,513086 0,51308611-24 0,513086 0,51308612-11 0,009725 0,00972512-12 0,185816 0,185816 112-23 0,012497 0,01249713-13 0,092019 0,092019 113-24 0,512893 0,51289314-14 0,103115 0,01225 0,115366 0,89381292414-32 0,018975 0,01897521-21 2,583306 2,583306 123-23 2,586462 2,586462 124-24 6,694103 6,694103 131-31 8,967216 8,967216 132-32 7,716943 7,716943 132-33 5,252902 5,25290233-32 1,556692 1,55669233-33 1,556692 0,783569 13,1812 15,52146 0,84922418841-32 0,075524 0,07552441-41 0,151048 0,151048 152-52 0,052655 0,052655 1Total 0,045922 0,185816 0,092019 1,129968 2,583306 2,598958 9,80211 8,967216 10,1517 18,4341 0,151048 0,052655 54,19482

Prod_accuracy 0,788238 1 1 0,091255 1 0,995192 0,682925 1 0,760162 0,715044 1 1 0,781441449



Table 154: Confusion matrix CLCCH2012-2018 for Macaronesia region – PLAUSIBILITY ANALYSIS- In column the validation and line the production




Bio-geographical region MED – Mediterranean - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 155: Confusion matrix CLCCH2012-2018 for Mediterranean region – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-11 13-12 13-13 13-14 13-21 13-32 13-51 14-14 21-12 21-13 21-21 21-22 21-32 21-51 22-11 22-12 22-21 22-22 22-32 23-11 23-12 23-13 23-21 23-22 23-23 23-42 23-51 24-11 24-12 24-13 24-21 24-22 24-24 24-32 24-51 31-13 31-21 31-22 31-31 31-32 31-33 32-12 32-13 32-21 32-22 32-23 32-24 32-31 32-32 32-33 32-51 33-24 33-32 33-33 41-21 41-41 42-42 51-41 51-51 52-52 Total User_accuracy11-11 106,2614 0,513086 0,006157 106,7806 0,99513729811-12 0,040454 0,003883 0,04433711-13 0,031787 0,03178711-14 0,003883 0,00388311-21 0,864702 0,018231 0,88293311-22 0,077204 0,07720411-24 0,051358 0,05135812-11 0,064158 0,032214 0,092366 0,18873812-12 0,138024 38,2657 0,010009 0,092886 0,006098 0,056306 0,115065 0,178028 38,86212 0,98465301912-13 0,141753 0,006157 0,153086 0,045899 0,34689512-21 0,172676 1,249592 0,040392 1,46265912-22 0,049089 0,080065 0,12915412-23 0,045899 0,063013 0,10891212-24 0,002861 0,002861 0,057489 0,008486 0,07169812-31 0,065309 0,06530912-32 0,044267 0,04426712-42 0,011342 0,01134213-11 1,056697 0,245359 0,003986 0,005614 1,311656 0,18706026713-12 1,420894 0,65429 0,006391 0,009725 0,020266 0,081786 0,081786 0,130787 2,405925 0,27194939713-13 0,127856 11,99397 0,003986 0,006391 0,221674 0,221674 0,107596 12,68315 0,94566199713-14 0,060341 0,081786 0,551638 0,693765 0,11788751313-21 0,008486 0,029569 0,656528 0,694583 0,04257117713-22 0,327258 0,053289 0,38054713-23 0,085627 0,029569 0,37894 0,177415 0,512893 0,6549 0,029569 0,581406 2,4503213-24 0,106773 0,060341 0,225829 0,040392 0,43333513-31 0,702481 0,029163 0,73164413-32 0,056058 0,062786 0,07142 0,709671 0,037798 0,937733 0,06695471213-33 0,031393 0,031393 0,03755 0,095552 0,19588713-42 0,01849 0,0184913-51 0,634684 0,02119 0,543752 1,19962614-11 0,233586 0,074753 0,30833914-12 0,280402 0,28040214-13 0,020284 0,02028414-14 0,352036 0,027529 6,888981 0,019692 7,288238 0,94521897214-21 0,092366 0,019623 0,11198914-24 0,060634 0,06063414-31 0,019623 0,01962314-32 0,304215 0,030206 0,33442221-11 4,558836 4,55883621-12 0,435699 0,435699 121-21 1,829517 885,642 0,038114 39,45445 0,74249 1,8556 929,5622 0,95275176421-22 0,659043 2,917088 4,125389 7,701519 0,37876788621-23 6,654216 6,65421621-24 5,658198 2,601509 10,5721 18,8318121-32 0,051492 0,051492 0,864112 0,967096 0,05324367721-33 0,051492 0,292193 0,34368521-41 0,066832 0,06683221-51 0,03315 0,066299 0,099449 0,33333333322-11 2,57935 2,5793522-12 1,20833 0,145233 1,353563 0,10729673422-13 0,145233 0,145233 0,29046622-21 7,252897 0,816785 0,151941 0,405403 8,627025 0,09467745322-22 0,382743 2,139927 0,163987 367,5731 0,37487 24,66988 0,045399 6,668336 402,0182 0,91431944522-23 0,922251 0,159037 1,20833 2,28961822-24 0,676724 1,504126 0,055939 11,52451 0,015727 1,034989 14,8120222-31 0,084434 0,08443422-32 0,051492 0,051492 0,051492 0,335893 0,49036822-33 0,051492 0,05149222-51 0,03315 0,0331523-11 0,171001 0,17100123-12 0,145233 0,145233 123-13 0,145233 0,145233 0,290466 0,523-21 1,87625 0,816785 0,116684 0,212267 3,021985 0,27028088923-22 0,116684 0,090848 0,116684 0,324215 0,35989501123-23 0,171001 0,106126 57,94869 1,407819 5,861227 65,49487 0,88478221923-24 0,212267 0,21226723-31 0,212267 0,21226723-32 0,904037 0,171001 0,051492 3,933451 5,0599823-42 0,066832 0,066832 123-51 0,03315 0,03315 124-11 2,154551 0,145233 0,145233 0,145233 2,590249 0,05606909124-12 0,096932 0,145233 0,145233 0,145233 0,532631 0,27267075624-13 0,145233 0,145233 0,145233 0,145233 0,580932 0,2524-21 22,92242 2,608935 1,253714 0,116684 1,62828 28,53004 0,00408984824-22 20,4418 0,116684 3,569956 2,734484 26,86293 0,00434366424-23 2,642819 1,32141 1,580977 5,54520624-24 1,431658 1,153507 11,00196 10,85721 7,956806 642,7497 5,917388 10,36441 691,4326 0,92959119524-31 1,388629 8,274969 1,732416 11,3960124-32 0,051492 6,869201 1,127963 0,051492 14,81842 22,9185724-51 0,03315 0,03315 0,132598 0,03315 0,03315 0,265196 0,531-13 0,076656 0,459939 0,076656 0,613252 0,7531-14 0,076656 0,07665631-21 0,072433 0,072433 131-22 0,072433 0,07243331-23 5,377373 5,37737331-24 8,918707 8,91870731-31 0,765979 0,765979 0,5184 11,09577 1064,963 4,505318 0,075222 43,05258 1125,742 0,94600961331-32 0,613624 5,33065 13,52467 0,466368 37,09498 0,466368 57,49666 0,23522531931-33 0,466368 0,466368 0,932736 1,231153 0,466368 3,562993 0,26178438831-51 0,0266 0,026632-12 0,076656 0,076656 0,076656 0,153313 0,383282 0,432-13 0,94465 0,153313 0,076656 0,076656 0,613252 0,076656 1,941184 0,31591619732-21 6,622208 0,089054 4,227975 0,217298 0,072433 0,27289 0,257828 11,75968 0,018478232-22 0,072433 0,836467 0,053592 0,072433 0,072433 0,434596 0,072433 1,614385 0,26920194832-23 0,065994 22,22451 0,072433 0,072433 0,072433 2,00778 24,51559 0,00295455332-24 4,185774 11,92526 0,959723 17,0707632-31 0,007189 0,51236 1,223208 27,32948 0,466368 1,865472 3,76391 35,16799 0,05304459132-32 0,026184 6,129546 2,698445 4,188395 36,83507 13,21777 0,085059 1050,482 5,900135 1119,562 0,93829677732-33 0,466368 0,466368 0,466368 8,694557 1,865472 0,079983 4,652111 5,252902 21,94413 0,08501005732-51 0,0266 0,159598 0,186198 0,85714285732-52 2,909703 2,90970333-12 0,0863 0,086333-14 0,058744 0,0863 0,14504433-21 0,0863 0,086333-23 0,090397 0,114501 0,20489833-24 0,531373 0,072433 0,090397 0,694203 0,10433928733-31 0,41706 0,101969 0,51902933-32 0,932736 0,466368 17,21904 0,932736 0,156258 19,70714 0,04732984333-33 0,155827 6,924549 19,54832 0,466368 104,9302 0,318029 132,3433 0,79286380833-42 0,090397 0,09039733-51 0,090397 0,07821 0,16860733-52 0,757252 0,75725241-23 0,020004 0,02000441-24 0,055962 0,039069 0,09503141-32 0,018994 0,01899441-41 0,065762 3,849277 0,065762 3,9808 0,96696064541-42 0,186584 1,624197 1,81078141-51 0,039069 0,065762 0,1048342-21 0,141024 0,14102442-41 0,213319 0,21331942-42 0,114455 0,030706 8,894547 9,039707 0,98394187551-13 0,041446 0,04144651-21 0,022977 0,066832 0,08980951-22 0,061502 0,06150251-24 0,039288 0,24684 0,025392 0,3115251-31 0,066222 0,06622251-32 0,206015 0,20601551-33 0,535345 0,031996 0,56734151-51 0,196064 0,270196 38,63841 39,10467 0,98807660351-52 0,157571 0,15757152-42 0,274382 0,068054 0,34243652-51 0,030243 0,03024352-52 0,129706 10,00321 10,13291 0,987199535Total 117,063 49,53827 0,245359 0,776681 15,11725 0,081786 0,029569 0,27558 0,065994 7,996068 0,512355 0,153313 954,1102 3,270191 0,102983 0,066299 0,145233 0,290466 0,868276 409,6615 0,051492 0,145233 0,145233 0,145233 0,816785 0,116684 119,887 0,066832 0,133131 1,398947 0,148094 0,290466 0,116684 0,189116 824,1137 0,051492 0,225497 0,536595 0,072433 1,223208 1136,584 19,48058 0,932736 0,229969 0,916927 0,362163 1,469585 0,144865 0,466368 2,543613 1243,217 2,849699 0,252497 0,072433 1,012719 116,9805 0,018994 10,1415 11,36109 0,031996 39,95587 10,34537 5109,615

Prod_accuracy 0,907728 0,772447 1 0,842418 0,793397 1 1 0,227831 0,861546 0,850384 0,928239 0,892024 0,5 0,5 0,5 0,940697 0,89726 1 1 1 1 0,483361 1 0,248999 0,103816 0,980681 0,5 1 0,616994 0,779928 0,588027 0,857143 1 0,936986 0,694264 1 0,666667 0,668812 0,6 0,295727 0,5 0,733395 0,84497 0,654621 0,632079 1 0,921021 0,896989 0,379557 0,782896 0,967027 0,966926 0,866613098



Table 156: Confusion matrix CLCCH2012-2018 for Mediterranean region – PLAUSIBILITY ANALYSIS -In column the validation and line the production


CLCC_Lvl2 11-11 12-12 12-24 13-11 13-12 13-13 13-14 13-21 13-23 13-24 13-32 13-33 13-51 14-14 21-12 21-13 21-21 21-22 21-23 21-24 21-32 21-51 22-12 22-13 22-21 22-22 22-24 22-32 23-11 23-12 23-13 23-21 23-22 23-23 23-32 23-42 23-51 24-11 24-12 24-13 24-21 24-22 24-24 24-32 24-51 31-13 31-21 31-22 31-31 31-32 31-33 32-12 32-13 32-21 32-22 32-23 32-24 32-31 32-32 32-33 32-51 33-24 33-32 33-33 33-41 41-21 41-41 42-42 51-32 51-51 52-52 Total User_accuracy11-11 106,7806 106,7806 111-12 0,003883 0,040454 0,04433711-13 0,031787 0,03178711-14 0,003883 0,00388311-21 0,864702 0,018231 0,88293311-22 0,077204 0,07720411-24 0,009725 0,041633 0,05135812-11 0,064158 0,032214 0,092366 0,18873812-12 0,138024 38,2657 0,010009 0,092886 0,006098 0,056306 0,115065 0,178028 38,86212 0,98465301912-13 0,141753 0,006157 0,153086 0,045899 0,34689512-21 0,203313 0,040392 1,218955 1,46265912-22 0,049089 0,080065 0,12915412-23 0,045899 0,063013 0,10891212-24 0,002861 0,002861 0,057489 0,008486 0,07169812-31 0,065309 0,06530912-32 0,022621 0,021646 0,04426712-42 0,011342 0,01134213-11 1,005029 0,302641 0,003986 1,311656 0,23073180513-12 1,310323 0,755136 0,016115 0,018975 0,009725 0,020266 0,081786 0,081786 0,111812 2,405925 0,31386520213-13 0,127856 11,99397 0,22566 0,006391 0,221674 0,107596 12,68315 0,94566199713-14 0,060341 0,081786 0,551638 0,693765 0,11788751313-21 0,008486 0,121935 0,092366 0,074319 0,341419 0,056058 0,694583 0,17555177813-22 0,264077 0,053289 0,063181 0,38054713-23 0,029569 0,085627 0,405429 0,053289 0,206985 0,512893 0,545553 0,029569 0,581406 2,45032 0,0217476713-24 0,077204 0,029569 0,060341 0,148624 0,117596 0,433335 0,06823646213-31 0,041366 0,065309 0,595805 0,029163 0,73164413-32 0,056058 0,56524 0,037798 0,07142 0,207217 0,937733 0,60277221713-33 0,031393 0,03755 0,031393 0,095552 0,19588713-42 0,01849 0,0184913-51 0,634684 0,02119 0,107596 0,436156 1,19962614-11 0,156381 0,074753 0,077204 0,30833914-12 0,280402 0,28040214-13 0,020284 0,02028414-14 0,265033 0,027529 6,963735 0,019692 0,01225 7,288238 0,95547570114-21 0,092366 0,019623 0,11198914-24 0,060634 0,06063414-31 0,019623 0,01962314-32 0,304215 0,030206 0,33442221-11 4,558836 4,55883621-12 0,435699 0,435699 121-21 887,4715 6,84814 33,29029 0,096626 1,8556 929,5622 0,95471991321-22 0,767356 2,971245 3,962918 7,701519 0,38579984921-23 0,74249 5,911726 6,654216 0,11158194821-24 3,828681 0,07274 2,583306 12,32888 0,018203 18,83181 0,00386262321-32 0,051492 0,051492 0,864112 0,967096 0,05324367721-33 0,051492 0,292193 0,34368521-41 0,066832 0,06683221-51 0,03315 0,066299 0,099449 0,33333333322-11 2,57935 2,5793522-12 1,20833 0,145233 1,353563 0,10729673422-13 0,145233 0,145233 0,29046622-21 7,311026 0,816785 0,296513 0,202701 8,627025 0,09467745322-22 0,091904 1,895594 0,163987 0,244333 369,7023 0,044685 0,477194 22,33279 0,432995 6,632429 402,0182 0,91961579522-23 0,922251 0,159037 1,20833 2,28961822-24 0,820579 2,611856 0,055939 11,30792 0,015727 14,8120222-31 0,084434 0,08443422-32 0,051492 0,051492 0,051492 0,335893 0,49036822-33 0,051492 0,05149222-51 0,03315 0,0331523-11 0,171001 0,17100123-12 0,145233 0,145233 123-13 0,145233 0,145233 0,290466 0,523-21 0,287685 0,816785 1,705249 0,212267 3,021985 0,27028088923-22 0,116684 0,116684 0,090848 0,324215 0,35989501123-23 0,171001 0,063445 0,042681 57,94869 1,57882 5,690226 65,49487 0,88478221923-24 0,212267 0,21226723-31 0,212267 0,21226723-32 0,904037 0,222493 3,933451 5,0599823-42 0,066832 0,066832 123-51 0,03315 0,03315 124-11 2,154551 0,145233 0,145233 0,145233 2,590249 0,05606909124-12 0,096932 0,145233 0,145233 0,145233 0,532631 0,27267075624-13 0,145233 0,145233 0,145233 0,145233 0,580932 0,2524-21 15,6474 2,608935 1,253714 0,260539 8,759451 28,53004 0,00913209124-22 18,59751 0,116684 5,414247 2,734484 26,86293 0,00434366424-23 2,642819 2,902387 5,54520624-24 1,40126 1,153507 9,037275 10,97761 9,801097 644,2769 5,917388 8,867556 691,4326 0,93180001924-31 1,388629 8,274969 1,732416 11,3960124-32 0,051492 6,869201 1,127963 0,051492 14,81842 22,9185724-51 0,03315 0,165748 0,03315 0,03315 0,265196 0,62531-13 0,076656 0,459939 0,076656 0,613252 0,7531-14 0,076656 0,07665631-21 0,072433 0,072433 131-22 0,072433 0,07243331-23 5,377373 5,37737331-24 8,918707 8,91870731-31 0,765979 0,765979 0,5184 10,73093 1072,185 4,505318 0,075222 36,19498 1125,742 0,95242533731-32 0,976374 0,613624 6,399514 14,06684 0,171187 34,80275 0,466368 57,49666 0,24465486231-33 0,466368 0,932736 0,932736 0,764785 0,466368 3,562993 0,26178438831-51 0,0266 0,026632-12 0,076656 0,076656 0,076656 0,153313 0,383282 0,432-13 0,94465 0,153313 0,076656 0,076656 0,076656 0,536595 0,076656 1,941184 0,27642667232-21 6,606645 0,089054 4,227975 0,217298 0,072433 0,288453 0,257828 11,75968 0,018478232-22 0,072433 0,836467 0,053592 0,072433 0,072433 0,434596 0,072433 1,614385 0,26920194832-23 0,065994 22,22451 0,072433 0,072433 0,072433 2,00778 24,51559 0,00295455332-24 4,185774 11,92526 0,959723 17,0707632-31 0,007189 0,528981 1,223208 26,25523 0,896984 2,792055 3,464345 35,16799 0,07939194732-32 6,129546 2,630679 4,188395 36,83507 10,57655 0,067766 0,085059 1055,23 0,024283 3,794429 1119,562 0,94253845832-33 0,466368 3,376071 0,466368 5,202752 2,798208 4,381461 5,252902 21,94413 0,12751508532-51 0,0266 0,159598 0,186198 0,85714285732-52 2,909703 2,90970333-12 0,0863 0,086333-14 0,058744 0,0863 0,14504433-21 0,0863 0,086333-23 0,090397 0,114501 0,20489833-24 0,531373 0,072433 0,090397 0,694203 0,10433928733-31 0,039744 0,377316 0,101969 0,51902933-32 0,932736 0,466368 17,13676 1,015015 0,156258 19,70714 0,05150491833-33 0,155827 6,924549 19,05896 0,466368 105,4196 0,318029 132,3433 0,79656142333-42 0,090397 0,09039733-51 0,090397 0,07821 0,16860733-52 0,757252 0,75725241-23 0,020004 0,02000441-24 0,055962 0,039069 0,09503141-32 0,018994 0,01899441-41 0,065762 3,849277 0,065762 3,9808 0,96696064541-42 0,186584 1,624197 1,81078141-51 0,039069 0,065762 0,1048342-21 0,141024 0,14102442-41 0,122175 0,091144 0,21331942-42 0,114455 0,030706 8,894547 9,039707 0,98394187551-13 0,041446 0,04144651-21 0,007189 0,066832 0,015788 0,08980951-22 0,061502 0,06150251-24 0,24684 0,06468 0,3115251-31 0,066222 0,06622251-32 0,206015 0,206015 151-33 0,535345 0,031996 0,56734151-51 0,196064 0,270196 38,63841 39,10467 0,98807660351-52 0,157571 0,15757152-42 0,274382 0,068054 0,34243652-51 0,030243 0,03024352-52 0,129706 10,00321 10,13291 0,987199535Total 117,0086 47,60933 0,040392 0,302641 0,933585 14,61081 0,081786 0,18538 0,053289 0,029569 1,188141 0,037798 0,065994 8,121842 0,512355 0,153313 942,5647 3,324348 0,74249 0,07274 0,051492 0,066299 0,290466 0,221889 1,152353 411,9112 0,044685 0,051492 0,145233 0,145233 0,145233 1,158203 0,116684 129,2009 0,051492 0,066832 0,099982 1,398947 0,148094 0,30019 0,260539 0,189116 831,7311 0,051492 0,258647 0,536595 0,072433 1,223208 1140,767 20,91973 0,932736 0,229969 0,840271 0,427925 0,502362 0,163068 0,466368 3,175015 1230,228 3,782435 0,252497 0,072433 1,060944 115,0557 5,252902 0,018994 4,505262 11,74443 0,206015 39,93535 10,34537 5109,615

Prod_accuracy 0,912588 0,803744 1 0,808856 0,820897 1 0,657757 1 1 0,475734 0,857408 0,850384 0,94155 0,893783 1 1 1 0,5 0,5 0,708797 0,897529 1 1 0,705217 1 0,448516 1 0,331557 0,103816 0,980681 0,483803 1 0,616994 0,774622 0,640827 0,857143 1 0,939881 0,672419 1 0,666667 0,638598 0,507795 0,865105 0,444186 0,879383 0,857752 0,73979 0,632079 1 0,956709 0,916248 0,854396 0,757342 1 0,967524 0,966926 0,871121451



Bio-geographical region PAN- Pannonian - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 157: Confusion matrix CLCCH2012-2018 for Pannonian region – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-12 21-13 21-21 21-22 21-51 22-21 22-22 22-23 23-13 23-21 23-22 23-23 23-32 24-24 31-31 31-32 32-13 32-23 32-31 32-32 33-33 41-23 41-41 51-51 Total User_accuracy11-11 28,087 0,005278 28,09228 0,99981212511-24 0,014061 0,01406112-11 0,035002 0,03500212-12 0,008833 4,575117 0,020103 4,604053 0,99371496412-21 0,00344 0,049097 0,00344 0,05597612-23 0,019738 0,003266 0,02300412-24 0,020103 0,083252 0,020103 0,12345812-31 0,005614 0,00561412-32 0,023004 0,02300412-51 0,014061 0,01406113-11 0,16383 0,1638313-12 0,125547 0,163572 0,005194 0,025123 0,319437 0,51206523813-13 0,758514 0,00798 0,012282 0,778776 0,97398195513-21 0,142233 0,14223313-23 0,055382 0,05538213-31 0,037405 0,03740513-32 0,062786 0,003266 0,003266 0,069317 0,90577604513-51 0,02119 0,0211914-11 0,083995 0,08399514-14 0,015278 1,715411 0,059079 1,789769 0,9584540814-24 0,072771 0,07277114-51 0,072771 0,07277121-12 0,145233 0,145233 121-13 0,290466 0,145233 0,145233 0,580932 0,521-21 0,008308 0,007388 319,9139 0,036944 0,021324 4,129678 324,1175 0,98703050521-22 0,116684 0,466734 0,213907 0,797324 0,5853755721-23 0,147692 4,15028 4,29797121-24 0,163657 9,23996 9,40361721-51 0,066299 0,008308 0,074607 0,88864893422-21 0,898272 0,466734 0,122294 0,116684 0,067123 1,671107 0,27929641622-22 0,14633 0,060174 9,450088 0,11519 9,771782 0,96707924922-24 0,009587 0,773853 0,7834422-31 0,074402 0,07440222-32 0,067123 0,06712323-12 0,725905 0,72590523-13 0,004299 0,00429923-21 0,96594 0,466734 0,004299 1,436973 0,32480372223-22 0,116684 0,116684 123-23 0,806582 29,46939 0,580672 0,004299 30,86094 0,95490894323-24 1,161344 1,16134423-31 0,004299 0,00429923-32 0,051492 0,051492 0,810591 0,913574 0,05636295623-51 0,008308 0,00830824-11 0,605428 0,60542824-21 0,249291 0,006805 0,25609524-22 0,006805 0,00680524-24 1,210856 0,605428 0,612233 28,58177 0,697217 31,7075 0,9014197624-31 2,145812 2,14581224-32 0,163657 0,16365731-22 0,038326 0,03832631-31 90,30281 0,047645 90,35046 0,9994726631-32 0,039805 2,33184 0,466368 3,182131 6,020144 0,38733949532-12 0,015919 0,01591932-13 0,076656 0,076656 132-21 0,184666 0,037417 0,22208332-22 0,015919 0,01591932-23 0,532715 0,072433 0,605148 0,119694132-24 0,053336 0,05333632-31 4,65514 0,05785 3,264575 0,059099 8,036665 0,40621023832-32 0,886596 0,126816 0,684986 27,09217 28,79057 0,94100852632-41 0,015919 0,01591933-33 0,114331 0,114331 141-21 0,025066 0,02506641-23 0,161695 0,025066 0,186761 0,13421472741-32 0,161695 0,16169541-41 0,161695 0,039771 3,956963 0,020897 4,179327 0,94679449251-13 0,002903 0,00290351-21 0,002903 0,002903 0,00580651-24 0,002903 0,00290351-31 0,002903 0,00290351-41 0,008308 0,00830851-51 9,423126 9,423126 1Total 30,23033 5,473037 0,163572 0,768619 0,062786 2,400998 0,148673 0,290466 324,592 0,611967 0,066299 0,526908 10,00961 0,116684 0,145233 0,466734 0,168175 35,11374 0,051492 40,1912 102,9921 2,38969 0,076656 0,072433 3,730943 32,32705 0,114331 0,025066 3,98119 9,546292 606,8544

Prod_accuracy 0,9291 0,835937 1 0,986853 1 0,714458 0,976864 1 0,985588 0,762679 1 0,885797 0,944101 1 0,693821 0,839255 1 0,711145 0,876793 0,975792 1 1 0,875 0,838065 1 1 0,993915 0,987098 0,925276201



Table 158: Confusion matrix CLCCH2012-2018 for Pannonian region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-12 13-13 13-32 14-14 21-12 21-13 21-21 21-22 21-51 22-21 22-22 22-23 22-24 23-13 23-21 23-22 23-23 23-32 24-24 31-31 31-32 32-13 32-23 32-31 32-32 33-33 41-23 41-41 41-51 51-51 Total User_accuracy11-11 28,087 0,005278 28,09228 0,99981212511-24 0,014061 0,01406112-11 0,035002 0,03500212-12 4,58395 0,020103 4,604053 0,9956335812-21 0,00344 0,049097 0,00344 0,05597612-23 0,019738 0,003266 0,02300412-24 0,020103 0,083252 0,020103 0,12345812-31 0,005614 0,00561412-32 0,003266 0,019738 0,02300412-51 0,014061 0,01406113-11 0,16383 0,1638313-12 0,100961 0,188159 0,005194 0,025123 0,319437 0,58903340913-13 0,752276 0,00798 0,01852 0,778776 0,96597200613-21 0,142233 0,14223313-23 0,055382 0,05538213-31 0,037405 0,03740513-32 0,062786 0,003266 0,003266 0,069317 0,90577604513-51 0,02119 0,0211914-11 0,083995 0,08399514-14 1,73069 0,059079 1,789769 0,96699046614-24 0,072771 0,07277114-51 0,072771 0,07277121-12 0,145233 0,145233 121-13 0,435699 0,145233 0,580932 0,7521-21 0,007388 319,9473 0,011819 0,021324 4,129678 324,1175 0,98713365421-22 0,583418 0,213907 0,797324 0,73171946321-23 0,147692 4,15028 4,29797121-24 0,163657 9,23996 9,40361721-51 0,066299 0,008308 0,074607 0,88864893422-21 0,898272 0,533857 0,122294 0,116684 1,671107 0,3194632422-22 0,060174 0,060174 9,536244 0,11519 9,771782 0,97589605422-24 0,067123 0,716317 0,78344 0,08567730622-31 0,074402 0,07440222-32 0,067123 0,06712323-12 0,725905 0,72590523-13 0,004299 0,00429923-21 0,221611 0,630391 0,58497 1,436973 0,43869371923-22 0,116684 0,116684 123-23 0,167956 0,638626 29,46939 0,580672 0,004299 30,86094 0,95490894323-24 0,580672 0,580672 1,16134423-31 0,004299 0,00429923-32 0,051492 0,051492 0,810591 0,913574 0,05636295623-51 0,008308 0,00830824-11 0,605428 0,60542824-21 0,249291 0,006805 0,25609524-22 0,006805 0,00680524-24 1,210856 0,605428 0,612233 28,58177 0,697217 31,7075 0,9014197624-31 2,145812 2,14581224-32 0,163657 0,16365731-22 0,038326 0,03832631-31 90,34114 0,009319 90,35046 0,99989685331-32 0,076652 2,394238 0,506173 3,04308 6,020144 0,39770449632-12 0,015919 0,01591932-13 0,076656 0,076656 132-21 0,184666 0,037417 0,22208332-22 0,015919 0,01591932-23 0,532715 0,072433 0,605148 0,119694132-24 0,053336 0,05333632-31 3,894221 0,05785 3,980615 0,103979 8,036665 0,49530685732-32 0,493945 0,144661 28,15196 28,79057 0,97781890432-41 0,015919 0,01591933-33 0,114331 0,114331 141-21 0,025066 0,02506641-23 0,161695 0,025066 0,186761 0,13421472741-32 0,161695 0,16169541-41 0,039771 0,161695 3,956963 0,020897 4,179327 0,94679449251-13 0,002903 0,00290351-21 0,002903 0,002903 0,00580651-24 0,002903 0,00290351-31 0,002903 0,00290351-41 0,008308 0,00830851-51 9,423126 9,423126 1Total 30,20622 5,455682 0,208262 0,762381 0,062786 2,416276 0,145233 0,435699 322,2106 0,583418 0,066299 0,594032 10,10897 0,116684 0,067123 0,145233 1,269017 0,168175 36,43005 0,051492 39,30063 102,1154 2,452088 0,095177 0,072433 4,640769 32,99909 0,114331 0,025066 3,972882 0,008308 9,554599 606,8544

Prod_accuracy 0,929842 0,840216 0,903472 0,986745 1 0,716263 1 1 0,992976 1 1 0,898702 0,943345 1 0,496755 0,693821 0,808931 1 0,72726 0,884697 0,976408 0,80541 1 0,857749 0,853113 1 1 0,995993 0,98624 0,929557992



Bio-geographical region STE – Steppic - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 159: Confusion matrix CLCCH2012-2018 for Steppic region – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-13 14-14 21-21 21-22 22-21 22-22 22-23 23-21 23-23 24-12 24-24 31-31 31-32 32-32 33-33 41-21 41-41 41-51 51-21 51-51 Total User_accuracy11-11 4,623297 4,623297 111-24 0,924659 0,92465912-12 1,58824 1,58824 113-13 0,015425 0,062472 0,077897 0,1980191514-11 0,011942 0,01194214-14 0,012072 0,012072 121-21 110,7265 110,7265 121-22 0,116684 0,116684 122-21 0,662866 0,116684 0,779549 0,14968072522-22 2,651464 0,662866 3,31433 0,822-23 0,116684 0,116684 123-21 0,350051 0,116684 0,466734 0,7523-23 2,173926 8,695705 2,173926 13,04356 0,66666666724-24 5,800402 5,800402 124-32 0,803698 0,80369831-31 12,44339 12,44339 131-32 0,466368 0,466368 132-31 0,299758 0,29975832-32 0,599517 0,327169 0,926686 0,35305290333-33 0,140418 0,140418 141-21 0,921417 0,009359 0,175463 0,200529 1,306767 0,13427228641-41 4,185088 4,185088 141-51 0,066832 0,066832 151-51 4,588331 4,588331 1Total 6,809165 1,58824 0,015425 0,012072 112,3108 0,116684 0,116684 2,651464 0,116684 0,350051 9,484613 0,062472 8,898988 13,34267 0,466368 1,130867 0,140418 0,175463 4,185088 0,066832 0,200529 4,588331 166,8299

Prod_accuracy 0,678981 1 1 1 0,985894 1 1 1 1 1 0,916822 0,651805 0,932602 1 0,289308 1 1 1 1 1 0,942314775



Table 160: Confusion matrix CLCCH2012-2018 for Steppic region – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 12-12 13-13 14-14 21-21 21-22 22-21 22-22 22-23 23-21 23-23 24-12 24-24 31-31 31-32 32-31 32-32 33-33 41-21 41-41 41-51 51-21 51-51 Total User_accuracy11-11 4,623297 4,623297 111-24 0,924659 0,92465912-12 1,58824 1,58824 113-13 0,015425 0,062472 0,077897 0,1980191514-11 0,011942 0,01194214-14 0,012072 0,012072 121-21 110,7265 110,7265 121-22 0,116684 0,116684 122-21 0,662866 0,116684 0,779549 0,14968072522-22 2,651464 0,662866 3,31433 0,822-23 0,116684 0,116684 123-21 0,350051 0,116684 0,466734 0,7523-23 13,04356 13,04356 124-24 5,800402 5,800402 124-32 0,803698 0,80369831-31 12,44339 12,44339 131-32 0,466368 0,466368 132-31 0,299758 0,299758 132-32 0,299758 0,299758 0,327169 0,926686 0,35305290333-33 0,140418 0,140418 141-21 0,921417 0,009359 0,175463 0,200529 1,306767 0,13427228641-41 4,185088 4,185088 141-51 0,066832 0,066832 151-51 4,588331 4,588331 1Total 4,635239 1,58824 0,015425 0,012072 112,3108 0,116684 0,116684 2,651464 0,116684 0,350051 13,83247 0,062472 6,725062 12,74315 0,466368 0,599517 1,130867 0,140418 0,175463 4,185088 0,066832 0,200529 4,588331 166,8299

Prod_accuracy 0,997424 1 1 1 0,985894 1 1 1 1 1 0,942967 0,862505 0,976477 1 0,5 0,289308 1 1 1 1 1 0,970173161



Bio-geographical region DOM – Oversea departments - Confusion matrix of CLCCH2012-2018 - Blind and plausibility analysis Table 161: Confusion matrix CLCCH2012-2018 for Oversea departments (Guadeloupe, French Guyana, Martinique, La Reunion, Mayotte) – BLIND ANALYSIS- In column the validation and line the production


CLCC_Lvl2 00 11-11 11-12 12-12 13-11 13-13 14-14 21-11 21-21 22-22 23-23 24-12 24-24 31-31 32-23 32-24 32-32 33-33 41-23 41-41 42-42 51-51 52-52 Total User_accuracy11-11 2,61046 0,005092 2,615553 0,9980531311-21 0,005092 0,00509211-24 0,005092 0,00509212-11 0,01365 0,0136512-12 0,323821 0,005092 0,006825 0,335738 0,96450421213-11 0,008707 0,008707 113-13 0,048119 0,048119 114-14 0,050413 0,050413 121-11 0,132553 0,132553 121-21 2,667072 0,132553 2,799625 0,95265317321-23 0,003449 0,003449 0,00689822-22 0,214123 0,49962 0,713743 0,723-22 0,006825 0,00682523-23 0,110781 0,896523 0,117606 1,124911 0,79697283324-11 0,169381 0,16938124-24 0,16235 4,653922 0,003449 4,819721 0,96559995924-32 0,169381 0,16938131-31 34,05947 34,05947 131-32 0,004333 0,00433331-52 0,020023 0,006674 0,02669832-23 0,004496 0,00449632-24 0,006825 0,00682532-31 0,165748 0,501741 1,445368 2,11285732-32 0,165748 0,004496 0,093768 0,004496 0,170244 3,703321 4,142073 0,89407428533-31 0,047 0,04733-33 0,047 0,698927 0,745927 0,93699083441-41 4,676151 4,676151 142-31 0,003055 0,00305542-42 0,031668 0,031668 151-51 0,045584 0,428878 0,474462 0,90392468852-31 6,239595 6,234796 12,4743952-52 0,11511 51,04762 51,16273 0,997750113Total 0,214123 3,240862 0,005092 0,323821 0,008707 0,048119 0,050413 0,132553 2,667072 0,638998 0,901615 0,16235 4,670336 40,96593 0,007945 0,177069 5,487173 0,744511 0,003449 4,676151 0,034723 0,547437 57,28909 122,9975

Prod_accuracy 0,805483 1 1 1 1 1 1 0,78188 0,994352 0,996486 0,83141 0,674905 0,938773 1 0,912027 0,783428 0,891053 0,8661738



Table 162: Confusion matrix CLCCH2012-2018 for Oversea departments (Guadeloupe, French Guyana, Martinique, La Reunion, Mayotte) – PLAUSIBILITY ANALYSIS- In column the validation and line the production


CLCC_Lvl2 11-11 11-12 12-12 13-11 13-13 14-14 21-11 21-21 22-22 23-23 24-12 24-24 31-31 32-23 32-24 32-32 33-33 41-23 41-41 42-42 51-51 52-52 Total User_accuracy11-11 2,61046 0,005092 2,615553 0,9980531311-21 0,005092 0,00509211-24 0,005092 0,00509212-11 0,01365 0,0136512-12 0,323821 0,005092 0,006825 0,335738 0,96450421213-11 0,008707 0,008707 113-13 0,048119 0,048119 114-14 0,050413 0,050413 121-11 0,132553 0,132553 121-21 2,667072 0,132553 2,799625 0,95265317321-23 0,003449 0,003449 0,00689822-22 0,713743 0,713743 123-22 0,006825 0,00682523-23 0,110781 0,896523 0,117606 1,124911 0,79697283324-11 0,169381 0,16938124-24 0,16235 4,653922 0,003449 4,819721 0,96559995924-32 0,169381 0,16938131-31 34,05947 34,05947 131-32 0,004333 0,00433331-52 0,020023 0,006674 0,02669832-23 0,004496 0,00449632-24 0,006825 0,00682532-31 0,165748 0,501741 1,445368 2,11285732-32 0,165748 0,004496 0,093768 0,004496 0,170244 3,703321 4,142073 0,89407428533-31 0,047 0,04733-33 0,047 0,698927 0,745927 0,93699083441-41 4,676151 4,676151 142-31 0,003055 0,00305542-42 0,031668 0,031668 151-51 0,045584 0,428878 0,474462 0,90392468852-31 6,239595 6,234796 12,4743952-52 0,11511 51,04762 51,16273 0,997750113Total 3,240862 0,005092 0,323821 0,008707 0,048119 0,050413 0,132553 2,667072 0,853121 0,901615 0,16235 4,670336 40,96593 0,007945 0,177069 5,487173 0,744511 0,003449 4,676151 0,034723 0,547437 57,28909 122,9975

Prod_accuracy 0,805483 1 1 1 1 1 1 0,836625 0,994352 0,996486 0,83141 0,674905 0,938773 1 0,912027 0,783428 0,891053 0,86791467

Validation of products - Copernicus Land Monitoring Service

Documents

Transcript of Validation of products - Copernicus Land Monitoring Service