Detectar la qualitat de les dades

Seguir

En aquest article, aprendreu sobre l'anàlisi de la qualitat de les dades realitzada per Detect. L'article està dividit en les següents seccions:

Què és Detectar la qualitat de les dades?

Detect és un producte que analitza grans quantitats de dades, de manera que la mala qualitat de les dades pot esdevenir fonamental per generar resultats de bona qualitat. En conseqüència, Detect avalua cada edifici amb detall per mantenir un estàndard mínim de qualitat de les dades. 

Suposem que hi ha una configuració incorrecta, que provoca problemes com ara la falta de dades rellevants o dades de consum inexactes. En aquest cas, l'edifici es descartarà i no generarà resultats a Detect ni s'utilitzarà per comparar-los amb altres edificis.

En altres casos, l'edifici s'acceptarà i generarà resultats a Detect. Tanmateix, l'acceptació no garanteix una qualitat de dades perfecta. Per tant, es realitza una anàlisi més detallada per identificar possibles advertències lleus o greus relacionades amb la qualitat de les dades.

Les seccions següents explicaran per què es pot descartar un edifici i es descriuen les categories de qualitat de les dades analitzades dins del programari.

 

Motius descartats

Quan un edifici es descarta, pot ser degut a dues causes:

Problemes amb la configuració del compte o les dades d'ubicació

Grup de qualitat de dades Error Descripció
Mesurador de referència Sense dispositiu elèctric de referència El dispositiu de referència elèctrica no s'ha configurat per a aquesta ubicació
Coordenades Sense coordenades La ubicació es descarta perquè no és possible recuperar les coordenades de la ubicació
Coordenades incorrectes La ubicació es descarta perquè el proveïdor de geolocalització no pot obtenir una adreça vàlida a partir de les coordenades configurades.
Dades meteorològiques No hi ha dades meteorològiques La ubicació es descarta si no és possible recuperar dades de graus-dia i/o temperatura.
Superfície Superfície incorrecta La superfície configurada era de <10m2 i amb les dades de consum disponibles, Detect no va poder estimar una nova superfície que donaria resultats de consum específics raonables.
Sense superfície La superfície configurada era de <10m2 i amb les dades de consum disponibles Detect no va poder estimar una superfície.
Alt consum específic amb mesos que falten El consum específic és massa elevat i falten dades
Superfície estimada (només si superfície d'ubicació = 1 m2) Baix consum específic sense perdre mesos Fins i tot sense que faltin dades, la ubicació es descarta perquè després d'imputar una superfície el consum específic és massa baix.
Alt consum específic sense perdre mesos Fins i tot sense que faltin dades, la ubicació es descarta perquè després d'imputar una superfície el consum específic és massa elevat.
Baix consum específic previst Després d'imputar la superfície per a aquesta ubicació i omplir els buits de dades, la ubicació es descarta perquè el consum específic és massa baix.
Alt consum específic previst Després d'imputar la superfície per a aquesta ubicació i omplir els buits de dades, la ubicació es descarta perquè el consum específic és massa elevat.

 

Problemes amb les dades de consum

Categoria Error Descripció
Buits de dades Sense lectures La ubicació es descarta si no té cap lectura d'energia activa.
Buits rellevants de les dades de consum, falten dades dels mesos inicials Aquest error es genera si falten dades en els mesos inicials del període de 12 mesos.
Buits rellevants de dades de consum, falten dades dels mesos mitjans

Aquest error es produeix si falten dades en els mesos mitjans del període de 12 mesos.

Buits rellevants de dades de consum, falten dades dels últims mesos Aquest error es genera si hi ha dades que falten en els últims mesos del període de 12 mesos.
Buits rellevants de dades de consum, falten dades d'alguns mesos Aquest error es produeix si falten dades distribuïdes durant el període de 12 mesos.
Buits rellevants de les dades de consum, no falten dades de mesos Aquest error es genera si falten dades però no sumen cap mes complet.
Valor de consum Consum inferior a un llindar definit Aquest error es planteja si el consum de 12 mesos (considerant el consum perdut estimat en buits) és inferior a 1500 kWh
Consum inferior a un llindar definit, falten dades de mesos d'inici Aquest error es planteja si el consum de 12 mesos és inferior a 1500 kWh perquè falten dades en els mesos inicials del període de 12 mesos.
Consum inferior a un llindar definit, falten dades dels mesos mitjans Aquest error es planteja si el consum de 12 mesos és inferior a 1500 kWh perquè falten dades als mesos mitjans del període de 12 mesos.
Consum inferior a un llindar definit, falten dades dels últims mesos Aquest error es planteja si el consum de 12 mesos és inferior a 1500 kWh perquè falten dades en els últims mesos del període de 12 mesos.
Consum inferior a un llindar definit, falten dades d'alguns mesos Aquest error es planteja si el consum de 12 mesos és inferior a 1500 kWh perquè falten dades en mesos distribuïts del període de 12 mesos.
Consum inferior a un llindar definit, no falten dades de mesos Aquest error es planteja si el consum de 12 mesos és inferior a 1500 kWh perquè falten dades però no falta un mes concret.

 

Avisos de qualitat de les dades

Entre les ubicacions acceptades, Detect cerca avisos de qualitat de dades lleus i greus. S'analitzen en les següents categories:

  • Dades externes: relacionades amb dades meteorològiques i festius.
  • Metadades: relacionades amb la configuració del compte.
  • Superfície: relacionat amb valors vàlids per a la superfície configurada.
  • Geolocalització: Relacionat amb les coordenades.
  • Dades mensuals: relacionades amb mancances de dades o valors de consum extrems.
  • Dades horàries: relacionades amb mancances de dades o valors de consum extrems.

Per a cada categoria, Detect analitza diversos paràmetres i després classifica tots els edificis acceptats en "sense avisos", "amb avisos lleus" o "amb avisos greus".

A la secció següent hi ha més detalls sobre els avisos disponibles:

Advertències - Dades externes

Concepte Descripció Tipus d'avís (lleu/sever)
Dades d'una única estació meteorològica Es converteix en un avís si les dades provenen de diverses estacions meteorològiques lleu
Dades d'una estació meteorològica propera Es converteix en un avís si les dades provenen d'una estació meteorològica lluny de l'edifici
  • lleu si es troba entre 25 i 50 km de distància
  • Sever si és més de 50 km

 

Advertències - Metadades

Concepte Descripció Tipus d'avís (lleu/sever)
Preus configurats Es converteix en un avís si els preus no estan configurats lleu
Corregir l'activitat configurada Es converteix en un avís si l'activitat està configurada com a "Altres" lleu
Sector configurat correctament Es converteix en un avís si el sector està configurat com a "Altre" lleu
Corregir les temperatures de referència configurades Es converteix en un avís si no es configura la temperatura de referència per al càlcul de graus dies lleu
Preus amb moneda Es converteix en un avís si la moneda dels preus de l'electricitat no està disponible lleu

 

Advertències - Superfície

Concepte Descripció Tipus d'avís (lleu/sever)
Superfície configurada Es converteix en un avís si la superfície no s'ha configurat lleu
Superfície configurada dins del rang (no massa baixa) Es converteix en un avís si la superfície és més baixa del que s'esperava lleu
Superfície configurada dins del rang (no massa alta) Es converteix en un avís si la superfície és més alta del previst lleu
Superfície configurada amb un valor vàlid (superior a zero) Es converteix en un avís si la superfície és zero o negativa lleu

 

Avisos - Geolocalització

Concepte Descripció Tipus d'avís (lleu/sever)
Amb codi postal Es converteix en un avís si no hi ha cap codi postal lleu
Codi postal i coordenades coherents Es converteix en un avís si el codi postal i les coordenades no coincideixen lleu
Codi postal correcte Es converteix en un avís si el codi postal configurat no coincideix amb el format esperat per al seu país. lleu
País i coordenades coherents Es converteix en un avís si el país i les coordenades no coincideixen lleu

 

Avisos - Dades mensuals

Concepte Descripció Tipus d'avís (lleu/sever)
Consum mensual complet

Es converteix en un avís si falten valors de consum mensuals
  • lleu si falta algun valor
  • Sever si falten més del 50% dels valors
Consum mensual sense llacunes inicials Es converteix en un avís si falten els valors de consum mensual al començament del període
  • lleu si falta algun valor
  • Sever si falten més de 3 mesos de valors
Consum mensual sense buits mitjans Es converteix en un avís si falten els valors de consum mensuals a la meitat del període
  • lleu si falta algun valor
  • Sever si falten més de 3 mesos de valors
Consum mensual sense acabar amb llacunes Es converteix en un avís si falten els valors de consum mensuals al final del període
  • lleu si falta algun valor
  • Sever si falten més de 3 mesos de valors
Consum mensual amb valors vàlids (sense valors negatius) Es converteix en un avís si hi ha valors de consum mensuals negatius Sever
Consum mensual amb valors vàlids (sense zeros) Es converteix en un avís si els valors de consum mensual són 0
  • Lleu si hi ha algun valor 0
  • Sever si més d'1 mes de consum és 0
Consum mensual dins del rang (sense valors massa baixos) Es converteix en un avís si els valors de consum mensual es consideren massa baixos
  • lleu si hi ha valors baixos inesperats
  • Sever si més de 3 valors són inesperadament baixos
Consum mensual dins del rang (sense valors massa alts) Es converteix en un avís si els valors de consum mensual es consideren massa elevats
  • lleu si hi ha valors alts inesperats
  • Sever si més de 3 valors són inesperadament alts

 

Avisos: dades horàries

Concepte Descripció Tipus d'avís (lleu/sever)
Consum horari amb valors vàlids (sense zeros) Es converteix en un avís si els valors de consum horari són 0
  • Lleu si hi ha algun valor 0
  • Sever si més de 60 dies tenen valors 0 per hora
Consum horari sense llacunes inicials Es converteix en un avís si falten els valors de consum horari al començament del període
  • lleu si falta algun valor
  • Sever si falten més de 60 dies de valors per hora
Consum horari sense buits mitjans Es converteix en un avís si falten els valors de consum horari a la meitat del període
  • lleu si falta algun valor
  • Sever si falten més de 60 dies de valors per hora
Consum horari sense acabar amb llacunes Es converteix en un avís si falten els valors de consum horari al final del període
  • lleu si falta algun valor
  • Sever si falten més de 60 dies de valors per hora
Consum horari amb valors vàlids (sense valors negatius) Es converteix en un avís si hi ha valors de consum horari negatius
  • Lleu si hi ha algun valor negatiu
  • Sever si més del 5% dels valors horàries de l'any són negatius
Consum horari dins del rang (cap valors massa alts) Es converteix en un avís si els valors de consum horari es consideren massa elevats
  • lleu si hi ha valors alts inesperats
  • Sever si més del 5% dels valors horàries de l'any són inesperadament alts
Consum horari dins del rang (cap valors massa baixos) Es converteix en un avís si els valors de consum horari es consideren massa baixos
  • lleu si hi ha valors baixos inesperats
  • Sever si més del 5% dels valors horàries de l'any són inesperadament baixos
Les consumicions horàries i mensuals coincideixen Es converteix en un avís si hi ha un desajust entre els valors de consum horari i mensual que falten
  • Lleu si la diferència és superior a l'1%
  • Sever si la diferència és superior al 50%
Consum horari sense valors repetits Es converteix en un avís si hi ha massa valors de consum horari repetits

Sever

 

Qualitat de les dades a la IU

A la vista de cartera de Detect, hi ha tres seccions diferents relacionades amb la qualitat de les dades:

 

detect-data-quality-1.png

Resum de l'estat de la cartera

La vista de resum de l'estat de la cartera mostra un resum de l'estat de la qualitat de les dades del compte, mitjançant un gràfic circular i barres apilades.

El gràfic circular mostra el nombre d'ubicacions que s'han descartat en vermell; i dels que s'han acceptat, la distribució entre els que no tenen cap avís (en verd, 0 a la captura de pantalla següent), els que tenen avisos lleus (en groc) i els que tenen avisos greus (en taronja).

Les barres apilades mostren la distribució dels avisos entre cada categoria analitzada:

detect-data-quality-2.png

El nombre d'ubicacions descartades és el mateix en totes les categories, ja que es van descartar abans dede l'anàlisi d'avisos i, per tant, no pertanyen a cap categoria. Cada ubicació apareix una vegada a cada categoria.

 

Estat detallat de la cartera

La secció detallada d'estat de la cartera enllaça a una taula que inclou totes les ubicacions del compte amb tots els motius possibles de descart o anàlisi d'advertiments:

detect-data-quality-3.png

 

Descripció d'errors i advertències

Aquesta secció mostra els conceptes analitzats dins de cada categoria per a les ubicacions acceptades. Com a exemple, la categoria de consum horari:

detect-data-quality-4.png

Utilitzant com a exemple la primera fila, "Consum horari amb valors vàlids (sense zeros)":

  • 57 ubicacions d'aquest compte tenen un consum horari vàlid sense zeros
  • 4 tenen avisos lleus (tenen alguns zeros en el seu consum)
  • 2 tenen avisos greus (molts zeros dins del seu consum).

 

Qualitat de les dades en quadres de comandament

Per comprovar els ginys preparats per detectar la qualitat de les dades, consulteu aquest article

Trobeu que l'article ha estat útil?