http://www.coe.int/02/Logo/Pictures/coupled_logos/cepej_coe.jpg

Comisia Europeană pentru Eficiența Justiției

CONSILIUL EUROPEI

Strasbourg, 6 decembrie 2013

CEPEJ(2013)15

COMISIA EUROPEANĂ PENTRU EFICIENȚA JUSTIȚIEI

(CEPEJ)

LISTĂ DE CRITERII PENTRU ÎNDRUMAREA INSTANȚELOR ÎN CADRUL SONDAJELOR PRIVIND NIVELUL DE SATISFACȚIE A UTILIZATORILOR INSTANȚELOR

Aprobată de CEPEJ la cea de-a 22-a ședință plenară a acesteia (5-6 decembrie 2013)

Document elaborat pe baza unui raport de către

Fabio Bartolomeo și Roberto Calabrese

(Italia)


SONDAJE PRIVIND NIVELUL DE SATISFACȚIE AL CLIENȚILOR ADRESATE UTILIZATORILOR INSTANȚEI

LISTĂ DE VERIFICARE PENTRU ÎNDRUMAREA INSTANȚEI

de Fabio Bartolomeo și Roberto Calabrese

Italia

Acest instrument este conceput pentru a fi utilizat de echipele de specialiști și persoane cu experiență în realizarea sondajelor privind nivelul de satisfacție al clienților adresate utilizatorilor instanțelor, care pot ajuta statele membre ale Consiliului Europei în evaluarea organizării unor astfel de sondaje înainte de implementarea acestora. La fel ca și celelalte documente și manuale elaborate de Grupul de lucru al CEPEJ privind calitatea justiției (GT-QUAL), acest instrument nu este o simplă listă de verificare pentru efectuarea unei duble verificări a ceea ce s-a realizat la amplasamentul proiectului și a ceea ce nu s-a realizat, ci, mai degrabă, un îndrumar complet menit să sprijine echipa de evaluatori inter pares în organizarea de sesiuni de formare în beneficiul persoanelor care vor să efectueze sondaje privind nivelul de satisfacție al clienților.

ÎNAINTE DE REALIZAREA SONDAJULUI

Articol

Activitate

1.

üExistă un coordonator de proiect sau o persoană de referință responsabilă de conducerea și coordonarea tuturor activităților în fiecare etapă?

Se recomandă să se identifice o persoană cu putere de decizie care este membră a grupului de lucru, contribuind în acest fel la asigurarea îndeplinirii corespunzătoare a sondajului și la realizarea obiectivelor acestuia.

2.

üToate echipele și persoanele necesare pentru realizarea sondajului au fost implicate în organizarea proiectului?

O lecție de bază învățată pe baza sondajelor de succes realizate în Europa este cea a implicării a cât mai multor părți interesate din sectorul justiției. Lista de mai jos include exemple raportate de părți interesate din sectorul justiției care ar trebui implicate în organizarea unui sondaj privind nivelul de satisfacție al utilizatorilor instanței:

   Președintele instanței și/sau procurorul șef

   Magistrații

   Membrii personalului

   Reprezentanții asociației baroului/avocații

   Reprezentanți ai universității

   Societăți private sau echipele de persoane care se vor ocupa de realizarea operațională a interviurilor

   Ministerul de Justiție sau altă autoritate națională de administrare a instanțelor

3.

üA fost înființat deja un grup de lucru?


Este necesar să se înființeze un grup de lucru care să includă persoane cu diferite competențe care vor lucra mai mult sau mai puțin intens, în funcție de etapele proiectului. Pe lângă persoanele cu expertiză specifică în aspectele care fac obiectul analizei, pot fi implicați mai mulți profesioniști de care este nevoie în una sau mai multe etape ale activității de cercetare. Ca exemplu ilustrativ, persoanele indicate mai jos pot fi implicate în principalele etape ale proiectului:

Etapele sondajului

Competențe/Profesioniști

Definirea obiectivului

Definirea grupului țintă

Definirea eșantionului

Elaborarea chestionarului

Analiza și procesarea datelor

Evaluarea rezultatelor

- Statisticieni

x

x

x

x

x

x

- Magistrați

x

x

x

x

- Avocați

x

x

x

x

- Reprezentanți ai mediului universitar

x

x

x

x

- Psihologi/sociologi

x

x

x

- Experți în comunicare

x

4.

üDacă sondajul vizează un teritoriu întreg sau întregul sistem judiciar și, prin urmare, implică mai mult de o instanță, a fost înființat un Comitet director care să se ocupe de coordonarea activității?

Este important ca organizația responsabilă de realizarea sondajului privind nivelul de satisfacție al clienților să fie adecvată dimensiunii/domeniului de aplicare al proiectului. Dacă investigația este realizată într-un număr mare de instanțe, atunci se recomandă înființarea unui comitet director sau de coordonare căruia să i se raporteze echipele specifice de lucru de la nivelul fiecărei instanțe.

Comitetul director coordonează eforturile și activitatea diferitelor echipe prin crearea de sinergii și evitarea suprapunerilor, în vederea asigurării organizării sondajului în cel mai eficient și mai eficace mod posibil.

În plus, Comitetul director coordonează gradul de coerență al proiectelor, oferă consiliere cu privire la strategia comună și se asigură că toate activitățile sunt relevante.

5.

üDomeniul de aplicare al proiectului a fost definit în funcție de obiectul analizei? (zona /teritoriul deservit, o instanță, mai multe instanțe de același tip, mai multe instanțe situate în același district geografic etc).

Această definiție propusă pentru domeniul de aplicare al proiectului face referire la delimitarea inițiativei și la identificarea elementelor sectorului judiciar care fac obiectul analizei? De fapt, deși acest sondaj este realizat în mod tipic în incinta unei instanțe, nu toate serviciile sunt neapărat supuse evaluării. Dacă instanța respectivă are jurisdicție asupra unui teritoriu întins, posibil cu alte sucursale sau funcții în diverse locații, este nevoie de o evaluare atentă a locului unde vor fi intervievați utilizatorii.

6.

üA fost elaborat un plan de proiect, cu indicarea activităților, documentelor, rezultatelor așteptate și a calendarului?

Un sondaj privind nivelul de satisfacție al clienților reprezintă o activitate destul de complexă care necesită organizarea oamenilor, timpului și resurselor. Definirea unui plan de proiect este o etapă obligatorie în gestionarea sondajului, în care se creează documentația necesară pentru asigurarea finalizării cu succes a proiectului. Planul include toate etapele care urmează să fie parcurse în vederea definirii, pregătirii, realizării și coordonării sondajului privind nivelul de satisfacție al clienților. În plus, planul de proiect definește în mod clar modul în care proiectul este implementat, monitorizat, controlat și finalizat.


7.

üA fost definit obiectivul sondajului? (monitorizarea nivelului de satisfacție al utilizatorilor, măsurarea performanțelor instanței, îmbunătățirea furnizării serviciilor, reformarea sistemului judiciar etc.)

Obiectivul proiectului constă din beneficiile pe care organizația preconizează să le câștige ca urmare a sondajului. Stabilirea unui obiectiv clar este importantă, având în vedere că realizarea sondajelor privind nivelul de satisfacție implică mult timp și eforturi. Se recomandă ca obiectivul sondajului că fie „tradus” (să se reflecte) printr-o întrebare specifică inclusă în chestionar. Un obiectiv care nu este clar sau care nu este bine definit sau măsurabil duce la o investigație confuză și inexactă.

8.

üA fost aleasă și evaluată metodologia sondajului? (observarea utilizatorilor, interviuri, chestionare etc.)

Liniile directoare ale CEPEJ referitoare la realizarea de sondaje privind nivelul de satisfacție acoperă metodologiile de bază care pot fi folosite pentru acest tip de activitate. Este important să se comunice echipei care sunt tehnicile de intervievare identificate și de ce.

9.

üDin grupul de lucru face parte și un statistician profesionist sau o persoană cu competențe tehnice (expert în realizarea acestui tip de sondaje)?

Existența unui statistician în cadrul echipei, în special a unuia cu expertiză în realizarea de sondaje, reprezintă în mod clar un avantaj pentru acest proiect. Acest aspect este în mod clar unul care trebuie discutat în timpul revizuirii.

10.

üA fost stabilit intervalul de eroare permis în estimarea variabilei țintă și a nivelului de încredere?

Pentru estimarea dimensiunii eșantionului este nevoie de doi parametri, care demonstrează două aspecte diferite. Primul parametru definește lățimea intervalului de încredere. Intervalul de eroare permis este un parametru mai sofisticat. În cazul unui sondaj bazat pe eșantioane aleatorii, nu există nicio garanție că respectiva cantitate estimată corespunde exact populației. Există întotdeauna o marjă de eroare care poate fi redusă, dar nu eliminată. Un nivel de încredere de 95 %, de exemplu, înseamnă că există o probabilitate de 95 % ca intervalul să conțină valoarea adevărată pentru populația respectivă. Asta înseamnă că există o probabilitate de 5 % ca eșantionul selectat să fie atât de extrem, încât datele obținute pe baza sa să nu reproducă adevărata valoare a populației.

11.

üMetodologia care stă la baza chestionarului a fost convenită de către membrii grupului de lucru?

üÎn caz contrar, ce altă metodologie a fost adoptată?

Chestionarul inclus în „Manualul pentru realizarea sondajelor privind nivelul de satisfacție adresate utilizatorilor instanțelor din statele membre ale Consiliului Europei” are la bază metodologia SERQUAL elaborată de Zeithaml, Parasuraman & Berry (1985). Acest cadru conceptual are la bază ideea că nivelul de calitate al unui serviciu se măsoară în raport cu decalajul dintre importanța asociată de client fiecărui element al serviciului și percepția efectivă a serviciului de care beneficiază același client. Calitatea serviciului are un nivel ridicat dacă percepția corespunde așteptărilor și invers, calitatea are un nivel scăzut dacă experiența nu se ridică la nivelul așteptărilor în cazul serviciului respectiv.

12.

üA fost analizat chestionarul de bază propus de CEPEJ?

üA fost acesta modificat sau adaptat nevoilor locale?

üDacă ați operat modificări, în ce constau acestea și de ce au fost făcute?

Acesta reprezintă cu siguranță unul dintre punctele cheie de discuție ale procesului de revizuire întrucât vizează chestionarul în sine. Este important să înțelegem cum este folosit chestionarul de bază prevăzut de liniile directoare ale CEPEJ și dacă a fost modificat, în ce fel a fost făcut acest lucru și de ce.

13.

üScala de răspuns a fost definită și evaluată? (de exemplu, de la 1 la 5, de la 0 la 10 etc.)

Scala tip Likert este o scală psihometrică utilizată în mod curent în cercetarea care folosește chestionarele. Aceasta este abordarea folosită pe scara cea mai largă pentru ajustarea răspunsurilor în cadrul analizei sondajelor, astfel că acest termen este folosit în mod interschimbabil pentru termenul de grilă de evaluare.

14.

üA fost definit grupul țintă? (de ex. toți utilizatorii unei anumite instanțe, anumiți utilizatori, precum victimele, persoanele implicate în procedura de divorț; profesioniști precum avocați etc.)

Este important să se identifice populația care urmează să fie intervievată în cadrul sondajului; de fapt, dacă eșantionarea aleatorie a fost realizată în mod corespunzător, sondajul va revela caracteristicile întregii populații.


15.

üAu existat categorii de participanți la sondaj care au creat probleme în ceea ce privește clasificarea acestora în cadrul grupului țintă?

üÎn caz afirmativ, de ce?

Există câteva categorii de persoane care pot fi tratate în mod diferit în funcție de țară. În unele țări, de exemplu, avocații pot fi considerați ca fiind utilizatorii finali; în acest caz, li se poate solicita să răspundă la același chestionar. În cadrul altor sisteme, aceștia pot fi considerați ca fiind un organism specializat; în acest al doilea caz, va fi nevoie de un chestionar personalizat care să le fie administrat.

16.

üS-a hotărât cine reprezintă unitatea statistică? (adică cine este subiectul de interes al sondajului)

üAceastă unitate poate fi intervievată conform sistemului judiciar?

Aceasta este o întrebare foarte simplă în ceea ce privește sectorul justiției pentru că unitatea statistică este de obicei o persoană fizică care vizitează instanța; totuși, în alte cazuri, situația ar putea fi mai complexă. De exemplu, dacă ținta ar fi avocații, unitatea de sondaj ar putea fi teoretic un cabinet de avocatură și avocații individuali ar reprezenta unități statistice.

17.

üCriteriul pentru selectarea eșantionului este unul aleatoriu?

Este foarte important să se sublinieze faptul că numai eșantionarea aleatorie permite obținerea unui rezultat reprezentativ pentru populația țintă. În cadrul eșantionării aleatorii, este necesar să se respecte reguli foarte specifice, astfel încât selectarea persoanelor care urmează să fie intervievate să fie absolut aleatorie.

18.

üA fost definită procedura de estimare și estimatorii?

Estimatorul este o funcție statistică care trebuie aplicată la datele eșantionului pentru a obține rezultate aplicabile întregii populații. În funcție de tipul de eșantionare adoptat, complexitatea estimatorului poate crește sau scădea.

19.

üDimensiunea eșantionului a fost calculată pe baza unei formule corespunzătoare?

Dimensiunea eșantionului urmează să fie stabilită pe baza unei funcții care depinde de eroarea permisă și de populația de referință (finită sau infinită). Altfel, în cazul existenței unor constrângeri legate de timp sau de buget, dimensiunea eșantionului poate fi definită independent de funcția corespunzătoare și apoi se va calcula eroarea asociată.

20.

üMetoda folosită pentru colectarea informațiilor este adecvată scopului?

Liniile directoare ale CEPEJ pentru realizarea sondajelor privind nivelul de satisfacție acoperă metodologiile de bază care pot fi folosite pentru acest tip de activitate (interviuri personale, interviuri telefonice, chestionar expediat prin poștă, cu completare automată, chestionare online etc.). Este important să se comunice echipei ce tehnici de intervievare au fost identificate și de ce.

21.

üCosturile sondajului au fost estimate?

üAceste costuri sunt acceptabile pentru organizația beneficiar?

Sondajele privind nivelul de satisfacție al clienților implică în principiu două tipuri de costuri: costuri directe și costuri indirecte.

Costurile directe sunt cele plătite direct pentru articolele și serviciile necesare, ca de exemplu pentru materialele care urmează să fie utilizate în cadrul sondajului sau pentru societatea externă care se ocupă de realizarea interviurilor.

Costurile indirecte sunt cele care nu generează cheltuieli directe, ci reprezintă timpul și resursele dedicate de instanță pentru proiect, ca de exemplul timpul utilizat de persoanele implicate (magistrați, personal etc.), folosirea spațiilor și materialelor instanței (săli, utilități, articole de papetărie etc.). Această analiză ar trebui să ajute grupul de lucru să se asigure că toate elementele de cost necesare au fost luate în considerare și evaluate.

22.

üChestionarul a fost testat pe teren?

Testarea efectivă a chestionarului înainte de lansarea oficială a sondajului este esențială pentru a vedea dacă acesta va funcționa în mod corespunzător într-o situație reală. În timpul testării în teren există posibilitatea de a se identifica ceea ce nu funcționează, dacă întrebările sunt clare și ușor de înțeles etc. Testarea oferă posibilitatea efectuării de modificări și corecții la întrebări în timp util.

23.

üSondajul a fost promovat în mod adecvat în cadrul grupului țintă?


Se recomandă ca înainte de începerea interviurilor, această inițiativă să fie comunicată persoanelor care vizitează instanța. De exemplu, pe pereții incintei instanței pot fi puse afișe de promovare a sondajului. Această măsură simplă poate contribui foarte mult la sporirea disponibilității participanților de a lua parte la acest proiect.

24.

üAu fost selectați și instruiți intervievatorii cu privire la folosirea chestionarului?

Indiferent dacă intervievatorii sunt angajați ai instanței, studenți sau profesioniști de la o companie specializată externă, înainte de începerea activității în teren, se recomandă organizarea mai multor sesiuni motivaționale și de formare cu aceștia.

25.

üIntervievatorii au fost instruiți cu privire la tehnicile de abordare și desfășurare a dialogului cu persoanele aparținând grupului țintă?

Intervievatorii trebuie să fie instruiți cu privire la tehnicile de intervievare (modalitate de abordare, chestionar, încheierea interviului), comportament și bună conduită, ce trebuie să facă și ce nu trebuie să facă în timpul interviurilor și cu privire la fluxul de chestionar (întrebări screener, întrebări principale și întrebări demografice).

26.

üA fost adoptată o tehnică de prevenire a erorilor care nu sunt cauzate de eșantionare?

Trebuie luate măsuri în vederea corectării posibilelor erori de acoperire (una din cauzele acestor erori ar putea fi faptul că lista cetățenilor din care este ales eșantionul nu este actualizată). Prevenirea sau corectarea erorilor datorate non-răspunsurilor (ca de exemplu încercarea de a obține cooperarea celor care refuză să participe la interviu). Reducerea erorilor (înțelegerea întrebărilor, reformularea propozițiilor de către intervievatori, structura și formularea întrebărilor etc).

DUPĂ REALIZAREA SONDAJULUI

Articol

Activitate

27.

üA fost verificată calitatea chestionarelor finalizate?

Înainte de procesarea datelor din chestionare, este recomandabil să se aibă în vedere, cel puțin pentru eșantionul respectiv, calitatea chestionarelor (erori, inconsecvențe, date lipsă care ar putea fi recuperate etc.). În acest fel, în cadrul investigației aflate în curs de desfășurare, este posibil, pe de o parte, să corectăm comportamentele neconforme ale intervievatorilor și, pe de altă parte, să obținem informațiile lipsă care sunt dificil de recuperat într-o etapă ulterioară. Această operațiune contribuie de asemenea la creșterea calității datelor introduse în baza de date.

28.

üExistă un software sau o procedură de încărcare a chestionarelor finalizate?

Se recomandă crearea unei baze de date în care să fie introduse datele din chestionare. Baza de date trebuie să fie prevăzută cu sisteme automate de control al calității datelor (de ex. fiecare câmp devine disponibil numai atunci când întrebarea anterioară a fost completată cu un răspuns valid etc.).

29.

üS-a efectuat o activitate de control al calității cu privire la date? S Despre ce tip de activitate este vorba?

Este recomandabil să se aibă în vedere, cel puțin pentru un subeșantion de chestionare, calitatea datelor introduse prin verificarea încrucișată cu ajutorul chestionarelor de bază pe suport de hârtie.

30.

üCum au fost analizate rezultatele?

üCum au fost prezentate datele?

Pentru evaluarea rezultatelor, este important să se folosească metode analitice, diagrame și indicatori corespunzători în funcție de tipul variabilei. În plus, reprezentarea grafică trebuie să fie adecvată și eficace (tip adecvat de diagramă, folosirea culorilor, coerența scalei și a valorilor etc.)

31.

üAu fost organizate evenimente în vederea prezentării rezultatelor sondajului?

Comunicarea rezultatelor este importantă pentru succesul acestei inițiative, în special dacă avem în vedere faptul că instituția justiției este o instituție publică și că studiile privind nivelul de satisfacție al clienților sunt de interes pentru întreaga comunitate.


32.

üCum au fost aduse la cunoștința publicului rezultatele sondajului? (numai document pe suport de hârtie, comunicate de presă, site web etc.)

Se recomandă folosirea tuturor instrumentelor disponibile pentru diseminarea rezultatelor.

33.

üA existat oportunitatea organizării unei întâlniri cu conducerea instanței sau cu autoritatea competentă a administrației instanței în vederea punctării lecțiilor desprinse și a definirii modului de acțiune în vederea realizării de îmbunătățiri?

Este esențial ca pe lângă organizarea sondajului, instanțele să înființeze grupuri specifice responsabile de monitorizarea zonelor critice și de implementarea schimbărilor necesare care se impun în urma investigațiilor efectuate. Un proiect din care nu rezultă nicio activitate subsecventă este inutil; în plus, reprezintă o sursă de frustrare pentru clienți și pentru beneficiarii acestuia.

34.

Grupul de lucru a planificat organizarea unui sondaj viitor pentru a vedea cum se schimbă percepția utilizatorilor în timp?

Sondajele privind nivelul de satisfacție al clienților nu sunt concepute ca o experiență „singulară”, ci trebuie organizate anual sau odată la doi ani pentru a monitoriza evoluția percepției utilizatorilor și pentru a măsura reacțiile cetățenilor la reforme sau la schimbările organizaționale din cadrul unei anumite instanțe.