StatisticaStatisticile sunt folosite pentru măsurarea şi înţelegerea lumii. Sunt realizate de către guvern, partide politice, administraţie, Banca Angliei, campanii, în sondaje de opinie, cercetare socială, ş.a. Iată un scurt ghid pentru înţelegerea statisticilor.

 

 

Traducere după MakeSenseOfStatistics

 

Dar când dăm peste ştiri precum “Rata criminalităţii creşte din nou”, “Sondajele îi plasează pe conservatori cu 7 procente în faţă”, “Operaţia de inimă a unui copil întreruptă la spital după patru decese” sau “Gripa porcină ar putea ucide până la 120 de milioane de oameni”, cum ne dăm seama dacă putem să le credem şi la ce se referă cu adevărat?

Statisticile pot fi promovate şi făcute senzaţionale prin folosirea unei valori extreme pentru ca un subiect să sune mai dramatic sau prin raportarea unei creşteri relative a riscului fără să se includă valoarea absolută. Datele pot fi analizate şi prezentate în moduri diferite pentru a se susţine argumente contradictorii sau pentru a se ajunge la concluzii diferite, în mod deliberat sau din greşeală.

Dar în timp ce statisticile pot fi reprezentate greşit, ele pot şi să demonteze argumente.  Ştiind ce întrebări să punem, putem distinge între folosirea corectă şi cea incorectă a statisticilor. I-am rugat pe mai mulţi statisticieni, jurnalişti şi savanţi să ne spună cum înţeleg ei statisticile şi de ce capcane trebuie să ne ferim. Ne-au dat următoarele indicii:

•    Statisticile împrumută de la matematică un aer de precizie şi certitudine, însă apelează la judecata omului, deci sunt supuse prejudecăţilor şi părtinirii

•    Ştiind ce anume s-a măsurat şi cum, putem afla dacă un studiu răspunde într-adevăr întrebării adresate

•    Precum cuvintele, numerele şi statisticile au înţelesuri diferite în contexte diferite

•    Doar pentru că ceva este statistic semnificativ nu înseamnă că este practic semnificativ sau că prezintă importanţă pentru societate


Acest ghid nu se vrea a fi o lecţie de statistică, ci o sursă de întrebări pe care le poţi pune şi capcane pe care să le eviţi. Câteva cunoştinţe despre statistici te pot ajuta să testezi şi să demontezi argumente şi să fii mai aproape de înţelegerea a ceea ce cifrele vor să ne spună.

 




Secţiunea 1: Dacă o statistică este răspunsul, care a fost întrebarea?
Statisticile sunt produsul unor alegeri conştiente: ce se măsoară, cum se măsoară şi cum se exprimă rezultatele. Pentru a le înţelege trebuie să luăm în consideraţie alegerile făcute când a fost conceput studiul, să întrebăm cât de mare a fost eşantionul, cum a fost ales şi ce ipoteze au fost folosite pentru a se face proiecţii şi previziuni.

Secţiunea 2: Greşeli comune
Există mai multe tipuri de medii; fiecare poate da un răspuns diferit şi trebuie să aflăm de ce a fost folosit unul anume. Pentru a face o poveste mai dramatică, oamenii deseori folosesc cel mai extrem număr dintr-un set de valori posibile, aceasta fiind o valoare aberantă – valoare posibilă, dar puţin probabilă.

Secţiunea 3: Cat de siguri suntem?

Statisticienii verifică dacă un rezultat este în conformitate cu realitatea sau dacă este “statistic semnificativ”. Chiar dacă un rezultat este statistic semnificativ, nu înseamnă că este practic semnificativ sau important pentru societate. Intervalele de încredere dau scara de potenţiale incertitudini în numărarea, măsurarea sau observarea datelor. Doar pentru că a existat o serie de evenimente – decese la un spital, accidente pe şosea, remize la fotbal – nu înseamnă neapărat că ceva mai mult decât hazardul le-a cauzat.

Secţiunea 4: Procentaje şi riscuri; înţelegerea modificărilor relative şi absolute
Ca să înţelegem importanţa unei creşteri sau scăderi, trebuie să ştim atât modificarea absolută, cât şi pe cea relativă. Pentru a şti dacă o modificare a riscului e importantă pentru un individ, trebuie să ştim în primul rând care era riscul.



1. Dacă o statistică este răspunsul, care a fost întrebarea?

Statistica este o ştiinţă a colectării şi analizării datelor numerice. Statisticile sunt folosite pentru previziune (a vremii, a economiei), analiza evenimentelor trecute (rata criminalităţii a crescut sau a scăzut?) şi pentru luarea deciziilor (e nevoie de alt medicament pentru serviciul de sănătate?).

Statisticile sunt produsul unor alegeri conştiente: ce se numără şi cum se numără. Rezultatele iau de la matematică un aer de precizie şi certitudine. Însă alegerea a ce se numără şi cum depinde de aprecierea umană a celui mai bun mod de a obţine un răspuns pentru întrebare, fie că este vorba de conceperea şi efectuarea unui experiment, a unei expertize, a unui sondaj, studiu clinic, studiu observaţional sau recensământ.

“Cât de mare este diferenţa dintre salariile bărbaţilor şi femeilor? Potrivit Office for Naţional Statistics (ONS), este de 12,8%. Dar Government Equalities Office (GEO) spune că este de 23%. Iar Equality and Human Rights Commission (EHRC) spune că este de 17,1%. Diferenţele dintre aceste cifre apar din cauza folosirii unor metode diferite pentru producerea lor: ONS include doar angajaţii full-time, excluzând orele suplimentare şi lucrătorii part-time. GEO include angajaţii part-time, spunând că femeile lucrează part-time mai mult decât bărbaţii şi ar fi greşit să fie excluşi. EHRC foloseşte datele de la ONS, dar compară salariile medii, nu valorile mediane, justificând că bărbaţii sunt reprezentaţi prea mult la o extremă a gamei de salarii, iar femeile la cealaltă extremă. Trei cifre – toate corecte – dar întrebând care sunt termenii de comparaţie şi cum se calculează aflăm de ce există o diferenţă.”  Nigel Hawkes

O numărare completă poate fi prea complicată sau deloc practică – de exemplu, este imposibil să ştim numărul exact de imigranţi ilegali şi putem doar să estimăm numărul. Singurul moment în care se cer informaţii de la toată populaţia este în timpul recensământului, care are loc o dată la zece ani şi oferă cifre de la nivel naţional până la nivel de cartier. Şi nici măcar în timpul recensământului nu este numărată toată lumea.

Putem face afirmaţii în mod util despre un anumit grup sau despre populaţie folosind un eşantion. Dar selecţia eşantionului trebuie gândită cu grijă. Dacă vrem să aflăm la ce oră se trezesc londonezii, de exemplu şi realizăm sondajul în staţiile de metrou, la ora 7 dimineaţa, rezultatele nu vor răspunde în mod adecvat întrebării. Când este prezentat un studiu, statisticienii examinează ce s-a numărat şi cum, înainte de a evalua corectitudinea şi validitatea concluziilor.

Literary Digest a efectuat un studiu pentru alegerile prezidenţiale din 1936 din SUA. A trimis milioane de buletine de vot şi a primit două milioane înapoi; un eşantion uriaş, din care cei mai mulţi înclinau către candidatul republican Alf Landon. Dar adresele la care au fost trimise buletinele de vot erau luate dintr-un registru de adrese ale posesorilor de maşini şi dintr-o carte de telefoane: o selecţie părtinitoare, din moment ce în 1936 numai cei bine situaţi aveau maşini sau telefoane. Franklin D. Roosevelt, democrat, a câştigat cu majoritate zdrobitoare de voturi.

Nu există un număr magic care să îţi arate cât de mare trebuie să fie un eşantion pentru a se obţine rezultate valide. Depinde de ce informaţie vrei să obţii. Pentru un sondaj politic, un număr de 1.000 de oameni este considerat, de obicei, suficient. Totuşi, studiul unui medicament necesită câteva mii de participanţi pentru detectarea beneficiilor şi a efectelor secundare rare. Stabilirea mărimii eşantionului este o etapă centrală a ştiinţei statisticilor.

Pentru anticiparea evenimentelor viitoare, precum schimbările climatice sau de populaţie a lumii, sunt folosite modele statistice. Utilizarea modelelor pentru previziunea scenariilor viitoare înseamnă lansarea unor ipoteze, folosind dovezile existente. Aceste scenarii sunt discutabile, deoarece acelaşi model poate da rezultate diferite dacă se porneşte de la alte presupuneri.

Întotdeauna vor exista incertitudini în proiecţii. De exemplu, proiecţiile pentru numărul de decese cauzate de gripă porcină depind atât de rata mortalităţii, cât şi de numărul de oameni infectaţi. S-a dovedit că ambele au fost supraestimate şi numărul de decese a fost mult mai mic faţă de cel presupus.

Odată ce este făcută o proiecţie sau o previziune, aceasta ar putea duce la o intervenţie, ceea ce ar schimba cursul evenimentelor. Realitatea poate, deci, să devină diferită faţă de previziune. În acest caz, nu înseamnă că previziunea iniţială a fost greşită.

Cifrele nu sunt generate mereu de către modele sau studii; pot fi folosite şi datele administrative. Am putea folosi numărul de oameni care cer dreptul la şomaj, de exemplu, pentru a calcula câţi oameni sunt şomeri. În cazul acesta, cifra nu ar fi corectă nu din cauza greşelilor de proiectare şi efectuare a studiului, ci din cauză că am numărat câţi oameni şi-au cerut dreptul de şomaj, nu câţi erau şomeri.

Oricare ar fi statistica, trebuie să stabilim dacă este realistă în funcţie de ceea ce ştim deja. Atunci când s-a susţinut că în zece zone defavorizate din Marea Britanie 54% din adolescente aveau multe şanse să rămână gravide înainte de vârstă de 18 ani, nu a durat mult până când oamenii şi-au dat seama că nu putea fi adevărat – ar fi însemnat că mai mult de jumătate din adolescentele din acele zone erau gravide. Cifra reală era 5,4%.

Deciziile care se iau la colectarea datelor (cât de mare este eşantionul, cum este ales, cum sunt formulate întrebările, cum este conceput experimentul, dacă există un grup de control şi ipotezele care stau la baza unui model) afectează rezultatele. Această informaţie ne poate ajuta să vedem dacă un studiu a fost conceput pentru a se obţine un anumit răspuns, dacă nu ne poate da un rezultat definitiv sau dacă este greşit din punct de vedere tehnic.

Trebuie să reţinem că atunci când este citată o statistică, ea este răspunsul unei anumite întrebări. Primul pas către înţelegerea statisticii este cunoaşterea întrebării puse şi cum a fost aceasta formulată.

2. Greşeli comune

Modul în care datele statistice sunt rezumate sau prezentate poate conduce la concluzii greşite, chiar dacă statisticile sunt corecte. Rezultatele studiilor sunt cuprinse, de obicei, într-o singură cifră, însă aceasta s-ar putea să nu fie tot ce s-a aflat prin studiu. Capcane obişnuite de care să fim conştienţi: exista mai multe tipuri de medii, valorile extreme nu sunt foarte probabile, iar numerele mari (şi mici) sunt greu de înţeles în afara contextului.

Cuvântul “medie” este folosit adesea în ştiri cu sensul de medie aritmetică (suma valorilor enumerate împărţită la numărul de valori). Dar media aritmetică nu ne dă mereu informaţia cea mai folositoare: s-ar putea să avem nevoie de valoarea mediană (punctul de mijloc) sau de valoarea cea mai des întâlnită. Dacă am vrea să ştim salariul obişnuit obţinut în Marea Britanie, cea mai reprezentativă valoare ar fi salariul median. Asta pentru că puţinii oameni (câteva mii) care câştigă milioane de lire pe an vor afecta media aritmetică mai mult decât multitudinea de persoane care câştigă zeci de mii de lire pe an.

De exemplu, dacă ai avea într-o cameră zece profesori, toţi cu salarii între 20.000-30.000£, cu un salariu mediu de 24.900£ şi un salariu median de 25.000£ şi apoi ar intra în cameră cineva cu un venit de un milion de lire, salariul mediu ar deveni 114.000£, dar venitul median s-ar schimba foarte puţin. Folosind o mediană, această deformare este redusă, asigurându-se un salariu mediu mai reprezentativ.

“Dacă ai vrea să afli câţi copii locuiesc în fiecare casă dintr-un anumit loc, ai afla că media este de 2,3 – adunând toţi copiii din zonă şi împărţind la numărul de case. Dar acest număr nu ţi-ar spune că în majoritatea caselor nu se află niciun copil. Dacă ai ordona casele în funcţie de câţi copii sunt în fiecare şi casa din mijloc ar avea doar unul, mediana ar fi 1.” Harriet Ball

Mediile sunt metode folositoare de a îngloba informaţia, însă când sunt folosite, ai în vedere tipul lor şi gândeşte-te dacă sunt reprezentative pentru ceea ce vrem să aflăm.

Cele mai multe proiecţii sunt date ca un interval, pentru că nu putem şti exact ce urmează să se întâmple în viitor. Când se pune accentul pe cea mai extremă valoare – “Nu mai puţin de 5 milioane de americani infectaţi cu H1N1”, “Reducerile de personal ale Consiliului ar putea fi de până la 100.000” – sună îngrijorător până când iei în consideraţie probabilitatea ca ceea ce a fost anunţat să se întâmple.

“‘Ar putea fi de’, ‘Poate ajunge la’ … expresii ca acestea nu sugerează profesionalism, bazându-se pe cele mai extreme scenarii, în loc să se bazeze pe cele mai probabile. Asemenea titluri ar trebui citite astfel: ‘s-ar putea, dar cel mai probabil nu’.

‘Temperatura s-ar putea mări cu 11 grade C’. Acesta este un rezultat de la un model de sensibilitate a climatului la creşterea nivelurilor de CO2. Însă modelul a fost rulat de 2.000 de ori şi această cifră a fost generată o singură dată. Rezultatul obişnuit arată că temperatura va creşte cu 3˚C. Deşi valoarea de 11˚C este posibilă, ea nu reprezintă rezultatul cel mai probabil, dar a fost mediatizată pe scară largă. Când citeşti asemenea ştiri trebuie să te întrebi dacă evenimentul este probabil, în funcţie de ceea ce ştii deja”. Michael Blastland

Numerele mari pot fi greu de înţeles fiindcă cei mai mulţi dintre noi nu folosesc milioane şi miliarde în viaţa de zi cu zi. Pentru a le da un înţeles trebuie să le împărţim la numărul de elemente la care se referă.

"Un milion de lire reprezintă o avere pentru noi, însă nu înseamnă mai nimic pentru conturile naţionale. Guvernul britanic a anunţat recent investirea a 250 de milioane de lire pe o perioadă de cinci ani pentru ‘începerea unei revoluţii a transportului ecologic’. Asta înseamnă mai puţin de o liră per persoană pe an.

Dacă este anunţată o cifră pentru cheltuieli publice, împarte-o la numărul de oameni şi apoi la numărul de săptămâni dintr-un an. Rezultatul îţi arată cât înseamnă cifrele respective pe săptămână, pentru fiecare persoană”. Michael Blastland

Taxpayers’ Alliance a apărut pe prima pagină a ziarelor în iunie 2009, pretinzând că funcţionarii civili cheltuiesc pe călătoriile cu taxiul 8 milioane de lire pe an, o sumă aparent exorbitantă. Însă există sute de mii de funcţionari civili. Dacă ar fi să luăm doar funcţionarii superiori, aproximativ 20.000 de oameni (în Marea Britanie) şi să le împărţim cele 8 milioane cheltuite, factura lor anuală ar fi de 400 de lire, adică opt lire pe săptămână. Asta înseamnă o călătorie scurtă cu taxiul pe săptămână la preţurile din Londra.

Costurile Naţional Health Service sunt de 110 miliarde de lire pe an, însă împarte acest număr la populaţia Marii Britanii – aproximativ 60 de milioane – şi obţii mai puţin de 2000£ de persoană – bărbaţi, femei şi copii. Este o cifră mai palpabilă.

“Toate numerele, mari sau mici, trebuie puse în context pentru a avea o semnificaţie: o zi cu un grad C mai caldă decât precedenta este puţin diferită, dar o creştere de un grad C a temperaturii medii a Pământului ar afecta întregul ecosistem. O boală cu rata mortalităţii de 0,1% nu sună prea alarmant până te gândeşti că ar putea cauza moartea a mii de oameni dacă este o boală comună.” Oliver Ratmann


3. Cât de siguri suntem?

Când evaluează informaţiile, statisticienii trebuie să decidă dacă rezultatele obţinute sunt “statistic semnificative”. Chiar dacă un rezultat este statistic semnificativ nu înseamnă că este practic semnificativ sau important pentru societate. Intervalele de încredere ne oferă scara potenţialelor incertitudini în numărarea, măsurarea sau observarea informaţiilor.

Ce înseamnă “statistic semnificativ”?


“Sincer, este o idee complicată. Ne poate spune dacă diferenţa dintre un medicament şi un placebo sau dintre speranţele de viaţă a două grupuri de oameni, de exemplu, ar putea depinde doar de întâmplare.

Dacă un rezultat este statistic semnificativ, putem avea încredere că într-adevăr se întâmplă ceva în realitate. Înseamnă că o diferenţă precum cea observată este improbabil să fi apărut doar din cauza întâmplării.

Statisticienii folosesc niveluri standard de ‘improbabil’. De obicei, folosesc cuvântul ‘semnificativ’ la un nivel de 5% (scris uneori ca p=0,05). În cazul acesta, o diferenţă este considerată ‘semnificativă’ pentru că are o probabilitate mai mică de 1 la 20 să apară dacă totul depinde de hazard.” David Spiegelhalter

Ştiind dacă un studiu trece acest test nu aflăm neapărat dacă este important sau semnificativ din punct de vedere practic sau dacă este un studiu bun – este pur şi simplu un etalon folosit de către statisticieni pentru evaluarea eventualelor concluzii.

Un alt mod în care statisticienii îşi exprimă siguranţa legată de deducţiile date de informaţii este includerea ‘intervalelor de încredere’, care dau zona în care sunt 90 sau 95 sau 99% siguri că se găseşte răspunsul corect. Acestea ne dau o scară a potenţialelor incertitudini în numărare, măsurare sau observare cu o limită inferioară şi una superioară.

Intervalele de încredere sunt folosite în sondajele de opinie. Un eşantion de 1.000 de alegători reprezentativi va da un rezultat pentru fiecare partid cu intervale de încredere întinzându-se de la 3 procente sub rezultatul studiului până la 3 procente peste acesta. Dacă un sondaj arată că partidul X are sprijinul a 32% dintre alegători, cifra ar putea fi de 29% sau de 35%. În cazul acesta, intervalul de încredere este zona 29-35 procente.

Dificultăţile apar atunci când un sondaj este comparat cu altul fără a se ţine cont de intervalele de încredere. O scădere a popularităţii unui partid de 2% ar putea ajunge în ziare, însă această schimbare se încadrează în intervalul de încredere, aşa că nu putem fi siguri că avut loc, cu adevărat, o schimbare.

Dacă toate celelalte lucruri rămân constante, cu cât este mai mare eşantionul, cu atât mai mici sunt marjele de eroare (sau intervalele de încredere). Însă nu putem avea mereu eşantioane mari, s-ar putea să existe doar câţiva oameni afectaţi de boala studiată. De asemenea, cercetările ample sunt costisitoare şi îndelungate. Statisticile ne permit să folosim un eşantion pentru a trage concluzii mai cuprinzătoare, dar trebuie să fim conştienţi de orice limitări şi să verificăm dacă ele au fost luate în calcul la interpretarea rezultatelor.

“În 2007, un articol anunţa că riscul unui atac cardiac sau al unui accident vascular cerebral era de nouă ori mai mare pentru persoanele care iau ibuprofen în loc de lumiracoxib pentru tratarea osteoartritei.

Ceea ce nu s-a menţionat este intervalul de încredere, care arată un risc de 1,13-72 de ori mai mare de atac de cord său accident vascular cerebral. Acesta este un interval forate mare din cauză că studiul se bazează pe un număr mic de persoane care au avut reacţii adverse. Un rezultat reprezintă doar jumătate de adevăr; pentru o imagine completă trebuie să ştii nivelul de incertitudine.” Shaun Treweek

Statisticienii iau în calcul şi “regresia către medie” – tendinţa ca unele cifre extreme să revină la valorile medii. Un jucător de fotbal care marchează de nenumărate ori în câteva meciuri cel mai probabil va reveni, în timp, la numărul obişnuit de goluri.

Regresia către medie poate conduce la concluzii greşite: camerele video sunt deseori amplasate în locuri unde au avut loc multe accidente, o serie de accidente face foarte probabilă instalarea unei camere acolo. Orice reducere ulterioară a numărului de accidente este considerată ca un efect al prezenţei camerei.

Însă o parte din ameliorare s-ar putea datora regresiei către medie. O scurtă serie de accidente pe orice porţiune de drum ar putea fi pur şi simplu rezultatul întâmplării. În timp, numărul accidentelor din această zonă se va apropia de valorile medii. Şi din moment ce motivul instalării camerei acolo a fost nivelul ridicat de accidente, cel mai probabil acest nivel va scădea – fie că există o cameră acolo, fie că nu.


4. Procentaje şi riscuri; înţelegerea modificărilor relative şi absolute

“Sandvişurile cu şuncă provoacă cancer de colon”, “fumatul pasiv cauzează demenţă”, “înjunghierile la un nou maxim” – cum ar trebui să reacţionăm la asemenea poveşti? Trebuie să ştim câţi oameni sunt afectaţi cu adevărat şi care sunt riscurile individuale. Pentru a înţelege importanţa oricărei creşteri sau descreşteri trebuie să cunoaştem atât modificarea absolută, cât şi pe cea relativă.

Să luăm ştirea despre sandvişul care îţi dă cancer de colon. Este anunţată o creştere de 20% a riscului de cancer de colon din cauza consumului de carne roşie sau procesată. Ar putea suna îngrijorător, dar ce înseamnă? Depinde de cât de mare este riscul iniţial de a face cancer de colon.

Probabilitatea ca o persoană să se îmbolnăvească de cancer de colon pe parcursul vieţii este de 5% - riscul ‘absolut’. Dacă mănânci un sandviş cu şuncă în fiecare zi îţi măreşti riscul de a face cancer cu 20% - creşterea ‘relativa’ a riscului. Asta înseamnă că riscul de a face cancer este acum de 6%, o creştere de 1% (avem 20% din 5% = 1% ).

“De ce preferă rapoartele să vorbească despre riscurile procentuale relative fără să menţioneze riscul absolut? Probabil pentru că în acest fel pot folosi ‘numere mai mari’: 20% este destul de mare pentru a îngrijora, modificarea absolută de 1% sau 1 persoană din 100 este mai puţin alarmantă.” Michael Blastland

Schimbând modul în care este formulat riscul obţinem o perspectivă diferită asupra sa. Cunoaşterea modificărilor relative şi absolute ne arată cât de mare este riscul şi cum ne poate afecta.

“Articole recente din ziare anunţă că ‘9 din 10 persoane poartă o genă care măreşte şansele de hipertensiune’. Studiul a descoperit o variantă genetică la 1 persoană din 10 care dă o reducere a riscului de hipertensiune – şi nu ar fi fost prea mediatizat, însă atrăgând atenţia asupra grupului care nu are acest risc redus, povestea a devenit ştire.” David Spiegelhalter

Reprezentarea ca proporţie nu ne spune care sunt numerele absolute. O reclamă la Whiskas ne spune că “8 pisici din 10 preferă Whiskas”, dar nu câte pisici au fost întrebate… S-a trecut apoi la “8 din 10 posesori care au exprimat o preferinţă au spus că pisicile lor preferă Whiskas”. O situaţie mai probabilă, dar tot nu ni se spune câţi posesori au fost întrebaţi şi câţi dintre ei şi-au exprimat opinia.

Sau, de exemplu, numărul efectiv de crime violente ar putea să nu se fi schimbat în câţiva ani, dar dacă numărul de crime de alte tipuri a scăzut, atunci proporţia de crime violente va creşte.

“Înainte să reacţionezi la un procentaj trebuie să te gândeşti la ceea ce îţi spune cu adevărat şi pentru a face asta trebuie să îl pui în context. Să luăm, de exemplu, studiul conform căruia 99% din decesele din primele patru săptămâni de viaţă au loc în ţările în curs de dezvoltare. Deşi sună îngrozitor, în jur de 90% din toate naşterile au loc în ţări în curs de dezvoltare. Deci şansele ca un bebeluş să moară în primele patru săptămâni sunt ‘doar’ de 11 ori mai mari aici – destul de rău, cinstit vorbind.” Christina Pagel

 

 

Traducere: Maria Mihai

This publication [MakeSenseOfStatistics] published by Sense About Science in [2010] in the English language, has been translated into [Romanian] by [Scientia.ro] in [March 2012], and is used with the permission of Sense About Science. Sense About Science assumes no responsibility for the accuracy and completeness of the translation or for actions that may ensue as a result thereof. The approved text of all Sense About Science publications is that published by Sense About Science in the English language.

Copyright under Creative Commons Creative Commons Attribution-Noncommercial-No Derivative Works 2.0 UK: England & Wales License. Published in [2010] by Sense About Science. Used with permission of Sense About Science. Contact Această adresă de email este protejată contra spambots. Trebuie să activați JavaScript pentru a o vedea. for permission to reproduce or translate the document.

Write comments...
symbols left.
You are a guest ( Sign Up ? )
or post as a guest
Loading comment... The comment will be refreshed after 00:00.

Be the first to comment.


Dacă găsești site-ul util, ne poți ajuta cu o DONAȚIE