Bør du stole på din analytiker? (Del II)

Den første fase af de fleste forretningsmæssige beslutninger, såsom markedsføring, ansættelse og investere, er indsamling af data. I de fleste tilfælde er oplysninger, der fanget i form af ordene. Når indsamlingen af data er færdig, er det næste skridt analysere de indsamlede ord. I mange tilfælde er denne analyse udført af professionelle analytikere, som marketing forskere, personalechefer og porteføljeforvaltere. I lyset af nogle nylige videnskabelige undersøgelser, skal du tro på deres analyse og deres anbefalinger?

En nylig videnskabelig undersøgelse (Rothwell, P.M. og Martyn, C.N. reproducerbarhed af peer review i klinisk neurovidenskab: aftale mellem korrekturlæsere større end man ville forvente ved en tilfældighed alene? Hjernen 2000 123:1964 – 1969) målt niveau af aftale mellem anmeldere af håndskrifter indsendt til publikation i et videnskabeligt tidsskrift. Disse vurderinger er normalt professorer på universiteterne med omfattende ekspertise i emnet for den gennemgik manuskript. Redaktør af tidsskriftet spurgte professorerne to spørgsmål: 1. håndskriftet være accepteret, revideret eller afvist, og 2. prioritet for offentliggørelse low, medium eller høj. Hver manuskriptet blev evalueret af to professorer. Undersøgelsen blev gentaget med manuskripter indsendes til to kladder. I journal A sammenlignede undersøgelsen evalueringer af 179 papirer og i journal B evalueringer af 116 håndskrifter. Aftalen mellem professorerne blev beregnet ved hjælp af Kappa statistik.

Resultaterne viste ingen aftale mellem vurderinger vedrørende både henstillingen og prioritet for offentliggørelse.I virkeligheden, var aftalen ikke større end som ville produceret af flipping en mønt.Desuden, når et større antal uafhængige korrekturlæsere evalueres det samme manuskript, resultaterne var de samme, ingen aftale.Som forfatter af undersøgelsen skriver anvendes”Hvis peer review er et forsøg på at måle den overordnede kvalitet af forskning med hensyn til originalitet, hensigtsmæssigheden af metoderne, der, analyse af data og begrundelse for konklusionerne, så en komplet mangel reproducerbarhed er et problem. Disse specifikke vurderinger bør være relativt objektive og dermed reproducerbare.” Vurderingerne skal være reproducerbare, men de er ikke. Når en professor sagde “acceptere for publikation,” den anden sagde “afviser,” når en anmelder sagde “høj prioritet til offentliggørelse,” den anden sagde “lav prioritet.”

Punkter at overveje:

1. i denne undersøgelse var analytikerne professorer, der blev valgt for deres ekspertise i emnet for manuskriptet. Disse professorer besidder et meget højere niveau af ekspertise inden for forskning emnet i forhold til selv de mest erfarne redaktører og interviewere analysere kvalitative kundedata, eller de mest erfarne personalechefer kandidat dataanalyse. Så hvis disse højt uddannede eksperter ikke vise konsekvent behandling af kvalitative data, hvad er chancerne for, at de mindre uddannede fagfolk og lægmand vil vise konsekvent analyse af deres data?

2. kriterierne i denne undersøgelse var om forskning rapporteret i håndskriftet er original, anvender hensigtsmæssige metoder, korrekt analyserer dataene og korrekt retfærdiggør konklusionerne. Som forfatterne til undersøgelsen siger, disse kriterier betragtes relativt mål.I modsætning til denne undersøgelse inddrage det store flertal af kvalitative undersøgelser subjektive kriterier som smag, moral, værdier eller præferencer. Hvis professorer ikke konsekvent anvender objektive kriterier, når de evaluerer manuskripterne, hvordan kan de mindre uddannede fagfolk og lægmand have tillid til at konsekvent anvende subjektive kriterier ved vurdering af kvalitative data?

3. i denne undersøgelse tildelt par professorer forskellige værdier til det samme manuskript. Hvem der har ret? Efter alt dette er kan ikke videnskab og både være rigtigt. Nu, hvis sådanne store eksperter har kunnet overbevise os om, at de kan behandle en kvalitativ datasæt, korrekt, eller i det mindste konsekvent, hvordan kan vi stole på fagfolk eller lægmand når de siger, at de kan?

Resumé:

Den første fase af de fleste beslutningstagning i business er indsamling af data. I de fleste tilfælde er oplysninger indsamlet i form af ord. Når ordene er tilgængelige, de fagfolk, der samler data udføre en analyse af disse ord, og forelægge resultaterne for beslutningstageren. Som undersøgelsen af Rothwell og Martyn antyder, disse fagfolk, vil de fleste ofte, mislykkes i deres analyse af kvalitative data og producere resultater, som vil forhindre beslutningstager i at gøre den rigtige beslutning.

Leave a Reply

Your email address will not be published. Required fields are marked *