Nordic experience with Safety Culture Survey Resources download from: http:homepage.mac.comjohnovrFi

1
Nordic experience with Safety Culture
SurveyResources download fromhttp//homepage.m
ac.com/johnovr/FileSharing2.html

• John Øvretveit,
• Director of Research, Professor, Karolinska
  Medical Management Centre Sweden and Professor of
  Health Management, Faculty of Medicine, Bergen
  University

2
Sweden in blue Finland white Norway
orange Denmark red
Europe
Scandinavia is Sweden, Norway and Denmark
3
Iceland
Finland
Norway
Sweden
Denmark
4
.t

• .
• .
• .
• .

Karolinska Institute Medical University -
Largest in NE
5
Report

• Draws on role as coordinator for
• Nordic patient safety research network
• International Quality improvement research
  network
• Sweden 5 hospitals approx 2000 people surveyed
• Norway Stavanger Akershus studies
• Denmark Copenhagen hospitals study
• Finland considering AHRQ vs IHI versions

6
Why we wanted a survey tool

• Diagnosis to show possible intervention points
  and problem areas
• Compare units/organisations to discover and learn
  from best cultures/practice
• Assess impact of changes on before/after
  responses to questions

7
Sweden study requirements

• a)describe the different pictures which
  different surveys provide differences and
  strengths and weaknesses of each
• b)describe what the surveys really measure, by
  comparing aggregate data from units which should
  be the same to find out if same data is produced,
  by comparing different instruments and asking
  subjects views about validity and in other ways
• c)assess reliability by comparing matched
  subjects responses and test-retest reliability
• d) assess sensitivity to registering different
  changes
• e) describe how data from these related to real
  changes and activities (comparing survey data to
  observational and interview data).

8
Criteria for assessing surveys include

• Practical
• Value assessed by managers for action and making
  more informed decisions
• Use for identifying best practice units
• Time and cost to administer and analyse
• Scientific
• Value for research use to studying change and
  influences on performance
• Validity (global)
• Sensitivity

9
How to measure?.

• Typological approaches
• Competing Values Framework
• Harrisons Organizational Ideology Questionnaire
• Quality Improvement Implementation Survey
• Dimensional instruments
• Organizational Culture Inventory
• Hospital Culture Questionnaire
• Nursing Unit Culture Assessment Tool
• Practice Culture Questionnaire
• MacKenzies Culture Questionnaire
• Survey of Organizational Culture
• Corporate Culture Questionnaire
• Core Employee Opinion Questionnaire
• Hofstedes Organizational Culture Questionnaire
• Organizational Culture Survey
• (Scott et al. (2003) HSR)

10
Publicly available safety culture survey
instruments

• California 15 hospitals study (Singer et al. 2003
  (Stanford/PSCI survey 2001)
• AHRQ 2004 survey
• IHI survey
• Weingart et al. 2004 employee survey instrument
• Manchester patient safety tool (MaPSaT) 2005

11
Metaphors for culture - the iceberg
Waterline
12
Previous research - Johns assessment

• most are attitude surveys
• tell us about climate not culture,
• often without theoretical basis,
• rarely build on previous instruments.
• more research combining ethnographic and survey
  pictures needed
• Unclear for which purpose each instrument most
  useful and perspective it gives.

13
What research can contribute

• To safer patient care
• Is there a link between culture and safety
  performance?
• Can you predict safety performance using culture
  assessment?
• Theory explaining any causal pathways
• What changes which aspects of culture in which
  situations?

14
UK-Sweden senior leaders views
15
Swedish experience so far

• Pilot
• One hospital 100 questionnaires in 10 departments
  (10 staff at each unit). (acute care, primary
  healthcare, psychiatrics and geriatrics)
• Interviews with 20
• Longer than IHI, but easier to fill-in
• Main study AHRQ apprx 2000 administered
  currently analysing
• Large variations
• Similarities and differences to AHRQ averages
  possibly signficant
• - preliminary findings next slides
• contact Jessica.lindberg_at_karolinska.se

16
Svarsfrekvenser
17
BIGGEST DIFFERENCE TO USA
Senior management

• I12 Högsta ledningens stöd till
  patientsäkerhetsarbete
• Sjukhusledningen eller motsvarande har skapat ett
  arbetsklimat som främjar patientsäkerheten
• Sjukhusledningens eller motsvarandes agerande
  visar att patientsäkerheten har högsta prioritet
• Sjukhusledningen eller motsvarande vekar endast
  intressera sig för patientsäkerheten när en
  negativ händelse har inträffat

18
I1 Benägenhet att rapportera händelser
Reporting (AHRQ section D)

• När ett misstag inträffar och rättas till innan
  det påverkar patienten, hur ofta rapporteras det?
• När ett misstag inträffar som inte kan skada
  patienten, hur ofta rapporteras det?
• När ett misstag inträffat som skulle kunnat skada
  patienten, men inte gjorde det, hur ofta
  rapporteras det?

Average median highest lowest AHRQ ave
19
I6 Lärandeorganisation
Learning organisation

• Vi arbetar aktivt för att förbättra
  patientsäkerheten
• Misstag har lett till positiva förändringar här
• När vi har infört förändringar för att förbättra
  patientsäkerheten utvärderar vi deras
  effektivitet

20
BIGGEST VARIATION BETWEEN SWEDISH HOSPITALSI3
Självskattad patientsäkerhetsnivå
General view of how safe patients are in your
service area

• Gör en generell bedömning av patientsäkerheten på
  din vårdenhet.

21
I2 Sammantagen säkerhetsmedvetenhet
Overall safety situation (e.g.) We have patient
safety problems in this unit

• Vi gör aldrig avkall på patientsäkerheten för att
  hinna mer
• Våra rutiner och system är bra på att förhindra
  att fel inträffar
• Det är ren tur att inga allvarligare misstag sker
  här
• Vi har problem med patientsäkerheten inom den här
  vårdenheten

22
I5 Min närmaste chefs agerande kring
patientsäkerhet

• Min närmaste chef ger beröm när han eller hon ser
  att en uppgift utförs i enlighet med fastställda
  patientsäkerhetsrutiner
• Min närmaste chef beaktar på allvar personalens
  förslag till förbättringar av patientsäkerheten
• När arbetsbelastningen ökar vill min närmaste
  chef att vi ökar tempot, även om det innebär att
  vi måste ta genvägar
• Min närmaste chef låtsas inte om de
  patientsäkerhetsproblem som uppträder om och om
  igen

My supervisor
23
I7 Samarbete inom vårdenheten

• På vår vårdenhet stöttar personalen varandra
• När det är mycket arbete som måste utföras snabbt
  arbetar vi tillsammans som team för att få
  arbetet avklarat
• Inom den här vårdenheten behandlar personalen
  varandra med respekt
• När det blir hektiskt för någon del inom
  vårdenheten, kommer vi andra och hjälper till

Cooperation
24
Norway Stavanger studies

• 400 bed hospital, 10 departments
• 1919 questionnaires returned (55 rr)
• Investigate fit of proposed factor structure
  using Confirmatory factor analysis (CFA)
• Internal consistency of dimensions Cronbachs
  alpha
• Discriminant validity intercorrelation among
  concepts and MANOVA

25

• Concurrent validity degree to which dimensions
  influenced outcome variables included in HSOPSC

26
Stavanger studies Findings

• Factor analyses factorial model fitted the data
  well.
• poor internal consistency - Organizational
  learningcontinuous improvement, - improved when
  mistakes have led to positive changes here
  removed
• Surprise safety culture dimension exerted
  several negative influences on Number of events
  reported (last 12 months), - suggests this
  outcome variable is invalid.

27
Stavanger studies Findings

• Can be used in Norwegian hospital settings.
• Psychometric properties satisfactory
• Number of events reported is not a good outcome
  measure.
• Research challenges
• Getting high/unbiased survey response rate
• Using correct statistical methods to avoid Type I
  and Type II errors.
• Ref Olsen in Øvretveit, J Sousa, P (2008)
  Quality and Safety Improvement Research, Portugal
  School of Public Health Publisher Lisbon.

28
Denmark Copenhagen hospitals study (n10k)

• .

29
Denmark Copenhagen hospitals study

• .

30
Denmark Copenhagen hospitals study

• .

31
Conclusions Copenhagen hospitals study

• .

32
Denmark Copenhagen hospitals study

• Comparisons with similar regions in DK
  comparison over time in a repeat survey in 2
  years
• Comparing with data from clinical databases and
  surveys of
• patient satisfaction.
• Results given to department managers required to
  report their follow-up.
• Provided tools and ideas how to react on problem
  areas.
• Results contribute to the Regions patient safety
• action plan used in leadership development.
• Acknowledgements to Marlene Madsen Dansk
  mdyrloev_at_ruc.dk Institut for Medicinsk
  Simulation, Amtssygehuset i Herlev

33
Norway Akershus Sexton (SAQ 2006) study

• .

34
Norway Akershus Sexton (SAQ 2006) study Six
patient safety dimensions Teamwork
Climate Safety Climate Stress Recognition Working
Conditions Job Satisfaction Perceptions of
Management (Hospital Mgmt and Unit Mgmt)
35
(No Transcript)
36
Safety climate by ward/outpatient unit
units reporting good patient safety climate
 
som rapporterer bra sikkerhetsklima
37
Acceptability - Relatively high response rate -
Relatively quickly answered (but not as quickly
as promised) - Not obviously threatening (but
some units did decline to participate) Met with
interest (by nurses, not by all
doctors) Discriminatory ability Good - Variation
across professions, departments, wards
38

• Validity of safety atttitudes scores?
• Reasonable confirmation of factor structure
• But can it be improved?
• By reformulating translated questions?
• By re-reversing the three reversed questions?
• By emphasizing your general evaluation (not
  just this morning)
• 2) Employees recognized their own ward/department
• 3) Quality department recognized safer
  wards/departments
• 4) Department SAQ-averages correlated with number
  of errors discovered by Trigger Tool-revision
  of patient records
• 5) Department SAQ-scores correlate with (same
  time) average patient response to questions on
• suspected treatment errors and
• poor organization of hospital work

39
I8 Öppenhet i kommunikationen

• Personalen säger, utan att tveka ifrån, om de ser
  något som kan påverka vården av patienterna
  negativt
• När de med högre status/ställning tar beslut
  eller utför handlingar vågar personalen
  ifrågasätta
• Personalen är rädd för att ställa frågor när
  något inte verkar stå rätt till

40
I9 Återföring och kommunikation kring avvikelser

• Vi får återkoppling om de förändringar som
  genomförs baserade på avvikelserapporter
• Vi informeras om de misstag som görs inom vår
  vårdenhet
• På den här vårdenheten diskuterar vi hur vi ska
  undvika att fel inträffar igen

41
I10 En icke straff- och skuldbeläggande kultur

• Personalen upplever att deras misstag läggs dem
  till last
• När en avvikelse rapporteras känns det som att
  det är personen som utpekas istället för
  problemet
• Personalen oroar sig för att de misstag de gjort
  sparas i personalakten

42
I11 Arbetsbelastning och personaltäthet

• Vi har tillräckligt med personal för att klara
  arbetsbelastningen
• Personalens arbetspass (planerad eventuell
  övertid) på den här vårdenheten är längre än vad
  som är bra för vården av patienterna
• Vi använder personal från bemanningsföretag/tillfä
  llig personal mer än vad som är bra för vården av
  patienterna
• Vi arbetar under mycket hård press och försöker
  utföra alltför mycket, alltför snabbt

43
I13 Samarbete mellan vårdenheterna

• Det råder ett gott samarbete mellan de
  vårdenheter som behöver arbeta tillsammans
• Vårdenheterna samarbetar bra för att ge
  patienterna den bästa vården
• Vårdenheterna inom sjukhuset eller motsvarande
  kan inte samverka på ett bra sätt
• Det är ofta otryggt att arbeta tillsammans med
  personal från andra vårdenheter

Coordination
44
 I14 Överlämningar och överföringar av patienter
och information

• Skiftbyten är problematiska för patienterna på
  den här vårdenheten
• Viktig information om vården av patienterna går
  ofta förlorad mellan arbetspass/skiftbyten t.ex.
  mellan kväll/natt
• Problem uppstår ofta vid informationsutbytet
  mellan vårdenheter
• Saker och ting "faller mellan stolarna" då
  patienter överförs från en vårdenhet till en
  annan

Coordination