The relevance of non-response rates in employee attitude surveys

The HR Department of any organization, or consulting company in the field of HR employ surveys as a methodological means of investigating how they can improve as an employer, increase performance and become more profitable. Often the focus lies on systematically analyzing the staff’s perception of working conditions, job attitudes, health and other performance related indicators. In order to best understand which aspects need to be ameliorated and to have a sound decision basis, high response rates are necessary. Unfortunately, the response rates have proven in many instances to be relatively low for surveys addressing the entire organization.

In one of our previous posts we focused on methods which could help to improve the response rate in employee surveys. Now let us focus on how central occupational performance indicators, such as job attitudes, might influence response rates in employee questionnaires. An interesting study by Fauth and his colleagues (2013) focuses on the relationship between employee work attitudes (e.g. job satisfaction or commitment) and non-response rates and how they influence each other.

How non-response rates depict employees’ job attitudes

Whilst previous research on this topic has mainly focused on the relationship between the individual working attitude of employees and their non-responsive behavior in surveys, Fauth and his colleagues took a different approach. They were interested in the effects of group-level work attitude on response rate. Although co-workers and work group members influence the attitude and perspective of other employees, the relationship between the job satisfaction of an entire working team or unit within an organization and their survey response behavior has previously been neglected (Cropazano & Mitchel, 2005). From a practical perspective, such knowledge is crucial, as the survey feedback processes in companies are almost always on aggregated levels (e.g. team, business unit) and not on the individual level. Thus, Fauth et al. (2013) addressed this need for group level-based analysis of non-response rates in organizational surveys. They hypothesize that aggregated job satisfaction is positively related to survey response rates at the work group level.

As the social exchange theory (Cropazano & Mitchel, 2005) underlines, individuals are willing to invest more effort and energy when content. Addressing this idea in the work sphere shows that satisfied employees are willing to invest their energy in additional non-work related tasks, such as completing employee surveys. This form of Organizational Citizen Behavior (OCB; Rogelberg et al., 2003) explains the previously detected positive relationship between work satisfaction and response rate in employee attitude reviews on an individual level (Klein et al., 1994).

In order to test whether employee happiness is also positively related to survey response rates at the work group level, Fauth et al. (2013) conducted two large-scale follow-up employee surveys in four distinct companies in 2002, 2004, and twice in 2006. The participating 1120 employees were gathered into 46 groups with approximately 24 employees per group. Their aggregated job satisfaction was assessed via a multi-item measure – the Job Descriptive Index, the results of which show that work groups with a greater combined job satisfaction had significantly higher response rates. Furthermore, the study also showed that independent of the effect of this contentment, smaller teams and teams with more heterogeneity in tenure and gender had a higher response rate. Intriguingly, no difference in response rate was found for blue collar versus white collar.

This points to an interesting avenue in organizational survey research: that not only the employees’ answers to survey questions are relevant for organizations when assessing group perception of employment situation, but also their response rates. Specifically, higher response rates could indicate a greater general work satisfaction and be an interesting indirect indicator of the overall attitude of a working unit towards their job and their organization.

 

Wie kriege ich in meiner Studie eine hohe Rücklaufquote hin?

Rücklaufquoten in Fragebogenstudien – Erkenntnisse aus einer Metaanalyse von über 2000 Umfragen.

Forschung in Organisationen ist stark auf Fragebogenuntersuchungen angewiesen. Dabei besteht das Risiko, dass ein bedeutsamer Anteil der angesprochenen Population nicht antwortet. Tiefe Rücklaufquoten führen zu Problemen bei der Generalisierung von Resultaten auf die untersuchte Population (ungenügende externe Validität). Kleine Stichproben auf Grund zu wenig Antwortenden erhöhen zusätzlich das Risiko tiefer statistischer Power und limitieren die Arten von statistischen Techniken, welche angewendet werden können. Einige Forscher gehen davon aus, dass die Popularität von Fragebogenstudien in den letzten Jahren zu einer Verschärfung dieser Risiken geführt hat.

Für ein optimales Design von Studien in Organisationen stellen sich deswegen vor allem zwei Fragen:

  • Haben die Rücklaufquoten bei Fragebogenstudien in den letzten Jahren abgenommen?
  • Falls ja, welche Techniken zur Erhöhung der Rücklaufquote sind heute besonders effektiv?

Antworten auf diese Fragen liefert eine Metaanalyse von Frederik Anseel, Filip Lievens, Eveline Schollaert und Beata Choragwicka publiziert im Journal of Business Psychology. Die Autoren haben über 2000 Fragebogenstudien analysiert, die zwischen 1995 und 2008 in wissenschaftlichen Journalen der Arbeits- und Organisationspsychologie, der Management- und der Marketingwissenschaften publiziert wurden. Mitunter ist diese Studie einer der ersten überhaupt, die im organisationalen Setting den Effekt von online Fragebogenstudien auf Rücklaufquoten untersucht hat.

Die Studie zeigt folgendes:

  • Die Durchschnittliche Rücklaufquote in den analysierten Studien liegt bei 52% mit einer Standardabweichung von 24%.
  • Die Rücklaufquote hat zwischen 1995 und 2008 leicht abgenommen (0.6% pro Jahr). Dieser Effekt wurde aber kompensiert durch den vermehrten Gebrauch von Techniken zur Erhöhung des Rücklaufs.
  • Über alle Gruppen von Befragten sind die Folgenden effektive Techniken zur Erhöhung des Rücklaufs: Versenden von Vorinformationen vor Studienstart, Personalisierung (z.B. persönliche Adressierung der Teilnehmenden), Relevanz des Themas aufzeigen (Salienz steigern), Verwenden von anonymen Identifikationsnummern, universitäres oder anderweitig seriöses Sponsoring, persönliche Verteilung der Fragebogen.
  • Die Durchführung von online Studien ist nicht bei jeder Population gleich sinnvoll. Die Studie zeigt, dass eine online Befragung bei “nicht Managern” (Mitarbeitenden ohne Führungsfunktion) ein effektives Mittel ist, um den Rücklauf zu erhöhen. Bei anderen Gruppen (z.B. Top-Management) kann eine online Durchführung auch zu kleineren Rückläufen führen als bei Papierbefragung.
  • Finanzielle Anreize sind kein effektives Mittel um den Rücklauf zu erhöhen.

Zusammenfassend geben die Autoren folgende Tipps:

Tabelle-response-rate-guidleines

Die online Lösungen von Bright Answer unterstützt die Anwendung der oben genannten Techniken. Die Software bietet automatisiertes Versenden persönlich adressierter Vorinformationen, Studieneinladungen und Remindern aber auch die Benutzung von anonymen Zugangscodes ist möglich.
Die Software bietet eine zusätzliche Art von Anreiz für Studienteilnehmende. Am Studienende können die Teilnehmenden automatisch generiert, individuelle Rückmeldungen ansehen und sich mit dem Durchschnitt der restlichen Studienteilnehmenden oder falls vorhanden mit anderen Benchmarks vergleichen. Die Erfahrung zeigt, dass die Aussicht auf eine individuelle Rückmeldung hohe Rücklaufquoten ermöglicht. Gerade in Längsschnittstudien mit vielen Messwellen (5 oder mehr) kann dieser Anreiz viele Dropouts verhindern.