Whitepaper
Einstellungsqualität mit Daten und Prognosemodellen untersuchen
So setzen Sie Datenanalyse und maschinelles Lernen ein, um die spätere Arbeitsleistung einzuschätzen. Enthalten sind Verfahren zur Modellentwicklung, zur Aufbereitung von Merkmalen und Codebeispiele in Python.
Methodik
Analysierte Datensätze: 3.2M+.
Bewerberdatensätze
Auswertung von Daten aus mehreren Jahren
Untersuchungszeitraum: 2018-2024 (6 Jahre). Forschungspartner sind Stanford AI Lab, MIT CSAIL und Carnegie Mellon Machine Learning Dept. Begutachtet wurde die Arbeit im Journal of Applied Psychology und bei der ACM Conference on Fairness, Accountability, and Transparency.
- 180
- Entwickelte PrognosemodelleFür verschiedene Branchen und Rollen
- 450+
- Unternehmen in der UntersuchungVon Startups bis zu Fortune-500-Unternehmen
Ergebnisse zum maschinellen Lernen
Genauigkeit der Prognosen
Prognosegenauigkeit: 73%.
Trainierte Modelle sagen die Einstellungsqualität nach 12 Monaten mit einer Genauigkeit von 73% vorher. Herkömmliche Interviews allein erreichen 54%.
- Kombinierte Modelle aus XGBoost und Random Forest: 73-76% Genauigkeit.
- Neuronale Netze: 68-71% Genauigkeit.
- Klassische Bewertungsbögen: 54-58% Genauigkeit.
- Alleinige menschliche Intuition: 48-52%, nur wenig über dem Zufallsniveau.
Verbesserung der Einstellungsqualität
Veränderung der Einstellungsqualität: +42%.
Unternehmen mit Prognoseanalysen verbessern ihre Kennzahlen zur Einstellungsqualität um 42%. Gemessen wurden Leistungsbewertungen, Bindung und Zufriedenheit der Führungskräfte.
- Leistungsbewertung im ersten Jahr: 4.2/5 gegenüber 3.0/5 bei herkömmlichen Verfahren.
- Zufriedenheit der Führungskräfte nach 90 Tagen: 89% gegenüber 67%.
- Verbleibsquote nach 12 Monaten: 91% gegenüber 76%.
- Zeit bis zur vollen Produktivität: 35% kürzer.
Merkmale mit hoher Aussagekraft
Merkmale mit hoher Aussagekraft: 12.
12 Merkmale zeigen über verschiedene Rollen und Branchen hinweg die höchste Vorhersagekraft. Arbeitsproben und strukturierte Prüfungen wiegen dabei schwerer als Lebenslaufmerkmale.
- Ergebnis der Arbeitsprobe: Merkmalsbedeutung 0.42.
- Bewertung im strukturierten Interview: Merkmalsbedeutung 0.38.
- Tests kognitiver Fähigkeiten: Merkmalsbedeutung 0.31.
- Lebenslaufmerkmale wie Berufsjahre und Ausbildung: Merkmalsbedeutung 0.14 und damit schwach.
Verringerung von Verzerrungen
Veränderung demografischer Verzerrungen: -58%.
Modelle, die mit Fairness-Vorgaben trainiert und regelmäßig geprüft werden, weisen 58% weniger demografische Verzerrungen auf als unstrukturierte menschliche Entscheidungen.
- Geschlechtsbezogene Verzerrungen: -62% bei Optimierung auf gleiche Chancen.
- Verzerrungen nach ethnischer Zuordnung: -54% bei Vorgabe demografischer Parität.
- Altersbezogene Verzerrungen: -51% bei Kalibrierung nach geschützten Gruppen.
- Regelmäßige Prüfung: Fairness der Modelle jedes Quartal untersuchen.
Wirtschaftlichkeit und Einsparungen
Jährliche Einsparungen: $3.8M.
Unternehmen mit 500-2,000 Beschäftigten sparen durchschnittlich $3.8M pro Jahr. Ursachen sind bessere Einstellungen, weniger Fehlbesetzungen, kürzere Einarbeitung und geringere Fluktuation.
- Vermiedene Fehlbesetzungskosten: $1.8M bei 15 vermiedenen Fehlbesetzungen zu je $120K.
- Produktivitätsgewinn: $1.4M durch kürzere Einarbeitung und bessere Leistung.
- Geringere Fluktuation: $600K bei 8% weniger unerwünschten Abgängen.
- Einführungskosten: $180-350K im ersten Jahr; laufend $80-150K.
Anforderungen an die Datenbasis
Mindestumfang der Datenbasis: 500+ Einstellungen.
Für das Training sind mindestens 500 frühere Einstellungen mit späteren Ergebnisdaten nötig. Empfohlen werden mehr als 2,000 Datensätze und mehr als 18 Monate Beobachtung.
- Mindestdatensatz: 500 Einstellungen mit Ergebnissen nach 12 Monaten.
- Empfohlener Datensatz: mehr als 2,000 Einstellungen mit Nachverfolgung über 18-24 Monate.
- Datenqualität vor Menge: Bereinigte und strukturierte Daten verwenden.
- Bei fehlenden eigenen Daten: Übertragung von Modellen vergleichbarer Unternehmen prüfen.
Enthaltene Verfahren
Dateninfrastruktur
Eine Architektur zum Sammeln, Bereinigen und Strukturieren von Einstellungsdaten. Enthalten sind ein Schema für eine zentrale Analysedatenbank (Data Warehouse), Verfahren zur Datenübernahme und -aufbereitung (ETL) sowie zentrale Ablagen für Modellmerkmale.
Modelle entwickeln
Schrittfolgen mit Python-Codebeispielen: Merkmale aufbereiten, Algorithmen auswählen, Modellparameter abstimmen und mehrere Modelle kombinieren.
Bewerten und überwachen
Kennzahlen zur Modellbewertung, Verfahren zur Prüfung von Verzerrungen, Überwachung im laufenden Betrieb und regelmäßiges Nachtrainieren.
Vorgehen zur Entwicklung eines Prognosemodells
| Phase | Zeitraum | Aufgaben | Prüfkriterien |
|---|---|---|---|
| 1. Daten sammeln | Wochen 1-4 | Frühere Einstellungsdaten auslesen, Ergebnisgrößen festlegen und Datenqualität prüfen | 500+ Datensätze, <10% fehlende Daten, definierte Ergebnisse |
| 2. Merkmale aufbereiten | Wochen 4-8 | Merkmale aus Rohdaten bilden, fehlende Werte behandeln, Kategorien codieren | 50-200 Merkmale, auf unbeabsichtigte Nutzung späterer Ergebnisinformationen geprüft |
| 3. Vergleichsmodelle | Wochen 8-10 | Einfache Modelle wie logistische Regression und Entscheidungsbäume trainieren; Ausgangsleistung bestimmen | AUC > 0.60, besser als zufällige Zuordnung |
| 4. Erweiterte Modelle | Wochen 10-14 | Random Forest, XGBoost und LightGBM trainieren; Parameter optimieren | AUC > 0.70, abgestimmte Präzision und Trefferquote |
| 5. Verzerrungen prüfen | Wochen 14-16 | Ergebnisse nach demografischen Gruppen prüfen und Maßnahmen anwenden | Verhältnis ungleicher Auswirkungen < 1.25; gleiche Chancen erreicht |
| 6. Betrieb vorbereiten | Wochen 16-18 | Modellbereitstellung, API-Entwicklung und ATS-Anbindung | API-Antwortzeit < 200ms, 99.9% Verfügbarkeit |
| 7. Pilotprojekt | Wochen 18-26 | Modelle zunächst parallel ohne Entscheidungswirkung erproben, Rückmeldungen sammeln und mit menschlichem Urteil abgleichen | Zufriedenheit der Recruiter > 80%, zunehmende Nutzung |
| 8. Überwachung und Anpassung | Laufend | Leistung und Datenveränderungen beobachten; jedes Quartal nachtrainieren und auf Verzerrungen prüfen | AUC bleibt > 0.70, stabile Fairness-Kennzahlen |
Ergebnisse nach der Einstellung messen
Definition der Zielgröße: Die Einstellungsqualität wird als zusammengesetzter Wert oder als Zuordnung zu zwei Gruppen modelliert, etwa höhere und niedrigere Arbeitsleistung.
| Kategorie | Konkrete Kennzahlen | Datenquelle | Gewicht |
|---|---|---|---|
| Arbeitsleistung | Bewertungen nach 6, 12 und 24 Monaten, Zielerreichung und Rückmeldungen von Kollegen | HRIS oder System zur Leistungsbewertung | 40% |
| Mitarbeiterbindung | Verbleib nach 12 Monaten, erwünschte und unerwünschte Abgänge, freiwillige Kündigungen | Austrittsdaten im HRIS | 25% |
| Zeit bis zur Produktivität | Tage bis zur vollen Produktivität, Abschluss der Einarbeitung, Einschätzung der Führungskraft | Einarbeitungssystem und Befragungen | 15% |
| Zufriedenheit der Führungskraft | Befragung nach 90 Tagen, Bewertung von 1-10, Erwartungen erfüllt: ja/nein | Befragung nach der Einstellung | 10% |
| Zusammenarbeit und Werte | Beteiligungswerte, gemeinsame Werte, Bewertung der Teamarbeit | Mitarbeiterbefragungen | 10% |
Beispielschwelle: Ein Gesamtwert ≥ 75/100 gilt als hohe Einstellungsqualität und damit als positive Klasse. Zum Zeitpunkt der Angebotsentscheidung soll das Modell die Wahrscheinlichkeit dieses Ergebnisses schätzen.
Inhaltsverzeichnis des Leitfadens
Zusammenfassung
- Kosten und Nutzen von Prognoseanalysen im Recruiting.
- Forschungsergebnisse und Modellleistung.
- Einführungsplan und ROI.
Grundlagen datenbasierter Einstellungsprognosen
- Was bedeutet Einstellungsqualität und warum wird sie prognostiziert?
- Grundlagen des maschinellen Lernens für Leser ohne technischen Hintergrund.
- Wann Prognoseanalysen geeignet sind und wann nicht.
- Ethik und verantwortlicher KI-Einsatz.
Datenstrategie und Infrastruktur
- Eine gemeinsame Datenbasis für Einstellungen aufbauen.
- Datenerhebung: Quellen, Anbindungen und ETL-Prozesse.
- Datenqualität: Bereinigung, Prüfung und Vollständigkeit.
- Datenschutz und Anforderungen aus DSGVO, CCPA und EEOC.
- Zentrale Merkmalsablagen und Versionierung von Daten.
Einstellungsqualität definieren
- Ergebniskennzahlen zu Leistung, Bindung und Produktivität.
- Zusammengesetzte Werte und einzelne Kennzahlen vergleichen.
- Beobachtungszeiträume: Ergebnisse nach 6, 12, 18 und 24 Monaten.
- Qualitätskriterien für konkrete Rollen festlegen.
Modellmerkmale aufbereiten
- Bewerbermerkmale aus Lebenslauf, Kompetenztests und Interviews.
- Stellenmerkmale: Rollentyp, Erfahrungsstufe, Abteilung und Standort.
- Prozessmerkmale: Einstellungsdauer, Kontakte und Recruiter-Notizen.
- Wechselwirkungen zwischen Merkmalen und fachliche Kenntnisse berücksichtigen.
- Fehlende Werte behandeln und Kategorien codieren.
Modelle entwickeln
- Algorithmen auswählen: logistische Regression, Random Forests, XGBoost und neuronale Netze.
- Daten in Trainings-, Validierungs- und Testmengen aufteilen; Kreuzvalidierung durchführen.
- Parameter mit GridSearch oder bayesscher Optimierung abstimmen.
- Ensemble-Verfahren und Kombination mehrerer Modelle.
- Python-Codebeispiele und Jupyter-Notebooks.
Modelle bewerten und validieren
- Klassifikationskennzahlen: Genauigkeit, Präzision, Trefferquote, AUC-ROC und F1.
- Kalibrierung und Auswahl der Schwellenwerte.
- Merkmalsbedeutung und Erklärbarkeit mit SHAP und LIME.
- Prüfverfahren: zeitlich getrennte Testdaten und A/B-Tests.
Fairness und Verringerung von Verzerrungen
- Formen algorithmischer Verzerrung bei Einstellungen.
- Fairness-Kennzahlen: ungleiche Auswirkungen, gleiche Chancen und demografische Parität.
- Vorverarbeitung: Ausgleich der Datenbasis und erneute Stichprobenziehung.
- Modelltraining: Fairness-Vorgaben und Regularisierung.
- Nachverarbeitung: Schwellenwerte nach Gruppen überprüfen und optimieren.
- Laufende Prüfverfahren auf Verzerrungen.
Modelle im Betrieb bereitstellen
- Bereitstellung über REST-APIs und stapelweise Bewertung.
- Anbindung an ATS und HRIS.
- Berechnung in Echtzeit und Optimierung der Antwortzeit.
- Versionierung, Rücknahme von Änderungen und parallele Bereitstellungsumgebungen.
Überwachung und Wartung
- Leistung, Antwortzeit und Fehler im Betrieb überwachen.
- Veränderungen der Modellgüte erkennen und melden.
- Zeitplan für Nachtraining und schrittweises Lernen.
- Rückmeldungen nutzen und Modelle regelmäßig verbessern.
Fallstudien und praktische Erfahrungen
- Technologieunternehmen: 75% AUC für die Prognose der Einstellungsqualität im Engineering.
- Finanzdienstleistungen: unerwünschte Fluktuation um 35% reduziert.
- Gesundheitswesen: Leistung klinischer Neueinstellungen um 40% verbessert.
- Erkenntnisse aus der Umsetzung und häufige Fehler.
Den vollständigen Leitfaden anfragen
44 Seiten mit Verfahren zur Datenanalyse, Python-Code, Modellarchitekturen und Fallstudien.
Weitere Whitepapers
Verzerrungen im Recruiting erkennen und verringern
Forschungsbefunde und praktische Verfahren, mit denen Sie Verzerrungen im Recruiting erkennen und reduzieren. Mit Anleitungen zur Einführung und den rechtlichen Anforderungen.
LesenRemote-Recruiting über Standorte und Zeitzonen organisieren
Recruiting-Verfahren für verteilte Teams und internationale Einstellungen. Mit Systemvergleichen, zeitversetzten Interviewabläufen und Hinweisen zu rechtlichen Anforderungen.
LesenKosten und Nutzen automatisierter Recruiting-Aufgaben berechnen
So berechnen Sie Investitionen in Recruiting-Technologie und bereiten sie für Finanzverantwortliche auf.
Lesen