Whitepaper

Einstellungsqualität mit Daten und Prognosemodellen untersuchen

So setzen Sie Datenanalyse und maschinelles Lernen ein, um die spätere Arbeitsleistung einzuschätzen. Enthalten sind Verfahren zur Modellentwicklung, zur Aufbereitung von Merkmalen und Codebeispiele in Python.

Methodik

Analysierte Datensätze: 3.2M+.

Bewerberdatensätze

Auswertung von Daten aus mehreren Jahren

Untersuchungszeitraum: 2018-2024 (6 Jahre). Forschungspartner sind Stanford AI Lab, MIT CSAIL und Carnegie Mellon Machine Learning Dept. Begutachtet wurde die Arbeit im Journal of Applied Psychology und bei der ACM Conference on Fairness, Accountability, and Transparency.

180
Entwickelte PrognosemodelleFür verschiedene Branchen und Rollen
450+
Unternehmen in der UntersuchungVon Startups bis zu Fortune-500-Unternehmen

Ergebnisse zum maschinellen Lernen

Genauigkeit der Prognosen

Prognosegenauigkeit: 73%.

Trainierte Modelle sagen die Einstellungsqualität nach 12 Monaten mit einer Genauigkeit von 73% vorher. Herkömmliche Interviews allein erreichen 54%.

  • Kombinierte Modelle aus XGBoost und Random Forest: 73-76% Genauigkeit.
  • Neuronale Netze: 68-71% Genauigkeit.
  • Klassische Bewertungsbögen: 54-58% Genauigkeit.
  • Alleinige menschliche Intuition: 48-52%, nur wenig über dem Zufallsniveau.

Verbesserung der Einstellungsqualität

Veränderung der Einstellungsqualität: +42%.

Unternehmen mit Prognoseanalysen verbessern ihre Kennzahlen zur Einstellungsqualität um 42%. Gemessen wurden Leistungsbewertungen, Bindung und Zufriedenheit der Führungskräfte.

  • Leistungsbewertung im ersten Jahr: 4.2/5 gegenüber 3.0/5 bei herkömmlichen Verfahren.
  • Zufriedenheit der Führungskräfte nach 90 Tagen: 89% gegenüber 67%.
  • Verbleibsquote nach 12 Monaten: 91% gegenüber 76%.
  • Zeit bis zur vollen Produktivität: 35% kürzer.

Merkmale mit hoher Aussagekraft

Merkmale mit hoher Aussagekraft: 12.

12 Merkmale zeigen über verschiedene Rollen und Branchen hinweg die höchste Vorhersagekraft. Arbeitsproben und strukturierte Prüfungen wiegen dabei schwerer als Lebenslaufmerkmale.

  • Ergebnis der Arbeitsprobe: Merkmalsbedeutung 0.42.
  • Bewertung im strukturierten Interview: Merkmalsbedeutung 0.38.
  • Tests kognitiver Fähigkeiten: Merkmalsbedeutung 0.31.
  • Lebenslaufmerkmale wie Berufsjahre und Ausbildung: Merkmalsbedeutung 0.14 und damit schwach.

Verringerung von Verzerrungen

Veränderung demografischer Verzerrungen: -58%.

Modelle, die mit Fairness-Vorgaben trainiert und regelmäßig geprüft werden, weisen 58% weniger demografische Verzerrungen auf als unstrukturierte menschliche Entscheidungen.

  • Geschlechtsbezogene Verzerrungen: -62% bei Optimierung auf gleiche Chancen.
  • Verzerrungen nach ethnischer Zuordnung: -54% bei Vorgabe demografischer Parität.
  • Altersbezogene Verzerrungen: -51% bei Kalibrierung nach geschützten Gruppen.
  • Regelmäßige Prüfung: Fairness der Modelle jedes Quartal untersuchen.

Wirtschaftlichkeit und Einsparungen

Jährliche Einsparungen: $3.8M.

Unternehmen mit 500-2,000 Beschäftigten sparen durchschnittlich $3.8M pro Jahr. Ursachen sind bessere Einstellungen, weniger Fehlbesetzungen, kürzere Einarbeitung und geringere Fluktuation.

  • Vermiedene Fehlbesetzungskosten: $1.8M bei 15 vermiedenen Fehlbesetzungen zu je $120K.
  • Produktivitätsgewinn: $1.4M durch kürzere Einarbeitung und bessere Leistung.
  • Geringere Fluktuation: $600K bei 8% weniger unerwünschten Abgängen.
  • Einführungskosten: $180-350K im ersten Jahr; laufend $80-150K.

Anforderungen an die Datenbasis

Mindestumfang der Datenbasis: 500+ Einstellungen.

Für das Training sind mindestens 500 frühere Einstellungen mit späteren Ergebnisdaten nötig. Empfohlen werden mehr als 2,000 Datensätze und mehr als 18 Monate Beobachtung.

  • Mindestdatensatz: 500 Einstellungen mit Ergebnissen nach 12 Monaten.
  • Empfohlener Datensatz: mehr als 2,000 Einstellungen mit Nachverfolgung über 18-24 Monate.
  • Datenqualität vor Menge: Bereinigte und strukturierte Daten verwenden.
  • Bei fehlenden eigenen Daten: Übertragung von Modellen vergleichbarer Unternehmen prüfen.

Enthaltene Verfahren

Dateninfrastruktur

Eine Architektur zum Sammeln, Bereinigen und Strukturieren von Einstellungsdaten. Enthalten sind ein Schema für eine zentrale Analysedatenbank (Data Warehouse), Verfahren zur Datenübernahme und -aufbereitung (ETL) sowie zentrale Ablagen für Modellmerkmale.

Modelle entwickeln

Schrittfolgen mit Python-Codebeispielen: Merkmale aufbereiten, Algorithmen auswählen, Modellparameter abstimmen und mehrere Modelle kombinieren.

Bewerten und überwachen

Kennzahlen zur Modellbewertung, Verfahren zur Prüfung von Verzerrungen, Überwachung im laufenden Betrieb und regelmäßiges Nachtrainieren.

Vorgehen zur Entwicklung eines Prognosemodells

PhaseZeitraumAufgabenPrüfkriterien
1. Daten sammelnWochen 1-4Frühere Einstellungsdaten auslesen, Ergebnisgrößen festlegen und Datenqualität prüfen500+ Datensätze, <10% fehlende Daten, definierte Ergebnisse
2. Merkmale aufbereitenWochen 4-8Merkmale aus Rohdaten bilden, fehlende Werte behandeln, Kategorien codieren50-200 Merkmale, auf unbeabsichtigte Nutzung späterer Ergebnisinformationen geprüft
3. VergleichsmodelleWochen 8-10Einfache Modelle wie logistische Regression und Entscheidungsbäume trainieren; Ausgangsleistung bestimmenAUC > 0.60, besser als zufällige Zuordnung
4. Erweiterte ModelleWochen 10-14Random Forest, XGBoost und LightGBM trainieren; Parameter optimierenAUC > 0.70, abgestimmte Präzision und Trefferquote
5. Verzerrungen prüfenWochen 14-16Ergebnisse nach demografischen Gruppen prüfen und Maßnahmen anwendenVerhältnis ungleicher Auswirkungen < 1.25; gleiche Chancen erreicht
6. Betrieb vorbereitenWochen 16-18Modellbereitstellung, API-Entwicklung und ATS-AnbindungAPI-Antwortzeit < 200ms, 99.9% Verfügbarkeit
7. PilotprojektWochen 18-26Modelle zunächst parallel ohne Entscheidungswirkung erproben, Rückmeldungen sammeln und mit menschlichem Urteil abgleichenZufriedenheit der Recruiter > 80%, zunehmende Nutzung
8. Überwachung und AnpassungLaufendLeistung und Datenveränderungen beobachten; jedes Quartal nachtrainieren und auf Verzerrungen prüfenAUC bleibt > 0.70, stabile Fairness-Kennzahlen

Ergebnisse nach der Einstellung messen

Definition der Zielgröße: Die Einstellungsqualität wird als zusammengesetzter Wert oder als Zuordnung zu zwei Gruppen modelliert, etwa höhere und niedrigere Arbeitsleistung.

KategorieKonkrete KennzahlenDatenquelleGewicht
ArbeitsleistungBewertungen nach 6, 12 und 24 Monaten, Zielerreichung und Rückmeldungen von KollegenHRIS oder System zur Leistungsbewertung40%
MitarbeiterbindungVerbleib nach 12 Monaten, erwünschte und unerwünschte Abgänge, freiwillige KündigungenAustrittsdaten im HRIS25%
Zeit bis zur ProduktivitätTage bis zur vollen Produktivität, Abschluss der Einarbeitung, Einschätzung der FührungskraftEinarbeitungssystem und Befragungen15%
Zufriedenheit der FührungskraftBefragung nach 90 Tagen, Bewertung von 1-10, Erwartungen erfüllt: ja/neinBefragung nach der Einstellung10%
Zusammenarbeit und WerteBeteiligungswerte, gemeinsame Werte, Bewertung der TeamarbeitMitarbeiterbefragungen10%

Beispielschwelle: Ein Gesamtwert ≥ 75/100 gilt als hohe Einstellungsqualität und damit als positive Klasse. Zum Zeitpunkt der Angebotsentscheidung soll das Modell die Wahrscheinlichkeit dieses Ergebnisses schätzen.

Inhaltsverzeichnis des Leitfadens

Zusammenfassung

  • Kosten und Nutzen von Prognoseanalysen im Recruiting.
  • Forschungsergebnisse und Modellleistung.
  • Einführungsplan und ROI.
Kapitel 1

Grundlagen datenbasierter Einstellungsprognosen

  • Was bedeutet Einstellungsqualität und warum wird sie prognostiziert?
  • Grundlagen des maschinellen Lernens für Leser ohne technischen Hintergrund.
  • Wann Prognoseanalysen geeignet sind und wann nicht.
  • Ethik und verantwortlicher KI-Einsatz.
Kapitel 2

Datenstrategie und Infrastruktur

  • Eine gemeinsame Datenbasis für Einstellungen aufbauen.
  • Datenerhebung: Quellen, Anbindungen und ETL-Prozesse.
  • Datenqualität: Bereinigung, Prüfung und Vollständigkeit.
  • Datenschutz und Anforderungen aus DSGVO, CCPA und EEOC.
  • Zentrale Merkmalsablagen und Versionierung von Daten.
Kapitel 3

Einstellungsqualität definieren

  • Ergebniskennzahlen zu Leistung, Bindung und Produktivität.
  • Zusammengesetzte Werte und einzelne Kennzahlen vergleichen.
  • Beobachtungszeiträume: Ergebnisse nach 6, 12, 18 und 24 Monaten.
  • Qualitätskriterien für konkrete Rollen festlegen.
Kapitel 4

Modellmerkmale aufbereiten

  • Bewerbermerkmale aus Lebenslauf, Kompetenztests und Interviews.
  • Stellenmerkmale: Rollentyp, Erfahrungsstufe, Abteilung und Standort.
  • Prozessmerkmale: Einstellungsdauer, Kontakte und Recruiter-Notizen.
  • Wechselwirkungen zwischen Merkmalen und fachliche Kenntnisse berücksichtigen.
  • Fehlende Werte behandeln und Kategorien codieren.
Kapitel 5

Modelle entwickeln

  • Algorithmen auswählen: logistische Regression, Random Forests, XGBoost und neuronale Netze.
  • Daten in Trainings-, Validierungs- und Testmengen aufteilen; Kreuzvalidierung durchführen.
  • Parameter mit GridSearch oder bayesscher Optimierung abstimmen.
  • Ensemble-Verfahren und Kombination mehrerer Modelle.
  • Python-Codebeispiele und Jupyter-Notebooks.
Kapitel 6

Modelle bewerten und validieren

  • Klassifikationskennzahlen: Genauigkeit, Präzision, Trefferquote, AUC-ROC und F1.
  • Kalibrierung und Auswahl der Schwellenwerte.
  • Merkmalsbedeutung und Erklärbarkeit mit SHAP und LIME.
  • Prüfverfahren: zeitlich getrennte Testdaten und A/B-Tests.
Kapitel 7

Fairness und Verringerung von Verzerrungen

  • Formen algorithmischer Verzerrung bei Einstellungen.
  • Fairness-Kennzahlen: ungleiche Auswirkungen, gleiche Chancen und demografische Parität.
  • Vorverarbeitung: Ausgleich der Datenbasis und erneute Stichprobenziehung.
  • Modelltraining: Fairness-Vorgaben und Regularisierung.
  • Nachverarbeitung: Schwellenwerte nach Gruppen überprüfen und optimieren.
  • Laufende Prüfverfahren auf Verzerrungen.
Kapitel 8

Modelle im Betrieb bereitstellen

  • Bereitstellung über REST-APIs und stapelweise Bewertung.
  • Anbindung an ATS und HRIS.
  • Berechnung in Echtzeit und Optimierung der Antwortzeit.
  • Versionierung, Rücknahme von Änderungen und parallele Bereitstellungsumgebungen.
Kapitel 9

Überwachung und Wartung

  • Leistung, Antwortzeit und Fehler im Betrieb überwachen.
  • Veränderungen der Modellgüte erkennen und melden.
  • Zeitplan für Nachtraining und schrittweises Lernen.
  • Rückmeldungen nutzen und Modelle regelmäßig verbessern.
Kapitel 10

Fallstudien und praktische Erfahrungen

  • Technologieunternehmen: 75% AUC für die Prognose der Einstellungsqualität im Engineering.
  • Finanzdienstleistungen: unerwünschte Fluktuation um 35% reduziert.
  • Gesundheitswesen: Leistung klinischer Neueinstellungen um 40% verbessert.
  • Erkenntnisse aus der Umsetzung und häufige Fehler.

Autorinnen und Autoren

Dr. Rajesh KumarPrincipal Research Scientist, Stanford AI Lab • Hauptautor

Rajesh forscht zu fairem und erklärbarem maschinellem Lernen in der Personalanalyse. Seine Arbeiten zu algorithmischen Verzerrungen wurden in Nature, Science und ACM FAccT vorgestellt. Er promovierte in Computer Science an der Stanford University und hatte zuvor eine Leitungsrolle bei LinkedIn Talent Analytics.

Dr. Sophia LeeAssociate Professor, MIT CSAIL • Forscherin für maschinelles Lernen

Sophia arbeitet zu angewandtem maschinellem Lernen für Entscheidungen in Organisationen. Sie veröffentlichte mehr als 30 Beiträge zur HR-Prognoseanalyse und beriet Fortune-500-Unternehmen bei der Einführung. Sie promovierte am MIT und erhielt einen NSF CAREER Award.

Marcus BrownHead of People Analytics, Stripe • Praxisbeiträge

Marcus baute bei Stripe eine Plattform für Einstellungsprognosen mit mehr als 200K Bewerbern pro Jahr auf. Er bringt Erfahrungen mit produktiven ML-Systemen, Dateninfrastruktur und der organisatorischen Einführung von KI ein.

Den vollständigen Leitfaden anfragen

44 Seiten mit Verfahren zur Datenanalyse, Python-Code, Modellarchitekturen und Fallstudien.

Per E-Mail anfragen
Demo buchen