Analyse der Attributübereinstimmung: MSA für Bestanden-/Nichtbestanden-Inspektionen

Die Attribut-Übereinstimmungsanalyse ist eine Methode der Messsystemanalyse (MSA), die prüft, ob Prüfer bei Pass/Fail- oder anderen kategorialen Beurteilungen mit sich selbst, untereinander und mit einem bekannten Referenzstandard übereinstimmen. Sie ist das Pendant für Attributdaten zur Gauge R&R-Studie, die für kontinuierliche Messungen verwendet wird. Sichtprüfungen, Go/No-Go-Lehren und kosmetische Einstufungen beruhen alle auf menschlichem Urteil, und dieses Urteil kann genauso wie ein verschlissener Messschieber driftig werden und versagen. Bevor Sie Pass/Fail-Daten ausreichend vertrauen, um darauf zu handeln, benötigen Sie Nachweise, dass die Prüfung selbst wiederholbar und korrekt ist.

Warum Pass/Fail-Prüfungen ihre eigene MSA benötigen

Eine Studie für variable Messgrößen drückt den Messfehler in denselben Einheiten wie die Kenngröße aus. Attributprüfungen erzeugen Kategorien, keine Zahlen, daher müssen Wiederholbarkeit und Reproduzierbarkeit stattdessen als Übereinstimmungsraten ausgedrückt werden. Das ist wichtig, weil eine undichte Prüfung stillschweigend jede nachgelagerte Entscheidung verfälscht. SPC-Charts, die auf Fehlermeldungen basieren, Ausschussberichte und Chargenabnahmen erben alle diesen Fehler. Eine Prüfung mit einer Missrate von zehn Prozent liefert ein fehlerhaftes Teil in zehn mit einem bestandenen Prüfprotokoll.

Die drei Fragen, die die Studie beantwortet

• Innerhalb-Prüfer-Übereinstimmung (Wiederholbarkeit): Bewertet derselbe Inspektor dasselbe Teil auf wiederholten, verblindeten Durchläufen identisch? Niedrige Werte deuten auf eine unklare oder mehrdeutige Fehlerdefinition hin.
• Zwischen-Prüfer-Übereinstimmung (Reproduzierbarkeit): Bewerten verschiedene Inspektoren dasselbe Teil auf dieselbe Weise? Niedrige Werte bedeuten meist, dass jeder Prüfer eine eigene Interpretation der Spezifikation hat.
• Prüfer versus Standard (Wirksamkeit): Stimmen die Bewertungen mit der bekannten Wahrheit überein? Zwei Fehlerarten sind relevant: die Missrate (defekte Teile werden akzeptiert — das kundenseitige Risiko) und die Falschalarmrate (gute Teile werden abgelehnt — erhöhte Ausschuss- und Nacharbeitskosten).

Wie die Studie zu gestalten ist

1. Wählen Sie 30 bis 50 Teile aus. Nehmen Sie bewusst etwa ein Drittel eindeutig guter, ein Drittel eindeutig defekter und ein Drittel grenzwertiger Teile auf. Eine Studie, die nur aus offensichtlichen Teilen besteht, beweist nichts.
2. Stellen Sie den Referenzstandard auf. Ein Qualitätsingenieur oder ein Expertengremium klassifiziert jedes Teil anhand der schriftlichen CTQ-Definition, nach Möglichkeit unter Verwendung laborbasierter Messungen; halten Sie diesen Wahrheitssatz vor den Prüfern verborgen.
3. Führen Sie 3 Prüfer durch 2 oder 3 Durchgänge. Randomisieren Sie die Teilefolge bei jedem Durchgang und blenden Sie die Prüfer gegenüber der Teileidentität und den Ergebnissen der anderen aus.
4. Verwenden Sie Produktionsbedingungen: dieselbe Beleuchtung, Station, Werkzeuge und Zeitdruck wie in einer normalen Schicht.

Beispiel: drei Prüfer, 30 Teile, zwei Durchgänge

Eine Fertigungszelle führt eine Attribut-Übereinstimmungsanalyse für eine visuelle Gratprüfung durch: 20 konforme und 10 defekte Referenzteile, drei Prüfer, jeder bewertet alle 30 Teile zweimal, blind und in randomisierter Reihenfolge. Die Ergebnisse:

• Innerhalb-Prüfer: Prüfer A stimmte in seinen beiden Durchgängen bei 28 von 30 Teilen überein (93,3 Prozent), Prüfer B bei 26 von 30 (86,7 Prozent), Prüfer C bei 29 von 30 (96,7 Prozent).
• Prüfer versus Standard: Zählt man nur Teile, die in beiden Durchgängen korrekt bewertet wurden, erzielte A 27 von 30 (90 Prozent), B 25 von 30 (83,3 Prozent), C 28 von 30 (93,3 Prozent).
• Zwischen den Prüfern: Alle drei stimmten in jedem Durchgang bei 22 von 30 Teilen überein (73,3 Prozent), und alle drei stimmten auch mit dem Standard bei 21 von 30 überein (70 Prozent).

Blick auf Prüfer B: Bei 20 Entscheidungen zu defekten Teilen (10 Teile, 2 Durchgänge) akzeptierte B 3, eine Missrate von 15 Prozent. Bei 40 Entscheidungen zu guten Teilen wies B 3 zurück, eine Falschalarmrate von 7,5 Prozent. Bs Gesamtwirksamkeit beträgt 54 von 60 Entscheidungen bzw. 90 Prozent, was isoliert betrachtet akzeptabel erscheint. Die Missrate von 15 Prozent erzählt die wahre Geschichte, und die 70-Prozent-Team-gegen-Standard-Bewertung zeigt, dass das System, nicht nur eine Person, verbessert werden muss.

Kappa: Übereinstimmung über Zufall hinaus

Prozentuale Übereinstimmung schmeichelt dem System, weil zwei Personen, die Münzen werfen, trotzdem manchmal übereinstimmen würden. Die Kappa-Statistik korrigiert dafür: Kappa = (Po minus Pe) geteilt durch (1 minus Pe), wobei Po die beobachtete Übereinstimmung und Pe die zufällige Übereinstimmung ist. Für Prüfer B versus den Standard gilt Po = 0,90. B akzeptierte Teile in 40 von 60 Entscheidungen, während der Standard 40 von 60 als gut einstuft, also ist Pe = (0,667 × 0,667) + (0,333 × 0,333) = 0,556. Kappa = (0,90 − 0,556) / (1 − 0,556) = 0,78. Als Faustregel gilt: Kappa über 0,75 zeigt gute Übereinstimmung, unter 0,40 zeigt schlechte Übereinstimmung, und viele Automobilkunden erwarten für sicherheitsrelevante Merkmale 0,90 oder besser. B befindet sich in der Grenzzone.

Akzeptanzkriterien und Behebung eines mangelhaften Systems

Weit verbreitete AIAG-ähnliche Richtlinien: Wirksamkeit von 90 Prozent oder mehr ist akzeptabel und 80 bis 90 Prozent ist grenzwertig; eine Missrate von 2 Prozent oder weniger ist akzeptabel und über 5 Prozent ist inakzeptabel; eine Falschalarmrate von 5 Prozent oder weniger ist akzeptabel und über 10 Prozent ist inakzeptabel. Wenn eine Studie durchfällt, sind die Maßnahmen meist verfahrenstechnischer Natur, nicht persönlich:

• Erstellen Sie Grenzproben und Foto-Standards, die den schlechtesten noch akzeptablen und den besten noch ablehnbaren Zustand zeigen.
• Verbessern Sie Beleuchtung, Vergrößerung, Spannvorrichtungen und Prüfzeit.
• Schulen Sie anhand des visuellen Standards nach und führen Sie dann die Studie erneut zur Verifikation durch.
• Automatisieren Sie die Prüfung dort, wo sich das Urteil nicht konsistent machen lässt, und dokumentieren Sie die erforderliche Methode im Control Plan.

Wenn die Defektdefinition selbst strittig ist, führen Sie ein strukturiertes DMAIC-Projekt durch, statt am Prüfplatz zu diskutieren.

Wo Fabrico einzuordnen ist

Die Attribut-Übereinstimmungsanalyse validiert das Urteil; Fabrico liefert die vertrauenswürdigen Produktionsdaten darum herum. Fabrico liefert Echtzeit-OEE- und Produktionsüberwachung, einschließlich Computer Vision an Maschinen ohne SPS, sodass Output- und Qualitätszahlen widerspiegeln, was tatsächlich auf der Linie passiert ist. Das feldtaugliche CMMS von Fabrico übernimmt die operative Seite eines gesunden Messsystems: wiederkehrende Arbeitsaufträge für Kalibrierungen, geplante MSA-Neustudien, Überprüfungen von Grenzproben und vollständige Anlagenhistorien für jede Prüfstation. Fabrico ist in der EU entwickelt mit Datenresidenz in der EU, sodass die Aufzeichnungen für europäische Compliance-Anforderungen prüfbar bleiben.

Häufig gestellte Fragen

Wie viele Teile und Prüfer brauche ich für eine Attribut-Übereinstimmungsanalyse?

Ein gängiges Minimum sind 30 Teile, 3 Prüfer und 2 Durchgänge (180 Entscheidungen). Verwenden Sie 50 Teile, wenn Defekte subtil sind. Die Stichprobe muss grenzwertige Teile nahe der Annahme-/Ablehnungsgrenze enthalten, dort versagen Prüfsysteme tatsächlich.

Welcher Kappa-Wert ist akzeptabel?

Kappa über 0,75 gilt allgemein als gut und unter 0,40 als schlecht. Viele Automobil- und Medizinunternehmen verlangen für kritische Merkmale 0,90 oder höher. Lesen Sie Kappa immer zusammen mit der Missrate, da ein gutes Kappa ein unakzeptables Entweichungsrisiko verbergen kann.

Wie oft sollte die Studie wiederholt werden?

Führen Sie die Studie erneut durch, wenn Prüfer wechseln, wenn sich die Defektdefinition oder Grenzproben ändern, nach einer Kundenbeanstandung und in festen Abständen (jährlich ist typisch). Behandeln Sie sie wie eine Kalibrierung: ein Verantwortlicher, ein Fälligkeitsdatum und ein Protokoll.

Möchten Sie Inspektionsergebnisse, Ausschuss und OEE aus einer vertrauenswürdigen Echtzeitquelle zusammengeführt sehen? Buchen Sie eine Fabrico-Demo und sehen Sie Ihre Qualitätsdaten so, wie es ein Auditor tun würde.