Deep Learning bei der optischen Qualitätskontrolle

KI-basierte neuronale Netze helfen bei der Bildauswertung

Deep Learning bei der optischen Qualitätskontrolle von z.B. Lötverbindungen

Bei Lötverbindungen auf Leiterplatten bedingt der gesetzlich vorgeschriebene Wechsel zu bleifreien Loten erhöhte Ausfallraten. Daher muss die Qualitätskontrolle verbessert werden. Zum Einsatz kommen dabei Systeme für die kameragestützte automatische Bildauswertung. Die bisher üblichen Verfahren stossen allerdings noch an Grenzen. Bei der Festlegung der Prüfkriterien muss der Anwender einen schmalen Grat zwischen zu hohen internen oder zu hohen externen Fehlerraten beschreiten. Eine jetzt bei Siemens Smart Infrastructure installierte Lösung bindet deshalb eine auf „Künstlicher Intelligenz“ (KI) basierende Deep-Learning-Lösung ein, was deutliche Verbesserungen ermöglichte.

„Unser Kunde Siemens Smart Infrastructure stellt auf automatischen Anlagen Rauchmelder für den Brandschutz in zahlreichen Varianten und in mittleren bis grossen Stückzahlen her“, weiss BSc FHO Lukas Vassalli, Entwickler bei Fa. Compar AG in Pfäffikon (Schweiz). Die verwendeten Bauteile werden mithilfe von Bestückungsautomaten auf die Platine gesetzt und anschliessend von oben verlötet. Das EU-weite Verbot bleihaltiger Lotlegierungen zwingt die Hersteller zur Verwendung bleifreier Lote, die jedoch schlechtere Löteigenschaften haben. Die Folge sind erhöhte Ausschuss- und Ausfallraten. Umso wichtiger sind zuverlässige automatische Qualitätskontrollsysteme. Meist handelt es sich um kameragestützte Bildverarbeitungs-Lösungen, die mithilfe geeigneter Softwarepakete aufgrund von Bildanalysen In-Ordnung/Nicht-In-Ordnung-(IO/NIO)-Einteilungen vornehmen. Ihre Trennschärfe stellte bisher jedoch nicht immer zufrieden. Vor allem beim Einsatz für kritische Sicherheitsfunktionen müssen die Prüfkriterien zur „sicheren“ Seite hin getrimmt werden, da Brandmelder höchste Zuverlässigkeit aufweisen müssen. Dies bedingt jedoch erhöhte Ausschussraten mit entsprechenden Kostennachteilen. Um diese zu verringern, habe man sich bei Compar zum Ziel gesetzt, bei der Bildanalyse zusätzlich Lösungen mit „Künstlicher Intelligenz“ in Form selbstlernender neuronaler Netze einzusetzen. Zudem ging es darum, solche Aufgaben in übergeordnete IT-Strukturen im Rahmen von „Industrie 4.0“-Konzepten einzubinden.

KI-Einbindung

„Der Bildverarbeitungs-Spezialist Cognex hat für solche Aufgabenstellungen unter der Bezeichnung ViDi fertige Softwarepakete in Form von Plug-In-Modulen entwickelt“, ergänzt L. Vassalli. Als hardwareseitige Voraussetzung sollte zumindest in der Trainingsphase ein leistungsfähiger Bildprozessor (Graphics Processing Unit, GPU) auf dem eingesetzten Rechner vorhanden sein. Wesentliche Komponente der Software Bibliothek ist ein neuronales Netz, das bereits teilweise vorstrukturiert ist, so dass der Anwender schnell und einfach mit dem Einlernen beginnen kann. Dies ist vor dem ersten Einsatz erforderlich und erfolgt, indem dem Netz eine gewisse Zahl von Bildern als „Trainingsmaterial“ vorgegeben wird. Anschliessend kann es neue Bilder selbständig nach den gewünschten Kriterien beurteilen. Der beim Training entstandene Wissensschatz wird im Laufe des Einsatzes ständig erweitert und verfeinert, weshalb auch der Begriff „Deep Learning“ geprägt wurde. Bei der hier beschriebenen Anwendung geht es neben der Beurteilung von Lötverbindungen auch um das Auffinden von Bestückungsfehlern.

Gesamtsystem

„Das Gesamtsystem besteht aus der Kamera und einer für die Anwendung ausgelegten Beleuchtung, welche die Platinen aufnimmt, sowie einem Industrie-PC mit dem VISIONexpert®-Programm“, sagt L. Vassalli. Ergänzt wird es durch das ViDi-Paket, das als „Black-Box“ arbeitet. Es analysiert die übergebenen Bilder mithilfe seines neuronalen Netzes und liefert entsprechende Beurteilungen zurück. Dies erfolgt verzögerungsfrei innerhalb von Millisekunden im Takt der Produktionslinie. Vor dem Start wurde das System von Compar mithilfe von Bildern zur Verfügung gestellter Musterteile vorkonfiguriert. Im laufenden Einsatz kann das System vom Anwender selbst je nach Bedarf mit neuen Produkten trainiert oder mit Varianten bereits vorhandener Produkte nachtrainiert werden. Für solche Trainingsphasen sind dank der hohen Rechnerleistung lediglich wenige Minuten erforderlich. Beim Training kann man das System entweder direkt mit Fotos „füttern“ oder im Supervisor-Modus Fehlstellen vorab durch Farbmarkierungen hervorheben. Nach kurzer Schulung ist der Kunde imstande, solche Aufgaben selbst durchzuführen. Dies ist eine wesentliche Voraussetzung für den Erfolg des Projekts. Im vorliegenden Fall genügten etwa 50 Bilder von Gutteilen sowie von der gleichen Zahl an Schlechtteilen.

Die ViDi-Abläufe

„Die ViDi-Software besteht aus drei Modulen (red, green und blue), von denen im vorliegenden Fall die Module „red“ und „blue“ zum Einsatz kommen“, verrät L. Vassalli. Das als „Locator“ bezeichnete „blue“-Modul kontrolliert die Leiterplatinen auf korrekte Bestückung. Es identifiziert Lötstellen und Bauteilpositionen sowie Aufdrucke. Dabei sind Varianzen vorgebbar. Anschliessend übernimmt dann ViDi „red“ die Klassifikation in IO- bzw. NIO-Teile.

Beim Training kann man verschiedene Ansätze wählen, z. B. indem man statt der beiden Kategorien IO/-NIO ausschliesslich IO-Teile vorgibt. In diesem Falle wird die KI alles, was nicht eindeutig als IO erkennbar ist, automatisch als NIO klassifizieren.

Die Trennschärfe als Zuverlässigkeitsmerkmal

„Eine wichtige Eigenschaft der ViDi-Analyse ist die numerische Bewertung der Klassifikation des jeweiligen Ergebnisses“, setzt L. Vassalli hinzu. Das System klassifiziert begutachtete Bilder zwar grundsätzlich nach den Kriterien „IO“ bzw. „NIO“, gibt aber hierzu stets einen prozentualen Vertrauenswert aus. Dieser gibt an, zu welchem Prozentsatz die Software Bild sich in ihrem Urteil sicher ist. Die Skala geht dabei von 0 (= 100% IO) bis zu 1 (= 0% IO bzw. 100 % NIO). Die Häufigkeitsverteilung dieser Einstufungen wird statistisch in Form von Diagrammen mit z.B. grüner Farbe für IO- und roter Farbe für NIO-Ergebnisse ausgegeben. Sie haben die Form von zwei Balkendiagrammen in grüner bzw. roter Farbe, die sich teilweise überlappen können.

Eine einfachere Darstellung ergibt sich aus der Auftragung der kumulierten und auf Eins normierten Streubereiche. Diese können sich je nach Aufgabe und Bewertungskriterien entweder teilweise überlappen oder zwei deutlich getrennte Gruppen bilden. Wenn das Training optimal gelaufen ist, gibt es zwischen den kumulierten Häufigkeitsbereichen keine Überlappung. Dies belegt dann eine gute Trennschärfe des Verfahrens. Ist dies nicht der Fall, so landet man im Entscheidungsbereich zwischen „falsch-positiven“ und „falsch-negativen“ Einstufungen. In solchen Fällen spielt die optimale Festlegung des sogenannten Treshhold-Wertes eine wichtige Rolle. Platziert man diesen mehr zur sicheren Seite hin, so minimiert man beispielsweise das Ausfallrisiko von sicherheitsrelevanten Komponenten beim Kunden. Mit der umgekehrten Strategie kann man dagegen ggf. das interne Ausschussgeschehen absenken.

Zusammenspiel mit VISIONexpert®

„Besonders interessant wird für die Kunden die Verzahnung der beschriebenen ViDi-Möglichkeiten mit der von uns entwickelten Bildverarbeitungssoftware VISIONexpert®“, bilanziert L. Vassalli. Das Compar-Programm übernimmt als Hauptkomponente zunächst das externe Hardware-Handling, d.h. die Anbindung der zahlreichen möglichen Kameramodelle sowie sonstiger Peripherie. Weitere Aufgabe ist das Bilddaten-Management sowie die Weitergabe von zu analysierenden Bilddaten an ViDi. Die zurückgelieferten Ergebnisse werden intern verwendet, visualisiert und schliesslich in die Entscheidungsfindung eingebunden. Trotz aller Automatik behält der Mensch durch Vorgabe von Prüfkriterien und Entscheidungsvorgaben wie z.B. dem Treshhold-Level stets die Entscheidungsgewalt.

Zur Analyse und Beurteilung eines Prüflings werden neben den Ergebnissen der ViDi-Untersuchung auch die VISIONexpert®-eigenen Fähigkeiten herangezogen. Diese Software kann im Unterschied zum ViDi-Plug-In beispielsweise Abmessungen bis herab in dem µm-Bereich mit hoher Genauigkeit messen und anhand der Ergebnisse Entscheidungen treffen. Schliesslich übernimmt VISIONexpert® auch noch die Kommunikation mit der übergeordneten IT des Unternehmens. Für Compar, das seit Jahrzehnten Lösungen zur visuellen Qualitätskontrolle entwickelt, ist die Einbindung des neuen, KI-basierten Tools ein wichtiger Schritt zur weiteren Verbesserung des Angebots, so L. Vassalli.


Verwandte Artikeln

Automatische optische Druckbildinspektion

Neue Software-Generation bündelt Knowhow aus zahlreichen Einzelfall-Lösungen

Automatisches Lesen von Autokennzeichen

KI-gestützte Kennzeichenerkennung senkt Verwaltungsaufwand und reduziert Lagerbelegung