Computer vision w produkcji: budować samodzielnie czy kupić? Rzetelny przewodnik decyzyjny

Inżynierowie w zakładzie widzieli już dema. Wstępnie wytrenowany model YOLO w jedno popołudnie rysuje na laptopie ramki wokół produktów. Dlatego w każdym zakładzie, który chce zliczać produkcję kamerami na potrzeby OEE, pada to samo pytanie: po co płacić dostawcy, skoro modele są darmowe?

To uczciwe pytanie i czasem budowa własnego rozwiązania jest właściwą odpowiedzią. Ten przewodnik pokazuje, co obejmuje budowa we własnym zakresie, na co idą godziny i jak podjąć decyzję osobno dla każdego stanowiska. Dotyczy wyłącznie warstwy kamerowej; o oprogramowaniu OEE w ogóle piszemy w artykule budować czy kupić oprogramowanie OEE.

Czego naprawdę dotyczy ta decyzja

Chodzi o zliczanie produkcji i przekazywanie wyników do OEE, często na stanowiskach bez użytecznego sygnału z maszyny: przy ręcznym pakowaniu, na starych maszynach, przy pakowarce zbiorczej bez wolnego wyjścia PLC. Kontrola jakości (wady, etykiety, kody, poziom napełnienia) to inne zadanie, z osobną decyzją. Jeśli nie ma pewności, czy stanowisko w ogóle potrzebuje kamery, pomoże artykuł kamera czy czujnik do OEE w zależności od maszyny.

Rzeczywisty wybór dotyczy więc trzech dróg:

• Budowa: własny zespół dobiera kamery i komputery brzegowe, trenuje modele open source, pisze logikę zliczania i łączy ją z danymi OEE.
• Zakup modułu kamerowego: dostawca zapewnia zliczanie i jego połączenie z OEE, a kamery montuje się, zasila i podłącza do sieci wspólnie z nim.
• Zakup platformy wizyjnej, budowa modelu: własny zespół etykietuje dane i trenuje modele w narzędziach dostawcy. Nasze strony alternatywy dla Landing AI i alternatywy dla Elementary porównują dostawców z tego segmentu, tak jak każdy z nich sam się opisuje.

Co obejmuje budowa we własnym zakresie

Narzędzia open source ułatwiają pierwszy krok. OpenCV (EN), czyli Open Source Computer Vision Library, jest udostępniana na licencji Apache-2.0. Ultralytics YOLO daje wstępnie wytrenowane modele detekcji, które można dostroić do własnych produktów. Prototyp na jednej kamerze to realny cel dla zdolnego inżyniera. Jednak system zliczania, któremu zakład może ufać na każdej zmianie, wymaga wszystkich poniższych elementów:

• Kamery, obiektywy, oświetlenie i mocowania odporne na mycie, wibracje i wózki widłowe. O dokładności bardziej niż model decydują rozmieszczenie i oświetlenie; więcej w artykule rozmieszczenie kamer i oświetlenie na linii produkcyjnej.
• Komputer brzegowy (edge) na linię lub na kilka kamer, z GPU, systemem operacyjnym, sterownikami i poprawkami bezpieczeństwa, a do tego sieć, która przeniesie wyniki.
• Oznaczone dane treningowe. Przewodnik Ultralytics o zbieraniu i anotacji danych (EN) podaje, że kilkaset oznaczonych obiektów na klasę wystarczy, by zacząć eksperymenty z uczeniem transferowym, i zaleca co najmniej 1 500 obrazów i 10 000 oznaczonych instancji na klasę dla niezawodnego działania w rzeczywistych warunkach.
• Logika zliczania nad detekcją: śledzenie każdej sztuki w strefie, tak aby opakowanie, które się zatrzyma lub dotknie sąsiedniego, zostało policzone raz, a nie dwa razy.
• Połączenie z OEE: stany maszyn, zmiany, produkty i idealne tempo pracy, tak aby zliczenie przekładało się na wydajność i jakość, a nie było tylko liczbą na ekranie.
• Utrzymanie modeli: kontrola wersji modeli i danych, monitorowanie dokładności zliczania i możliwość wycofania wadliwego modelu.

Badacze, którzy wdrażają uczenie maszynowe w systemach produkcyjnych, ostrzegają przed tą luką od lat. W artykule „Hidden Technical Debt in Machine Learning Systems” (EN) inżynierowie Google przekonują, że „niebezpiecznie jest myśleć o tych szybkich sukcesach jak o czymś darmowym”. Szybki sukces to demo. Dług to wszystko wokół niego.

Zmiany opakowań to ukryte obciążenie

Na linii FMCG produkt ciągle się zmienia: nowa grafika, promocyjny rękaw (sleeve), nowy rozmiar opakowania, inna folia. Dla kamery każda z tych zmian to obiekt, który wygląda na nowy.

W uczeniu maszynowym ma to swoją nazwę: dryf. Przegląd w IEEE Transactions on Knowledge and Data Engineering, „Learning under Concept Drift: A Review” (EN), definiuje dryf koncepcji jako „nieprzewidywalne zmiany w bazowym rozkładzie danych strumieniowych w czasie”. Na linii pakującej zmiany są często przewidywalne, bo się je planuje, ale skutek jest ten sam. Model wytrenowany na zeszłorocznych opakowaniach może pomijać tegoroczne lub liczyć je podwójnie.

Dryf jest cichy. Nic się nie zawiesza; zliczenie jest po prostu nieco zaniżone, a OEE wygląda gorzej niż w rzeczywistości. Przykład liczbowy poniżej pokazuje, o ile. Artykuł o tym, jak dokładne jest OEE z kamer, opisuje, jak sprawdzać zliczenia względem liczenia referencyjnego.

Kto to naprawi o 3 w nocy?

Linie pracują w nocy i w weekendy. Gdy o 3 w nocy zawiesi się komputer brzegowy albo ktoś potrąci kamerę, dane OEE dla tej linii przestają spływać lub są błędne, dopóki ktoś tego nie naprawi. Przy własnym systemie ten ktoś jest na liście płac zakładu.

Jedna osoba nie może mieć dyżuru każdej nocy przez cały rok. Prawdziwy grafik dyżurów wymaga co najmniej dwóch osób, które znają system, oraz spisanych instrukcji postępowania dla zespołu zmianowego. Jeśli zespół danych to jeden inżynier, który odpowiada też za system historian zakładu, to jest to ryzyko, a nie szczegół, i rośnie ono w dniu, w którym ten inżynier odejdzie.

Licencje: rachunek za open source

Darmowe do pobrania nie zawsze znaczy darmowe w użyciu w zakładzie. Strona licencyjna (EN) Ultralytics mówi: „Licencja Enterprise jest wymagana, jeśli chce się używać Ultralytics YOLO bez udostępniania całego projektu jako open source”. Ta sama strona wymienia wewnętrzne narzędzia biznesowe oraz wdrożenia wbudowane na urządzeniach brzegowych i kamerach wśród przypadków, które obejmuje. Samo OpenCV jest na licencji Apache-2.0, która jest liberalna. To nie jest porada prawna: zanim cokolwiek zostanie uruchomione produkcyjnie, dokładną listę bibliotek i modeli warto przedstawić działowi prawnemu, a ewentualną licencję komercyjną uwzględnić w budżecie obok godzin pracy.

Budować czy kupić: tabela decyzyjna

Budowa daje kontrolę. Zakup przenosi powtarzalną pracę (etykietowanie, ponowne trenowanie, poprawki, dyżury nocne) na kogoś, do kogo ta praca należy. Co jest warte więcej, zależy od zespołu i stanowisk.

Chcą Państwo zobaczyć, jak moduł kamerowy zasila OEE, zanim zapadnie decyzja? Zapraszamy na demo, warto zabrać ze sobą listę stanowisk.

Przykładowy model nakładu pracy: pierwszy rok budowy

Dane przykładowe, wyłącznie poglądowo. Zakład montuje kamery na 4 liniach, które pracują na 4 formatach opakowań. Zespół etykietuje zgodnie z zaleceniem Ultralytics, 1 500 obrazów na klasę, i poświęca 1 minutę na obraz. Marketing zmienia opakowania 8 razy w roku. To dane przykładowe, a nie benchmarki: należy je zastąpić własnymi.

• Początkowe etykietowanie: 4 formaty × 1 500 obrazów × 1 minuta = 6 000 minut = 100 godzin.
• Trenowanie modelu i testy odbiorcze: 80 godzin (przykład).
• Logika zliczania, śledzenie i połączenie ze stanami OEE, zmianami i idealnym tempem: 320 godzin (przykład).
• Opieka nad komputerami brzegowymi i kamerami: 4 linie × 2 godziny × 12 razy w roku = 96 godzin.
• Ponowne trenowanie po zmianach opakowań: 8 zmian × 1 500 obrazów × 1 minuta = 200 godzin, plus 8 przebiegów testowych × 6 godzin = 48 godzin, razem 248 godzin.

Suma za pierwszy rok: 100 + 80 + 320 + 96 + 248 = 844 godziny. Przy przykładowym roku pracy wynoszącym 1 700 godzin to około połowy etatu jednego inżyniera. W drugim roku etykietowanie i logika są gotowe, ale opieka i ponowne trenowanie zostają: 96 + 248 + 80 godzin poprawek i aktualizacji (przykład) = 424 godziny, czyli około ćwierci etatu inżyniera, co roku. Te godziny nie obejmują nocnych wezwań.

Co cichy dryf robi z OEE

Dane przykładowe, wyłącznie poglądowo. Jedna linia, jedna zmiana: 450 minut planowanego czasu produkcji, 400 minut czasu pracy, idealne tempo 100 sztuk na minutę. Linia faktycznie wytwarza 34 000 sztuk, z czego 680 to braki.

• Dostępność = 400 ÷ 450 = 88,9%.
• Wydajność = 34 000 ÷ (400 × 100) = 85,0%.
• Jakość = 33 320 ÷ 34 000 = 98,0%.
• OEE = 88,9% × 85,0% × 98,0% = 74,0%. Sprawdzenie: 33 320 dobrych sztuk ÷ (450 × 100) = 74,0%.

Teraz pojawia się nowy rękaw promocyjny, a model niezauważenie pomija 3% sztuk. Zlicza 32 980. Wydajność spada do 82,5%, jakość (przy tych samych 680 brakach) do 97,9%, a OEE do 71,8%. Linia nie pracuje gorzej. To model gorzej liczy. Zespół, który goniłby te utracone 2 punkty OEE, goniłby w rzeczywistości problem z modelem. Dlatego audyty zliczeń i plan ponownego trenowania należą do uzasadnienia biznesowego, niezależnie od tego, kto buduje system.

Kiedy budowa jest właściwym wyborem

Budowa nie jest złą odpowiedzią. Dobrze pasuje do wąskiej grupy zakładów.

Budowa, jeśli:

• Stanowisko jest unikalne: nietypowy produkt, proces, którego nie widział żaden dostawca, albo zliczanie wymagające niestandardowej logiki.
• W zakładzie jest już zespół danych, który utrzymuje modele produkcyjnie, z dyżurami i dokumentacją.
• Praca nad wizją jest częścią przewagi nad konkurencją, więc posiadanie modelu jest ważniejsze niż godziny.
• Dział prawny zatwierdził licencje, a zakład jest gotów finansować tę pracę co roku, a nie jednorazowo.

Zakup, jeśli:

• Linie pracują ze standardowymi opakowaniami, kartonami i tackami, a celem jest zliczanie do OEE, a nie projekt badawczy.
• Czas inżynierów lepiej poświęcić przezbrojeniom i stratom niż opiece nad modelami.
• Nikt nie może zagwarantować nocnych dyżurów dla systemu kamer przez lata.

Jedno i drugie, jeśli: większość stanowisk jest standardowa, ale jedno nie. Zliczanie dla standardowych linii warto kupić, a własny zespół skierować na to jedno stanowisko, do którego nie pasuje żaden dostawca. Jeśli gdziekolwiek wybierana jest budowa, warto prowadzić ją jako pilotaż z jasnymi kryteriami zakończenia; przewodnik pilotaż computer vision dla OEE pokazuje, jak je ustalić.

Infografika (tekst po angielsku) zestawia sześć zadań, od kamer po połączenie z OEE, wskazuje, kto za nie odpowiada przy budowie i przy zakupie, oraz pokazuje przykładowy nakład godzin w pierwszym roku budowy.

Pytania do każdego dostawcy lub do własnego zespołu

Te same pytania działają w obie strony. Jeśli własny zespół nie potrafi na nie odpowiedzieć, to jest odpowiedź w sprawie budowy.

1. Kto etykietuje dane treningowe i ile obrazów na produkt potrzebuje pierwszy model?
2. Kto przy zmianie opakowania trenuje model ponownie, jak szybko i jak sprawdza się zliczanie przed nową serią?
3. Jak testuje się dokładność zliczania względem liczenia referencyjnego i jak często po uruchomieniu?
4. Kto instaluje poprawki na komputerze brzegowym i kamerach i kto zauważy, gdy któreś z tych urządzeń straci połączenie?
5. Kto odbierze zgłoszenie o 3 w nocy w niedzielę i co jest spisane dla zespołu zmianowego?
6. Jakie biblioteki i modele open source są w środku i na jakich licencjach?
7. Jak zliczenia łączą się ze stanami maszyn, zmianami i idealnym tempem, aby powstało OEE?
8. Czy wideo jest przechowywane, gdzie i kto ma do niego dostęp? Więcej w artykułach przechowywanie wideo z linii i kamery bez inwigilacji.

Gdzie pasuje Fabrico

Fabrico to chmurowa platforma oprogramowania OEE i lekkiego MES. Zatrzymania i zliczenia pochodzą z sygnału maszyny (PLC, czujnik lub licznik), a operator dodaje przyczynę zatrzymania przy linii na tablecie lub telefonie. OEE, przestoje i straty są widoczne dla każdej linii i zmiany, a straty również w ujęciu finansowym.

Dla stanowisk bez użytecznego sygnału Fabrico oferuje na życzenie moduł kamerowy computer vision. Moduł kamerowy zlicza produkcję na linii, również na stanowiskach ręcznych, a te zliczenia zasilają to samo OEE co dane z maszyn. Z modułem kamerowym można otworzyć wideo z dowolnej chwili na osi czasu zmiany; w standardowej konfiguracji wideo jest przesyłane strumieniowo na żądanie, a nie przechowywane. Jak działa zliczanie, wyjaśnia artykuł wizualne zliczanie z AI w produkcji.

Plan rozwoju, wyraźnie oznaczony: wykrywanie zatrzymań przez kamery i sugestie przyczyn zatrzymań potwierdzane przez operatora są w planach rozwoju, dziś jeszcze nie działają. Fabrico nie sprzedaje kontroli jakości. Niestandardowe moduły AI są dostępne jako prace na zamówienie, dla rzadkiego stanowiska, które ich wymaga.

Dane opuszczają Fabrico przez REST API, webhooki oraz eksport do Excela lub CSV. Jak obsługiwane są zmiany opakowań i czy mogą trafiać do systemu zliczenia z własnego modelu, to pytania na demo. Te deklaracje warto sprawdzić tak samo jak deklaracje każdego dostawcy. Perspektywę FMCG na to, gdzie kamery się opłacają, przedstawia artykuł computer vision w produkcji FMCG.

O co pytają Państwo w następnej kolejności

Czy zbudowanie computer vision we własnym zakresie jest tańsze?

Kod i modele mogą kosztować niewiele albo nic. Godziny pracy już nie. W przykładowym modelu z tej strony zespół poświęca 844 godziny w pierwszym roku i 424 godziny w każdym kolejnym, głównie na integrację i ponowne trenowanie. Własne godziny warto zestawić z ofertą każdego dostawcy i poprosić wszystkich dostawców o wycenę tej samej listy stanowisk, aby liczby były porównywalne.

Czy można zacząć od YOLO open source i później przejść do dostawcy?

Tak, a krótki test to tani sposób, by sprawdzić, jak trudno zliczać własne produkty. Przed uruchomieniem produkcyjnym należy sprawdzić licencję: Ultralytics podaje, że licencja Enterprise jest wymagana, jeśli chce się używać jej modeli YOLO bez udostępniania całego projektu jako open source. Warto zachować zliczenia i definicje z testu, aby porównać je ze zliczeniami dostawcy na tych samych zmianach.

Ile obrazów trzeba oznaczyć?

Ultralytics podaje, że kilkaset oznaczonych obiektów na klasę wystarczy, by zacząć eksperymenty z uczeniem transferowym, i zaleca co najmniej 1 500 obrazów i 10 000 oznaczonych instancji na klasę dla niezawodnego działania w rzeczywistych warunkach. Każdy format opakowania, który wygląda inaczej, może wymagać własnej klasy lub dodatkowych danych treningowych.

Co dzieje się z modelem zliczającym, gdy zmienia się opakowanie?

Dla kamery produkt wygląda inaczej, więc model może pomijać sztuki albo liczyć jedną dwa razy. Nowe obrazy, etykiety i przebieg testowy trzeba zaplanować, zanim nowa grafika opakowania trafi na linię. Przy zakupie warto zapytać każdego dostawcę, kto obsługuje zmianę opakowania, jak szybko i jak potem udowadnia, że zliczanie jest poprawne.

Czy można używać własnego modelu i jednocześnie oprogramowania OEE dostawcy?

Często tak, jeśli oprogramowanie OEE przyjmuje zliczenia z zewnętrznych źródeł. Warto zapytać każdego dostawcę, jak trafiają do niego zewnętrzne zliczenia i jak łączą się ze stanami maszyn i zmianami. W przypadku Fabrico to, czy zliczenia z własnego modelu mogą trafiać do systemu na danej linii, jest pytaniem na demo.

Czy moduł kamerowy do OEE zastępuje kamery inspekcyjne?

Nie. Systemy inspekcji sprawdzają wady, etykiety, kody i poziom napełnienia. Moduł kamerowy do OEE zlicza produkcję. Oba działają obok siebie, a braki z systemu inspekcji mogą zasilać składnik jakości OEE przez licznik lub sygnał braków z linii.

Chcą Państwo porównać zakup z planem budowy? Zapraszamy na demo, pokażemy rozwiązanie na linii podobnej do Państwa.