grudzień 2020
24
2:12:00
Transport kolejowy należy do najbezpieczniejszych form przemieszczania osób i ładunków. Wypadki, wskutek których kolej jako ich przyczyna trafia na pierwsze strony gazet, zdarzają się bardzo rzadko. O wiele częściej dochodzi na sieci kolejowej do zdarzeń o znacznie mniejszym znaczeniu np. przejazd poza sygnał zabraniający jazdy (kat. B04 i C44). Mimo że w większości nie powodują one skutków, bądź prowadzą do stosunkowo niewielkich strat materialnych, stwarzają poważne ryzyko powstania przy niefortunnym zbiegu okoliczności zdarzeń o znacznie poważniejszych skutkach.
System SHP, obecnie powszechny, a jeszcze przez wiele lat dominujący, na sieci kolejowej w Polsce, nie daje maszyniście oczekiwanego wsparcia, jak stosowane na innych kolejach systemy ASFA, PZB, MIREL itp. Na zmodernizowanych liniach maszynista prowadząc pociąg z dużą prędkością mija co kilkaset metrów sygnalizator, kasując co chwila przycisk SHP, w dodatku na przemian z przyciskiem czuwaka, nie uzyskując przy tym żadnej informacji o sygnale nadawanym przez sygnalizator. Na obszarach stacji jest jeszcze gorzej, ponieważ impuls SHP następuje już po minięciu semafora, a przed sygnalizatorami do jazd manewrowych elektromagnesy SHP nie są umieszczane.
Z drugiej strony w dobie sukcesywnej implementacji na terenie Unii Europejskiej zunifikowanego systemu zarządzania ruchem kolejowym ERTMS modyfikacja narodowego systemu klasy B, jakim jest SHP, zapewne nie znalazłaby politycznego, ani ekonomicznego wsparcia.
Idea rozwiązania
Już trzy lata temu, po zdarzeniu kolejowym kat. C44, wśród kadry menedżerskiej PKP Energetyka S.A. zrodził się pomysł, aby wykrywać zbliżanie się pojazdu kolejowego do semafora z sygnałem „Stój” na podstawie obrazu kamery skierowanej na szlak. Na podstawie tego pomysłu Zarząd PKP Energetyka S.A. oficjalnie powołał innowacyjny projekt, który ostatecznie zyskał nazwę „System AOM” (Automatyczne Ostrzeganie Maszynisty).
Pierwsze próby przeprowadzone w listopadzie 2017 r. potwierdziły szansę wykorzystania strumienia video z kamery jako źródła informacji o sygnalizatorach i sygnałach na nich. Jednakże wynikało z nich również, że osiągnięcie celu wysokiej sprawności w warunkach kolejowych nie będzie łatwe, a detekcja sygnałów na sygnalizatorach jest zadaniem zdecydowanie trudniejszym niż system rozpoznawania znaków drogowych, już obecnie stosowany w wielu markach samochodów.
Kluczową kwestią był dobór sprzętu, na którym oprogramowanie do analizy obrazu miałoby działać. Aby sprawnie rozwiązywać zidentyfikowane problemy i skupić się na rozwoju algorytmu analizy obrazu PKP Energetyka S.A. nawiązała w lutym 2018 r. współpracę z firmą SSK Rail z Poznania, która miała duże doświadczenie w opracowaniu i implementacji systemów rejestracji obrazu szlaku przed pociągiem, cechujących się wysoką sprawnością i niezawodnością działania. Od tego momentu obie firmy pracują w projekcie razem, a prezentowane w artykule wyniki są efektem ich wspólnych działań.
W kwietniu 2018 r. Prezes UTK ogłosił konkurs pn. „Kultura Bezpieczeństwa w Transporcie Kolejowym”. Projekt „System AOM” został zgłoszony w kategorii „Rozwiązanie techniczne” i jako idea uzyskał wyróżnienie. Stworzyło to dla obu współpracujących firm motywację do intensywnej pracy celem osiągnięcia założonych w projekcie celów.
Istota rozwiązania
Przyjęte w projekcie rozwiązanie bazuje na sztucznej inteligencji. Zadanie główne polegało na uczeniu sieci neuronowej rozpoznawania zdefiniowanych obiektów, która następnie stworzy wzorce określonych ciągów danych do zaaplikowania w rejestratorach pojazdów kolejowych.
Proces uczenia ilustruje rys. 1. Na podstawie setek, a jeszcze lepiej tysięcy, różnych zdjęć tych samych obiektów, wykonanych w odmiennych warunkach i perspektywach, celowo zawierających elementy częściowo przesłaniające rozpoznawany obiekt itp. sieć neuronowa wypracowuje ciąg danych opisujących przedmiot detekcji. Dane powinny opisywać obiekt możliwie precyzyjnie, a jednocześnie wychwytywać jego najbardziej charakterystyczne cechy tak, aby układ mógł rozpoznać sygnalizator nawet wtedy, gdy nie jest widoczny w całości (gałęzie drzew, zanieczyszczenie szyby pojazdu itp.). Nie powinien go również pomylić z innymi elementami infrastruktury kolejowej, które mogą mieć wygląd podobny do sygnalizatora.
Podkreślić należy, że proces uczenia sieci neuronowej jest iteracyjny. Im więcej różnych zdjęć obiektu zostanie wykorzystane do uczenia sieci, tym trafność rozpoznania obiektu przez rejestrator będzie większa. Oznacza to, że doskonalenie skuteczności rozpoznawania sygnalizatorów będzie osiągane nawet w trakcie eksploatacji na pojazdach kolejowych, a oprogramowanie rejestratorów z każdym przyrostem inteligencji sieci będzie okresowo aktualizowane.
Współpraca z przewoźnikami kolejowymi
Cechą typową dla użytkowania pociągów sieciowych jest bardzo mały udział jazdy pociągowej w ogólnym czasie pracy pojazdu. Inaczej mówiąc: pociąg sieciowy głównie porusza się w miejscu pracy, albo na bazie oczekuje na wyruszenie do kolejnego zadania. Przejazd do miejsca pracy, a następnie powrót do bazy trwa stosunkowo niedługo, zatem i liczba mijanych po drodze sygnalizatorów jest niewielka.
Potrzeba pozyskiwania dużej ilości zdjęć sygnalizatorów wskazywała na konieczność zaangażowania do udziału w projekcie przewoźników, których pociągi wykonują regularne jazdy handlowe w częstym takcie lub na duże odległości. Po przeprowadzonych z kierownictwami kilku przewoźników rozmowach ostatecznie prototypowe zestawy urządzeń AOM zostały zamontowane na trzech pojazdach trakcyjnych:
W końcowej fazie projektu aktywnie uczestniczyła również spółka „Pol-Miedź-Trans”, która udostępniła do przeprowadzenia testów lokomotywy wyposażone w rejestratory umożliwiające uruchomienie oprogramowania AOM.
Partnerem w projekcie była również PKP Intercity S.A., umożliwiając upoważnionym osobom przejazd w kabinach pojazdów trakcyjnych na potrzeby rejestracji pozycji sygnalizatorów, o czym mowa niżej.
Baza danych o sygnalizatorach
Typowy rejestrator w trakcie jazdy pociągu pobiera strumień danych z kamery i zapisuje na dysku w określonym formacie. Pliki video pozostają na dysku rejestratora do czasu, aż zostaną nadpisane przez kolejne dane.
Tymczasem na potrzeby projektu potrzebne były pojedyncze klatki zawierające zdjęcia sygnalizatorów, do których zbliżał się pociąg. Zatem rejestrator powinien:
Z uwagi na skomplikowany i niejednoznaczny system określania lokalizacji na liniach kolejowych według numeru linii w instrukcji PKP PLK Id-12 oraz kilometra/hektometra przyjęto nie budzący wątpliwości i łatwy do implementacji system według pozycji GPS sygnalizatorów.
Firma SSK Rail udostępniała już wcześniej przewoźnikom platformę analityczną o nazwie VoD Rail, jednakże jej podstawowymi funkcjami były: testowanie systemu monitoringu na pojeździe w trakcie jego uruchamiania, regularne sprawdzanie funkcjonowania monitoringu w czasie jazdy pojazdu oraz pobieranie i przesyłanie na serwer materiału filmowego na odrębne żądanie użytkownika. Firma opracowała nową wersję 3.0, która umożliwiła szczegółową inwentaryzację sygnalizatorów na liniach kolejowych, a następnie dwustronną komunikację z rejestratorami pracującymi na pojazdach kolejowych.
Baza zawiera o każdym wpisanym sygnalizatorze następujące podstawowe informacje:
Informacje potrzebne były nie tylko na potrzeby gromadzenia materiału zdjęciowego do uczenia sieci neuronowej, ale również do badań eksploatacyjnych urządzeń AOM w trybie półautomatycznym.
Do bazy na wybranych odcinkach linii kolejowych wpisane są wszystkie sygnalizatory na szlakach oraz w stacjach przy torach głównych zasadniczych. Nie są natomiast ujmowane sygnalizatory powtarzające jako nie posiadające samodzielnego znaczenia sygnałowego.
Moduł interpretujący
Działanie rejestratorów AOM wyłącznie na podstawie informacji wypracowanych przez algorytmy sieci neuronowej jest tylko podstawą do prawidłowego generowania ostrzeżeń dla maszynisty.
Sieć reaguje na pobierany strumień video szybko, ale zupełnie bez kontekstu. Jeśli rozpozna głowicę sygnalizatora, na której w górnej części świeci się światło zielone, uzna to za sygnał zezwalający na jazdę. Jednak wskutek zbliżania się pojazdu do semafora w pewnym momencie górna część głowicy znajdzie się poza kadrem obrazu, a przez to światło zielone zniknie z pola widzenia, sieć uzna wtedy widoczną część głowicy jako semafor ciemny i wyśle komunikat, że semafor zmienił sygnał na „Stój”.
Podobnie byłoby z semaforem nadającym sygnał zielony migający, który dla sieci będzie oznaczał naprzemiennie: semafor z sygnałem zielonym i semafor ciemny.
Dlatego też informacje generowane przez moduł rozpoznawania obrazu filtrowane są przez moduł interpretujący, który ma za zadanie uwzględnić kontekst sytuacyjny przed wygenerowaniem decyzji: ostrzegać maszynistę czy nie. Moduł ten, wykorzystując dwustronną komunikację z platformą VOD Rail, może np. wygenerować prawidłowy komunikat w sytuacji, gdy sieć nie jest w stanie dostatecznie pewnie rozpoznać koloru świecącego światła. Może również wygenerować ostrzeżenie o zbliżaniu się w porze nocnej do semafora ciemnego, dysponując informacją o aktualnej pozycji GPS pojazdu.
Kolejnym zadaniem, jakie „otrzymał” moduł interpretujący, jest określenie obszaru, w którym sieć ma skanować obraz w poszukiwaniu sygnalizatora (skanowanie całej klatki jest niezasadne z uwagi na zajęcie mocy obliczeniowej rejestratora i straty czasu). Na ogół skanujemy obszar na prawo od toru, ale w trakcie jazdy lewym torem semafor będzie poszukiwany na lewo od toru.
Jeżeli pojazd porusza się po łuku, obszar poszukiwania semafora musi być odpowiednio przesunięty, maszynista bowiem widzi przed sobą przestrzeń, ale sieć neuronowa poszukuje głowicy semafora na obrazie płaskim.
Testy eksploatacyjne oprogramowania AOM
Finalną ocenę skuteczności oprogramowania AOM przeprowadzono w okresie od 14 kwietnia 2020 r. do 30 czerwca 2020 r. Wykorzystano przy tym 2 rejestratory zamontowane w elektrycznych zespołach trakcyjnych (ŁKA i KD), 11 rejestratorów zamontowanych na pociągach sieciowych PKP Energetyki i 5 rejestratorów na lokomotywach „Pol-Miedź-Trans”.
Test skuteczności detekcji został przeprowadzony przy następujących ograniczeniach funkcjonalności oprogramowania AOM:
Powyższe oznacza, że detekcja sygnalizatorów i sygnałów wykonana została w warunkach trudniejszych niż podczas normalnej pracy urządzenia AOM na pojeździe kolejowym. Przyjęto jednak celowo takie warunki pracy, aby ułatwić wykrycie błędów detekcji i identyfikację przyczyn nieprawidłowości.
Za błąd krytyczny uznawany był brak komunikatu ostrzegającego maszynistę, gdy sygnalizator nadawał sygnał zabraniający jazdy (na potrzeby testu za sygnały zabraniające jazdy uznawano również tarcze manewrowe nadające sygnał Ms1 „Jazda manewrowa zabroniona”, mimo że sygnał ten nie obowiązuje w trybie jazdy pociągowej).
Natomiast za błąd pomniejszy uznane było wygenerowanie komunikatu ostrzegającego maszynistę w przypadkach zbliżania się czoła pojazdu do semafora lub tarczy manewrowej nadającej sygnał zezwalający na jazdę lub w miejscu, w którym nie ma sygnalizatora (zbędne ostrzeżenie maszynisty).
Wszystkie komunikaty wysyłane przez rejestratory były nanoszone przez platformę VoD Rail na mapę linii kolejowej, a następnie podlegały ocenie przez operatora. W razie wątpliwości co do poprawności zarejestrowanego komunikatu operator mógł pobrać klatkę obrazu z miejsca, w którym komunikat został wygenerowany.
Podczas testów eksploatacyjnych prowadzonych w PKP Energetyka przeanalizowano ponad 5500 komunikatów wygenerowanych przez rejestratory AOM. Ponadto kierownik projektu przeprowadził jazdy obserwacyjne w kabinie maszynisty, z bieżącym podglądem działania AOM, na trasach o łącznej długości 390 km.
Działanie AOM poddano również niezależnej ocenie, wykonanej przez Instytut Kolejnictwa. Eksperci IK w okresie od 9 maja do 8 października zarówno analizowali komunikaty AOM, generowane przez rejestratory na pojazdach trakcyjnych i zapisywane przez platformę VoD Rail, jak też przeprowadzili jazdy obserwacyjne w kabinie maszynisty.
Wdrożenie projektu do użytkowania
Przeprowadzone testy eksploatacyjne, jak również ocena przeprowadzona przez ekspertów Instytutu Kolejnictwa wykazały, że oprogramowanie AOM znacznie przekroczyło oczekiwaną 95% skuteczność detekcji sygnalizatorów i sygnałów, może zatem być wdrożone do eksploatacji – w pierwszym etapie, zgodnie z zaleceniem IK, jako eksploatacja nadzorowana.
W trybie jazdy pociągowej dużym wspomaganiem dla algorytmu AOM, wpływającym na poziom detekcji i bezbłędność generowanych alertów, jest możliwość korzystania z bazy danych o sygnalizatorach udostępnianych poprzez platformę analityczną VoD Rail. W ramach projektu zostały opisane sygnalizatory w torach szlakowych i głównych zasadniczych stacji na 2.658 km linii kolejowych (ponad 9 tys. sygnalizatorów). Dalszy rozwój bazy uzależniony jest od przyszłego zapotrzebowania przewoźników na tego rodzaju usługę.
Podkreślić jednak należy, że rejestrator AOM będzie wykazywał wysoką skuteczność detekcji w trybie jazdy manewrowej, nawet podczas jazdy po torach, na których nie dokonano wcześniej inwentaryzacji sygnalizatorów.
PKP Energetyka S.A. wyposażyła do tej pory 20 pociągów sieciowych w instalacje monitoringu z rejestratorami AOM, na rok 2021 planowany jest montaż monitoringu na kolejnych 20 pojazdach. Po wprowadzeniu – zgodnie z zaleceniem Instytutu Kolejnictwa – niezbędnych zmian do SMS spółki (systemu zarządzania bezpieczeństwem) rozpocznie się sukcesywne uruchamianie AOM na pociągach sieciowych, co wpłynie pozytywnie na bezpieczny udział pojazdów PKP Energetyka w ruchu po liniach kolejowych PKP PLK. Wyposażanie w monitoring i AOM pozostałych pociągów sieciowych planowane jest na kolejne lata.
Warto podkreślić, że system AOM nie jest dedykowany wyłącznie pojazdom PKP Energetyki i może być udostępniony innym zainteresowanym przewoźnikom.
Sztuczna inteligencja w PKP Energetyce
System AOM jest pierwszym projektem PKP Energetyki, w którym wykorzystano sztuczną inteligencję. Pozytywne rezultaty projektu powodują, że spółka planuje już kolejne jej zastosowania.
Pociągi sieciowe PKP Energetyki wyposażane są w instalacje monitoringu, w których dwie kamery rejestrują obraz szlaku przed pociągiem (w zależności od kierunku jazdy), dwie skierowane są na wnętrze kabiny maszynisty i pulpit sterowniczy, a kolejne dwie na pomost roboczy. Obrazy przesyłane z tych kamer niosą ogromną ilość informacji, a wśród nich są takie, które mogą zwrócić uwagę na zdarzenia bądź postępowanie pracowników stwarzające ryzyko powstania wypadku. Problem tylko w efektywnej analizie spływających danych. Rozwiązaniem może być zaangażowanie sztucznej inteligencji.
PKP Energetyka S.A. rozważa zatem podjęcie kolejnego projektu, którego przedmiotem byłaby detekcja na podstawie strumienia video oraz wspomagana przez sztuczną inteligencję analiza sytuacji lub zdarzeń, ważnych z punktu widzenia bezpieczeństwa ruchu kolejowego bądź bezpieczeństwa pracy.
Adam Pecho (SSK Rail Sp. z o.o. w Poznaniu),
Zbigniew Szafrański (PKP Energetyka S.A. w Warszawie)
