Inspekcja obiektów mostowych  – wirtualizacja procesu diagnostycznego

Wprowadzenie

Na podstawie tych przepisów opracowano szczegółowe branżowe instrukcje wykonywania przeglądów – odrębnie dla infrastruktury drogowej i kolejowej. Przy czym do stworzenia instrukcji dla infrastruktury drogowej wykorzystano również przestarzałe już rozporządzenie [2] regulujące sposób prowadzenia ewidencji obiektów mostowych. W przypadku drogowych obiektów inżynieryjnych pierwotnie były one przygotowane przez Generalną Dyrekcję Dróg Krajowych i Autostrad [4, 5]. Większość tych zapisów została potem powielona we Wzorcach i Standardach, kreowanych przez Ministerstwo Infrastruktury [3]. Natomiast w odniesieniu do kolejowych obiektów inżynieryjnych podobne przepisy zostały opracowane przez PKP Polskie Linie Kolejowe S.A. [6].

Instrukcje te regulują konieczność wykonywania kontroli, ich częstotliwość oraz zakres szczegółowości poszczególnych opracowań wynikowych (raportów, protokołów). Przewidują one jedynie tradycyjną metodę inspekcji wizualnej, w której inspektor powinien fizycznie zbliżyć się na określoną odległość do ocenianego elementu. Natomiast stwierdzone przez niego uszkodzenia powinny zostać opisane za pomocą bardzo prostego, dwuliterowego kodu, który zapisywany jest w papierowym formularzu. Widać więc, że przepisy te nie uwzględniają możliwości, jakie dają współczesne technologie cyfrowe oraz sukcesywnie implementowana w świecie metodyka BIM (building information modeling). W ogólności metodyka ta standaryzuje cyfrowy sposób zarządzania informacją związaną z obiektem budowlanym, a więc również obiektem mostowym. W tym podejściu po zakończeniu budowy i po końcowym odbiorze stan techniczny obiektu mostowego staje się kluczową informacją, która musi być stale aktualizowana przez cały cykl jego życia [7]. Sposób opisu uszkodzeń elementów konstrukcyjnych i wyposażenia powinien więc umożliwiać odpowiednie magazynowanie i odczyt danych w modelu BIM fizycznego obiektu oraz w systemach gospodarowania mostami (SGM) [8].

Aktualne przepisy i wytyczne nie rozwiązują również trudności i ograniczeń, jakie towarzyszą tradycyjnym metodom inspekcji wizualnej (ryc. 1). Dużym wyzwaniem jest zwykle trudny dostęp do niektórych elementów obiektu. Chodzi np. o łożyska, głowice pylonów czy przęsła znajdujące się wysoko nad terenem lub nad przeszkodami wodnymi. Przeprowadzanie oceny stanu technicznego takich elementów wiąże się z narażeniem życia i zdrowia inspektorów, a w niektórych przypadkach tak realizowana inspekcja jest wręcz niemożliwa.

Innym problemem jest brak powtarzalności wyników kolejnych inspekcji. Może się bowiem zdarzyć, że co roku przeglądy wykonuje inny inspektor, często niemający pełnej wiedzy na temat stanu technicznego obiektu z wcześniejszych lat. Dysponuje on wówczas jedynie protokołami poprzednich inspekcji, które przedstawiają stan obiektu w sposób subiektywny i wycinkowy. Trzeba również pamiętać, że zapisywane w raportach oceny są zależne od doświadczenia i subiektywnej interpretacji poszczególnych inspektorów, a to może prowadzić do wielu niejednoznaczności. Ponadto generowana w ten sposób ogromna ilość analogowych danych, które przechowywane są jedynie w papierowych archiwach, nie nadaje się do skutecznego analizowania. Tym samym ani zarządca, ani właściciel nie mogą skorzystać z tej wiedzy w celu optymalizacji swoich działań utrzymaniowych czy też podejmowania strategicznych decyzji dotyczących swoich zasobów oraz kierunków rozwoju infrastruktury.

Odpowiedzią na te problemy może być wirtualizacja procesu diagnostycznego. Zastosowanie współczesnych technologii cyfrowych, zrobotyzowanych platform mobilnych i systemów telemetrycznych daje szansę na powtarzalne zbieranie bardziej kompletnych danych dotyczących stanu technicznego obiektów mostowych. Dane te, po odpowiedniej obróbce, mogą być łatwiej archiwizowane, skuteczniej przetwarzane oraz dokładniej analizowane i lepiej wizualizowane, i to niezależnie od problemów związanych z trudno dostępnymi elementami konstrukcji, ich wielkością i złożonością.

Współczesne techniki wspomagające inspekcję

Na rycinie 2 przedstawiono wybrane współczesne techniki i urządzenia, które mogą wspomagać inspekcje obiektów mostowych. Zaliczają się do nich m.in. skanowanie laserowe, fotogrametria, innowacyjne badania nieniszczące (nondestructive testing – NDT), bezzałogowe statki powietrzne (unmanned aerial vehicle – UAV, stosowany skrót pol. BSP) potocznie zwane dronami, sztuczna inteligencja (artificial intelligence – AI) oraz wirtualna, rozszerzona i mieszana rzeczywistość (virtual reality / augmented reality / mixed reality – VR/AR/MR).

Spośród tych technik bezzałogowe statki powietrzne należą obecnie do najchętniej stosowanych przez inspektorów narzędzi podczas oceny trudno dostępnych miejsc w konstrukcji mostu [9, 10], szczególnie że platformy te można integrować z urządzeniami i technikami NDT. Mogą to być np. kamery hiperspektralne lub termograficzne do identyfikacji rys i ubytków w konstrukcjach żelbetowych.

Podobnie może być ze skanowaniem laserowym, które wykonuje się za pomocą stacjonarnych lub mobilnych skanerów naziemnych (terrestial laser scanning – TLS), ale również lotniczych lub niskopułapowych (montowanych na pokładzie BSP). Wynikiem takich pomiarów jest chmura punktów, która odzwierciedla rzeczywistą geometrię obiektu z dokładnością nawet do 1 mm. Trzeba jednak pamiętać, że rozdzielczość zależy od wielkości skanowanego obiektu i długości celowej. Technika ta umożliwia globalną i lokalną ocenę konstrukcji, a także detekcję ewentualnych przemieszczeń i odkształceń.

Współczesna fotogrametria jest techniką, która pozwala na odwzorowanie rzeczywistej geometrii i tekstury obiektu na podstawie cyfrowych fotografii [11]. Zdjęcia mogą być zrobione aparatem fotograficznym lub telefonem, jednak zastosowanie BSP umożliwia automatyczny zapis lokalizacji pojazdu i kamery w plikach zdjęciowych, co zwiększa precyzję modelu. Dodatkowo w celu uzyskania większej dokładności geometrycznej modelu fotogrametrycznego można użyć rozwiązania hybrydowego polegającego na integracji wyników skanowania laserowego i fotogrametrii (ryc. 3).

Najmniej powszechnie stosowanymi, ale dynamicznie rozwijającymi się technikami są sztuczna inteligencja oraz narzędzia wirtualnej rzeczywistości. Ta pierwsza może być używana np. do automatycznego generowania raportów na podstawie zebranych danych lub do asystowania inspektorowi pracującemu w terenie. Natomiast w połączeniu z narzędziami VR/MR może być wykorzystywana do automatycznego wykrywania uszkodzeń w terenie (MR) [12] bądź na utworzonym w warunkach kameralnych wirtualnym modelu (VR) [13].

Dobór odpowiednich metod zależy od wielu czynników. Wśród nich są aspekty techniczne, takie jak oczekiwana jakość opracowania, jego dokładność oraz dostępność elementów konstrukcji. Istotne są również czynniki ekonomiczne, czyli koszty pracy terenowej i biurowej, a także czas potrzebny na pozyskanie i obróbkę danych (ryc. 4).

Koncepcja poziomów wirtualizacji

Biorąc pod uwagę dostępne techniki oraz potrzeby w zakresie procesu diagnostyki obiektów mostowych, zaproponowano koncepcję piramidy poziomów wirtualizacji procesu inspekcji (ryc. 5). Piramida ta zawiera osiem poziomów, z których każdy stanowi podstawę dla kolejnego, wyższego poziomu:

• poziom 0. Tradycyjne inspekcje
• poziom 1. Tradycyjne inspekcje wspomagane cyfrowo
• poziom 2. Cyfrowa platforma inspekcji mostu (najwyższy poziom cyfryzacji)
• poziom 3. Inspekcja wirtualna z użyciem komputera i monitora
• poziom 4. Pełna inspekcja wirtualna z wykorzystaniem urządzeń VR
• poziom 5. Zautomatyzowane pozyskiwanie danych
• poziom 6. Automatyczne wykrywanie uszkodzeń
• poziom 7. Integracja z urządzeniami AR/MR.

Poziom 0 (podstawowy) obejmuje tradycyjne inspekcje, wykonywane w najprostszy możliwy sposób z wypełnianiem raportów w sposób manualny, np. z użyciem ołówka i kartki.

Poziomy 1 i 2 obejmują cyfryzację metody inspekcji wizualnej z poziomu 0. W poziomie 1 wykorzystujemy podstawowe cyfrowe narzędzia, jak aparaty fotograficzne, zapisy dźwiękowe spostrzeżeń poczynionych podczas inspekcji oraz ewentualnie BSP. Raporty wypełniane są i przechowywane w urządzeniach cyfrowych – komputerach, tabletach lub smartfonach. Coraz większa liczba inspekcji wykonywanych nawet w Polsce zbliża się już do tego właśnie poziomu. Na poziomie 2, czyli najwyższym poziomie cyfryzacji, formularze inspekcyjne wykonywane są w tabletach lub smartfonach z wykorzystaniem aplikacji mobilnej. Następnie raporty generowane są automatycznie za pomocą aplikacji mobilnej lub komputerowej. Zarówno w czasie inspekcji, jak i przy tworzeniu raportów dodatkowo mogłaby być wykorzystywana sztuczna inteligencja (np. do automatyzacji i obiektywizacji samego wystawienia oceny stanu technicznego danego elementu). Aby tak uzyskane dane móc w odpowiedni sposób integrować i magazynować, konieczne jest utworzenie cyfrowej platformy inspekcji mostu (CPIM). Taka częściowo zautomatyzowana i uniwersalna platforma inspekcyjna powinna być gotowa do zastosowania w różnych krajach i przy różnych standardach oraz zintegrowana z lokalnymi systemami zarządzania obiektami mostowymi. Tego rodzaju możliwości otwierają się dzięki wdrożeniu otwartych standardów BIM zapisu informacji, czyli Open BIM [14].

Poziomy 3 i 4 obejmują inspekcję z wykorzystaniem wirtualnego modelu 3D obiektu. W pewnym sensie możliwy będzie wirtualny powrót do ocenianego obiektu. Inżynier, który nie był fizycznie obecny podczas inspekcji lub czynności rekonstrukcyjnych (np. skanowanie lub fotografowanie), będzie mógł uzyskać obszerny obraz stanu technicznego obiektu i współdecydować o jego ewaluacji.

Na poziomie 3 wprowadza się fotogrametrię do tworzenia teksturowanych modeli 3D na podstawie zdjęć. Modele te są kalibrowane przy użyciu technik rekonstrukcji, takich jak chmury punktów, LiDAR, tachimetria lub pomiary ręczne. Alternatywnie można użyć kamer 360° do utworzenia wirtualnego spaceru po obiekcie. Inspekcja umożliwia interakcję z modelem 3D, ręczne oznaczanie i mapowanie uszkodzeń, a także przeprowadzanie pomiarów i oceny stanu technicznego. Na poziomie 4 działanie jest analogiczne, natomiast wykorzystuje się dodatkowo gogle VR. Poruszanie się w wirtualnej przestrzeni umożliwia zaawansowaną wizualizację modelu i tworzy wrażenie bliskie rzeczywistej obecności na obiekcie. Ruch w wirtualnym środowisku jest bardziej intuicyjny, a użytkownik może korzystać z gestów lub komend głosowych, aby przenieść się w wybrane miejsce. Dodatkowo asystent AI może wspierać w nawigacji po obiekcie, wskazując miejsca wymagające uwagi inspektora.

Poziom 5 obejmuje ponadto zautomatyzowane pozyskiwanie danych potrzebnych w inspekcji. Na tym poziomie wykorzystywane są autonomiczne i powtarzalne ścieżki inspekcji dla robotów latających lub kroczących, które poruszają się po wcześniej wyznaczonych trasach. Na obiekcie rozmieszczona może być sieć punktów gromadzenia i transferu danych. Mogą to być np. punkty dostępowe typu NFC (near-field communication), ale również stałe fotopunkty lub markery ułatwiające georeferencję chmury punktów, fotografii, tachimetrii oraz urządzeń LiDAR. W ten sposób zapewniona będzie spójność danych i modelu między kolejnymi inspekcjami.

Poziom 6 polega na automatycznym identyfikowaniu uszkodzeń przy użyciu zaawansowanych algorytmów sztucznej inteligencji. Umożliwia to wykrywanie i analizę uszkodzeń zarówno na zdjęciach, jak i w utworzonych wirtualnych modelach 3D. Natomiast poziom 7 przewiduje wykorzystanie tych algorytmów do pracy już wprost w terenie z użyciem bardziej zaawansowanych urządzeń mieszanej i rozszerzonej rzeczywistości (MR/AR).

Wirtualizacja (poziomy 3–7) może rozwijać się niezależnie od cyfryzacji (poziomy 1–2), natomiast jej skuteczne wprowadzenie do systemu jest uzależnione od uzyskania maksymalnego poziomu cyfryzacji. Obecnie poziomy 0–2 wykorzystywane są podczas przeglądów podstawowych, definiowanych np. przez wytyczne [3]. Stosowanie poziomów 3 i 4 zdarza się w bardziej zaawansowanych aktywnościach, które towarzyszą opracowywaniu ekspertyz. Wyższe poziomy wciąż jeszcze ograniczone są do działań w ramach prac badawczych i rozwojowych (ryc. 6).

Przykłady zastosowań

Poniżej przedstawiono przykłady zastosowań innowacyjnych technik do inspekcji obiektów mostowych, w tym do tworzenia ich wirtualnych modeli na różnym poziomie zaawansowania. Do pomiarów używano skanerów laserowych Leica BLK 360, Z+F IMAGER 5010X oraz Trimble X9, dronów DJI Matrice 210 RTK oraz DJI Mavic 3 Enterprise z dodatkowym modułem RTK i oświetleniem. Na rycinie 7 przedstawiono wybrane zastosowania tych urządzeń. Poza tym korzystano również ze smartfona i tabletu marki Apple wyposażonych w czujnik LiDAR, a do czynności kalibracyjnych używano tachimetru Leica TS10. 

Na rycinie 8 przedstawiono modele fotogrametryczne uzyskane wyłącznie na bazie wykonanych fotografii. Po lewej stronie widoczny jest model wysokiego filaru wiaduktu w Chorzowie, którego zdjęcia wykonano z drona DJI Matrice 210 RTK oraz zwykłego aparatu fotograficznego. Filar oznaczony został 12 fotopunktami, których dokładne współrzędne określono przy użyciu tachimetru w celu kalibracji modelu. Dokładność geometryczna oraz jakość tekstury modelu były zadowalające. Po prawej stronie przedstawiono model fotogrametryczny uszkodzonego skrzydła wiaduktu kolejowego, które na skutek pęknięcia uległo przemieszczeniu. Model został utworzony na podstawie fotografii wykonanych smartfonem, a jego kalibracja była oparta na pomiarach ręcznych. Pozwoliło to na określenie geometrii przemieszczonego skrzydła. Oba modele wykonano za pomocą dwóch programów – Agisoft Metashape oraz RealityCapture.

Na rycinie 9 przedstawiono przykładowe analizy geometrii obiektów mostowych na podstawie stworzonej chmury punktów. Chmurę punktów kolejowego mostu kratowego (górna część ryciny 9) uzyskano przez skanowanie danych z 85 stanowisk roboczych za pomocą skanera Leica BLK 360. Na jej podstawie określana była geometria obiektu oraz tworzony był jego model 3D.

Model łukowego mostu drogowego w ciągu ul. Panewnickiej w Gliwicach (lewy dolny róg ryciny 9) powstał w wyniku integracji danych fotogrametrycznych z przelotu dronem DJI Mavic 3 Enterprise oraz danych z 24 stanowisk roboczych skanera Z+F IMAGER 5010X. Obie metody uzupełniały się nawzajem, eliminując specyficzne braki i niepewności. Pozyskana chmura punktów posłużyła do utworzenia modelu 3D mostu, a następnie analizy geometrii jego wyboczonych wieszaków. 

Chmura punktów wiaduktu drogowego nad autostradą A4, którego przekrój pokazano na rycinie 9, została uzyskana dzięki skanowaniu danych z 38 stanowisk roboczych przy użyciu skanera Trimble X9. Chmura była konieczna z uwagi na potrzebę analizy ustawienia belek w widoku z góry, w przekrojach poprzecznych nad podporami (prawy dolny róg ryciny 9) oraz geometrię podpór w kierunkach x, y i z. W czasie pomiarów ruch na autostradzie prowadzony był w sposób ciągły, a wszelkie prace związane z pomiarem belek i podpór wykonano w biurze.

Na rycinach 10 i 11 przedstawiono wyniki szybkich pomiarów wykonanych za pomocą czujników LiDAR dostępnych w urządzeniach firmy Apple (np. iPhone 15 Pro). Urządzenia te umożliwiają tworzenie modeli 3D z dokładnością do 1 cm, odwzorowując zarówno geometrię, jak i teksturę skanowanego obiektu. Technologia ta ma pewne ograniczenia, m.in. padające promienie słoneczne powodują prześwietlenie modeli, występują również problemy z odwzorowaniem geometrii dużych obiektów, jednak jej ogromnym atutem jest szybkość skanowania, a także łatwa dostępność, gdyż znajduje się w smartfonie, który zwykle mamy pod ręką.

Na rycinie 12 przedstawiono przykładowy model fotogrametryczny stworzony w wyniku integracji danych ze skanera laserowego (Leica BLK 360) oraz fotografii z drona (DJI Mavic 3 Enterprise z modułem RTK). Model obejmuje dwa wiadukty kolejowe w Kędzierzynie-Koźlu. Zdjęcia zostały pozyskane głównie podczas automatycznie zaprogramowanych przelotów drona nad obiektami, który obsługiwany był manualnie przez pilota jedynie podczas przelotów pod nimi. Integrację danych wykonano za pomocą oprogramowania RealityCapture. Dodatkowo w ramach skanowania laserowego wykonano zdjęcia 360°. Opracowany model umożliwił kompleksową ocenę zarówno geometrii obiektów, jak i ich stanu technicznego. W górnej części ryciny widoczny jest cały model fotogrametryczny obu obiektów, a poniżej fragmenty modelu obiektu sklepionego z nałożoną teksturą oraz bez niej.

Podsumowanie

System prawny regulujący zagadnienia związane z diagnostyką obiektów mostowych w Polsce jest przestarzały, a tradycyjne podejście do inspekcji obarczone jest wieloma ograniczeniami. Chodzi głównie o nieefektywny sposób zapisu, magazynowania oraz przetwarzania danych gromadzonych w procesie inspekcji stanu technicznego. Współczesne technologie, takie jak skanowanie laserowe, fotogrametria, narzędzia wirtualnej rzeczywistości, sztuczna inteligencja, oferują nowe możliwości w zakresie inspekcji mostów, które mogą poprawić jakość i skuteczność oceny stanu technicznego. Cyfryzacja, a w przyszłości nawet wirtualizacja procesu inspekcji pozwolą na dokładniejsze, powtarzalne i częściowo zautomatyzowane zbieranie danych w terenie, co w konsekwencji będzie prowadzić do lepszego zarządzania infrastrukturą mostową. 

Przedstawione podejście polegające na stopniowym uruchamianiu coraz bardziej zaawansowanych technologii cyfrowych w diagnostyce mostów umożliwia niezależne włączanie kolejnych poziomów cyfryzacji i wirtualizacji tego procesu. Kluczowe jednak jest wdrożenie odpowiedniego poziomu implementacji metodyki i modeli BIM w organizacjach odpowiedzialnych za zarządzanie zasobami infrastruktury. Pozwoli to szybciej zrealizować pierwszy etap cyfryzacji procesu inspekcji, który stanowi fundament pod jego pełną wirtualizację.

Literatura

[1] Ustawa z dnia 7 lipca 1994 r. Prawo budowlane (tekst jednolity z późn. zm.). Dz.U. 2024, poz. 725.
[2] Rozporządzenia Ministra Infrastruktury z dnia 16 lutego 2005 r. w sprawie numeracji i ewidencji dróg publicznych, obiektów mostowych, tuneli, przepustów i promów oraz rejestru numerów nadanych drogom, obiektom mostowym i tunelom. Dz.U. 2005, nr 67, poz. 582.
[3] WR-M-81. Wytyczne oceny stanu technicznego drogowych obiektów inżynierskich. Ministerstwo Infrastruktury. Warszawa 2021.
[4] Załącznik do Zarządzenia nr 35 Generalnego Dyrektora Dróg Krajowych i Autostrad z dnia 28 września 2020 roku – Instrukcja przeprowadzania przeglądów drogowych obiektów inżynierskich.
[5] Zasady stosowania skali ocen punktowych stanu technicznego i przydatności do użytkowania drogowych obiektów inżynierskich – część I. Obiekty mostowe. Warszawa 2018.
[6] Instrukcja utrzymania kolejowych obiektów inżynieryjnych na liniach kolejowych do prędkości 200–250 km/h, Id-16. Warszawa 2014.
[7] Salamak M.: BIM w cyklu życia mostów. PWN. Warszawa 2021.
[8] Bień J.: Uszkodzenia, diagnostyka obiektów mostowych. WKŁ. Warszawa 2010.
[9] Dorafshan S., Maguire M.: Bridge inspection: human performance, unmanned aerial systems and automation. „Journal of Civil Structural Health Monitoring” 2018, No. 3, pp. 443–476.
[10] Kim I.-H. et al.: A Comparative Study of Bridge Inspection and Condition Assessment between Manpower and a UAS. „Drones” 2022, Vol. 6, No. 355, doi.org/10.3390/drones6110355.
[11] Lin J.J. et al.: Bridge Inspection with Aerial Robots: Automating the Entire Pipeline of Visual Data Capture, 3D Mapping, Defect Detection, Analysis, and Reporting. American Society of Civil Engineers, 2020.
[12] Zakaria M., Karaaslan E., Necati Catbaset F.: Real-Time AI-Based Bridge Inspection Using Mixed Reality Platform. Structures Congress 2023, pp. 120–131.
[13] Omer M. et al.: Use of gaming technology to bring bridge inspection to the office. „Structure and Infrastructure Engineering” 2019, Vol. 15, Issue 10, pp. 1292–1307.[14] Heller S.: BIM (Building Information Modeling) na usługach zarządcy infrastruktury drogowej – cz. 1. „Magazyn Autostrady” 2020, nr 3, s. 72–77.