Semantic mapping with LLM - IITiS PAN

Semantic mapping with LLM

Demo prezentuje efekt prac nad autonomicznym systemem mapowania przestrzeni oraz nawigowania w niej z użyciem języka naturalnego do wskazywania poszukiwanego celu. System składa się z dwóch składników. Jednym z nich jest autonomiczny robot zdolny do poruszania się wewnątrz pomieszczenia w sposób zapewniający mapowanie przestrzeni z zachowaniem wymagań dotyczących akwizycji obrazu, tj. każda przestrzeń zostaje ujęta na fotografii przy odpowiednim kącie oraz bez nadmiernego nakładania się kolejnych obrazów. Każda fotografia przestrzeni opatrzona jest metadanymi, m.in. współrzędnymi w których zostało wykonane dane ujęcie. Na etapie nawigacji robot zdolny jest do przemieszczania się do wskazanego miejsca i omijania przeszkód. Drugim składnikiem systemu jest moduł przetwarzający obrazy pochodzące z akwizycji, a następnie zapisujący do bazy danych wszelkie informacje uzyskane z obrazu. W trybie nawigacji zapytania w języku naturalnym są przetwarzane na listę poszukiwanych obiektów, następnie są one wyszukiwane w bazie danych, by na ostatnim etapie zweryfikować potencjalne miejsca z poszukiwanym celem i wskazać docelową lokalizację.

W IITiS rozwijamy także lokalizację wewnątrz pomieszczeń, komplementarną technologię do tych zaprezentowanych na niniejszym demo.