Semantic mapping with LLM - IITiS PAN

Semantic mapping with LLM

Die Demo präsentiert die Ergebnisse der Arbeit an einem autonomen System zur Kartierung von Räumen und zur Navigation innerhalb dieser mithilfe natürlicher Sprache zur Zielortbestimmung. Das System besteht aus zwei Komponenten.

Die erste Komponente ist ein autonomer Roboter, der sich in Innenräumen bewegen kann, um eine umfassende Kartierung des Raums zu gewährleisten, während er gleichzeitig die Anforderungen an die Bildaufnahme erfüllt. Das bedeutet, dass jede Fläche aus dem richtigen Winkel fotografiert wird, ohne dass aufeinanderfolgende Bilder eine übermäßige Überlappung aufweisen. Jedes aufgenommene Bild wird mit Metadaten versehen, darunter die Koordinaten des Aufnahmeortes. Während der Navigationsphase kann sich der Roboter zu einem bestimmten Zielort bewegen und dabei Hindernissen ausweichen.

Die zweite Komponente des Systems ist ein Modul, das die in der Erfassungsphase aufgenommenen Bilder verarbeitet und alle daraus extrahierten Informationen in einer Datenbank speichert. Im Navigationsmodus werden Anfragen in natürlicher Sprache in eine Liste gesuchter Objekte übersetzt, die dann in der Datenbank gesucht werden. Schließlich werden potenzielle Standorte überprüft, um das Ziel zu identifizieren und den Zielort festzulegen.

Am IITiS entwickeln wir außerdem eine Technologie zur Indoor-Lokalisierung, die eine ergänzende Lösung zu den in dieser Demo vorgestellten Ansätzen darstellt.