Od pewnego czasu narzędzia takie jak Google Bard, Bing Chat oraz GPT-4 potrafią „zobaczyć” obraz, dokonać interpretacji i przedstawić wnioski na jego podstawie. Na platformie X prof. Andrzej Dragan przedstawił wyniki nietypowego zapytania, które zadano GPT-4. Narzędzie bez problemu odróżniło obrazy psa i muffinek, które wydawały się być łudząco podobne.

Padł nasz ostatni bastion. pic.twitter.com/AYzcfbauul

— Andrzej Dragan (@andrzejdragan) October 14, 2023

Jeżeli takie narzędzia potrafią analizować obraz, to zastanawiać może ich zdolność do białego wywiadu (z ang. OSINT), czyli pozyskiwania informacji na podstawie ogólnodostępnych i legalnych źródeł. W tym pojęciu mieszczą się techniki związane z geolokalizacją, tj. określania położenia geograficznego (np. na podstawie zdjęcia, filmu lub innych danych).

Zdarza się, że właśnie takie metody wykorzystujemy w ramach naszych analiz (np. 1, 2, 3), ale każdy może zastosować je też samodzielnie przy własnej weryfikacji.

Czy sztuczna inteligencja może poradzić sobie z geolokalizacją?

W lipcu 2023 roku redakcja Bellingcat, znana z przeprowadzania internetowych śledztw, opublikowała tekst, w którym przetestowano umiejętności darmowych programów Google Bard oraz Bing Chat w zakresie geolokalizacji. Z testów wynikało, że narzędzia te nie były zbyt skuteczne.

Naśladowały strategie poszukiwania lokalizacji, ale nie były w stanie poprawnie identyfikować obiektów. W dodatku były podatne na zjawisko tzw. halucynacji sztucznej inteligencji, przez co opisywały elementy, których nie było na obrazach. Jednak warto wrócić do tematu i zastanowić się, w jakim zakresie sztuczna inteligencja może się przydać, a kiedy nie warto z niej korzystać przy jej obecnych możliwościach.

Pierwsze, co należy zrobić, by przetestować zdolności wspomnianych narzędzi, to wgrać obraz i połączyć go z odpowiednim pytaniem. Jest to dość proste i intuicyjne – wystarczy kliknąć odpowiedni przycisk w panelu.

Jeżeli zdecydujemy się powtórzyć test na własną rękę wzorem Bellingcat, to okaże się, że Google Bard oraz Bing Chat nie mają większego problemu z rozpoznaniem najbardziej charakterystycznych i popularnych obiektów, takich jak piramidy, wieża Eiffla czy Statua Wolności. Problem w tym, że to samo jest w stanie zrobić większość osób bez konieczności sprawdzania tego przy użyciu AI, a nawet internetu.

Źródło: www.bard.google.com

Geolokalizacja „na poważnie” – czy Google Bard i Bing Chat podołały?

Te same narzędzia niekoniecznie będą tak samo dobrze radzić sobie z trudniejszymi przypadkami, np. ulicami, wzdłuż których nie ma charakterystycznych punktów. Zebraliśmy kilka obrazów i sprawdziliśmy, czy Google Bard i Bing Chat wskażą dokładną lokalizację któregokolwiek z nich po krótkiej rozmowie. W chwili wyszukiwania jako autor nie wiedziałem, gdzie dokładnie wykonano zdjęcie. 

Zarówno Google Bard, jak i Bing Chat nie były w stanie rozpoznać ulicy na Sri Lance – odpowiedzi były ogólne, a przedstawiane hipotezy zupełnie błędne. Kolejne prośby o zwrócenie uwagi na różne detale, takie jak roślinność i charakterystyczne punkty, nie przynosiły oczekiwanych rezultatów.

Źródło: www.bing.com

Z jednej strony narzędzia potrafią zebrać ogólne informacje o obrazie, a to może być przydatne pod kątem dalszego researchu. Google Bard przedstawił też wiele ciekawych koncepcji na temat położenia, które warto przetestować samodzielnie, używając też innych narzędzi.

Z drugiej strony chatboty podają wiele błędnych i zmyślonych wiadomości, co może utrudnić i wydłużyć proces wyszukiwania informacji. Przykładowo: Google Bard widział na zdjęciu przejazd kolejowy, którego nie było, lub dopatrywał się nieistniejących budynków.

Pozyskiwanie informacji o otoczeniu na podstawie map – jak wypada AI?

Gdy Google Bard i Bing Chat otrzymały mapę z Google Maps, to zwykle potrafiły określić kontynenty, w tym Afrykę i Europę, a także większe regiony, np. basen Morza Czarnego. Mając do dyspozycji mapę południowej Mołdawii z podpisanymi miastami i granicami sąsiednich państw, narzędzia potrafiły ocenić położenie oraz wymienić miasta, które tam widać.

Dość dobrze poradził sobie z tym Bing Chat, który oprócz wymienienia miast podał też inne elementy mapy, w tym to, że „mapa przedstawia również granice Mołdawii i Ukrainy, rzekę Dniestr oraz Morze Czarne”, zauważył siatkę ulic, a do tego przedstawił podobne mapy w sieci.

Źródło: www.bing.com

Zdarzało się jednak, że sztuczna inteligencja miała problem z przyporządkowaniem miast do państw, na terenie których się znajdują, a także z określeniem ich wielkości.

Na przykład Google Bard ocenił, że Odessa, która leży w granicach Ukrainy, to miasto w Mołdawii i ma port nad Morzem Czarnym – podczas gdy Mołdawia nie ma dostępu do morza. Z perspektywy użytkownika wiąże się to więc z koniecznością naniesienia poprawek, które wydłużają proces zbierania informacji na temat otoczenia.

Źródło: www.bard.google.com

Czy sztuczna inteligencja jest obecnie bezużyteczna przy geolokalizacji?

Na ten moment Google Bard i Bing Chat nie radzą sobie z zaawansowanym wyszukiwaniem informacji na podstawie obrazu, często mogą utrudnić i wydłużyć ten proces. W skomplikowanych przypadkach nie będą w stanie określić ulicy ani prawdopodobnego położenia. Finalnie wszystko może zależeć jednak od tego, jakie zadamy pytania i jak poprowadzimy rozmowę. 

W tej sytuacji zamiast oczekiwania, że narzędzia Google Bard i Bing Chat podadzą nam gotowe rozwiązanie, potraktujmy je jako asystenta. Warto posiłkować się sztuczną inteligencją, np. w trakcie szkolenia w pozyskiwaniu informacji o otoczeniu, ale nie poprzez pytanie jej o dokładny adres.

Dla przykładu – można wydać polecenie, które sprawi, że to sztuczna inteligencja zacznie stawiać nam pytania, na które sami musimy odpowiedzieć, by pozyskać informacje.

Źródło: www.bard.google.com