Stanford-Wissenschaftler entwickeln Street View

Ein Trio von Stanford-Informatikern hat ein Deep-Learning-Modell zur Geolokalisierung von Google Street View-Bildern entwickelt, das heißt, es kann durch bloßes Betrachten allgemein herausfinden, wo ein Bild aufgenommen wurde.

Die Software soll gut genug funktionieren, um Top-Spieler in GeoGuessr, einem beliebten Online-Standort-Ratespiel, zu schlagen.

Das heißt nicht, dass das Modell der Wissenschaftler genau bestimmen kann, wo ein Straßenfoto aufgenommen wurde; Stattdessen kann es das Land zuverlässig ermitteln und eine gute Vermutung anstellen, und zwar in den meisten Fällen innerhalb von 15 Meilen um den richtigen Standort – obwohl es in den meisten Fällen weiter entfernt liegt.

In einem Preprint-Artikel mit dem Titel „PIGEON: Predicting Image Geolocations“ beschreiben Lukas Haas, Michal Skreta und Silas Alberti, wie sie PIGEON entwickelt haben.

Es handelt sich um ein Bildgeolokalisierungsmodell, das von ihrem eigenen vorab trainierten CLIP-Modell namens StreetCLIP abgeleitet ist. Technisch gesehen wird das Modell durch eine Reihe semantischer Geozellen – begrenzte Landflächen, ähnlich wie Kreise oder Provinzen, die regionalspezifische Details wie Straßenmarkierungen, Infrastrukturqualität und Straßenschilder berücksichtigen – und ProtoNets – eine Technik zur Klassifizierung mithilfe von – ergänzt nur ein paar Beispiele.

PIGEON trat kürzlich gegen Trevor Rainbolt an, einen hochrangigen Spieler von GeoGuessr, der auf YouTube einfach als Rainbolt bekannt ist, und gewann.

Die Experten behaupten in ihrem Artikel, dass PIGEON das „erste KI-Modell ist, das menschliche Spieler in GeoGuessr durchweg schlägt und zu den besten 0,01 Prozent der Spieler zählt.“ Uns wurde gesagt, dass etwa 50 Millionen oder mehr Menschen GeoGuessr gespielt haben.

Alberti, ein Doktorand in Stanford, sagte gegenüber The Register: „Es war so etwas wie unser kleiner Deep-Mind-Wettbewerb“, eine Anspielung auf die Behauptung von Google, dass sein DeepMind-AlphaCode-System Code schreiben könne, der mit menschlichen Programmierern vergleichbar sei.

​​Ich denke, dass dies das erste Mal war, dass die KI bei GeoGuessr den besten Menschen der Welt besiegte

„​​Ich denke, dass dies das erste Mal war, dass die KI bei GeoGuessr den weltbesten Menschen besiegte“, sagte er und bemerkte, dass Rainbolt in zwei vorherigen Spielen mit KI-Systemen siegte.

Dank der Arbeit journalistischer Rechercheorganisationen wie Bellingcat ist die Geolokalisierung von Bildern unter Open-Source-Ermittlern zu einer Kunst geworden. Der Erfolg von PIGEON zeigt, dass es sich auch um eine Wissenschaft handelt, die erhebliche Auswirkungen auf den Datenschutz hat.

Während PIGEON darauf trainiert wurde, Street View-Bilder zu geolokalisieren, glaubt Alberti, dass diese Technik die Geolokalisierung fast aller Bilder, zumindest im Freien, erleichtern könnte. Er sagte, er und seine Kollegen hätten das System mit Bilddatensätzen ausprobiert, die keine Street View-Bilder enthielten, und es habe sehr gut funktioniert.

Alberti erzählte von einer Diskussion mit einem Vertreter einer Open-Source-Intelligence-Plattform, der Interesse an ihrer Geolokalisierungstechnologie bekundete. „Wir halten es für wahrscheinlich, dass unsere Methode auch auf diese Szenarien angewendet werden kann“, sagte er.

Auf die Frage, ob diese Technologie es noch schwieriger machen wird, den Aufnahmeort der Bilder zu verbergen, sagte Alberti: Wenn man sich auf einer Straße befindet, wird die Geolokalisierung sehr wahrscheinlich, da es so viele verräterische Anzeichen dafür gibt, wo man sich befindet.

„Neulich wurde ich gefragt: ‚Was wäre, wenn man abseits der Straße, irgendwo mitten in der Natur wäre?‘“, sagte er. „Selbst dort gibt es viele Anzeichen dafür, wo man sein könnte, wie die Art und Weise, wie die Blätter sind, der Himmel, die Farbe des Bodens. Diese können Ihnen sicherlich sagen, in welchem ​​Land oder in welcher Region eines Landes Sie sich befinden. aber Sie können die jeweilige Stadt wahrscheinlich nicht lokalisieren. Ich denke, Bilder von Innenräumen werden wahrscheinlich sehr schwer zu finden sein.“

Ich denke, dass Bilder von Innenräumen wahrscheinlich weiterhin schwer zu finden sein werden

Alberti sagte, einer der Hauptgründe dafür, dass PIGEON so gut funktioniert, sei, dass es auf OpenAIs CLIP als Basismodell basiert.

„Bei vielen anderen Geolokalisierungsmodellen wurde das Modell zuvor einfach von Grund auf trainiert oder ein ImageNet-basiertes Modell verwendet. Wir haben jedoch festgestellt, dass bei der Verwendung von CLIP als Basismodell einfach viel mehr Bilder und viel mehr kleine Details gesehen wurden. und ist daher für die Aufgabe viel besser geeignet.“

Alberti sagte, die Verwendung semantischer Geozellen habe sich als sehr wichtig erwiesen, denn wenn man nur Koordinaten vorhersage, bekomme man tendenziell schlechte Ergebnisse. „Selbst mit CLIP als Basismodell landen Sie die meiste Zeit im Meer“, sagte er.

„Wir haben viel Zeit damit verbracht, diese Geozellen zu optimieren, um sie beispielsweise an die Bevölkerungsdichte in bestimmten Regionen anzupassen und unterschiedliche Verwaltungsgrenzen auf mehreren Ebenen zu berücksichtigen.“

Haas, Skreta und Alberti haben außerdem eine Verlustfunktion entwickelt – die den Abstand zwischen der Ausgabe des Algorithmus und der erwarteten Ausgabe berechnet –, die den Vorhersagenachteil minimiert, wenn die vorhergesagte Geozelle in der Nähe der tatsächlichen Geozelle liegt. Und sie wenden einen Meta-Learning-Algorithmus an, der Standortvorhersagen innerhalb einer bestimmten Geozelle verfeinert, um die Genauigkeit zu verbessern.

„Auf diese Weise können wir manchmal Bilder bis zu einer Entfernung von etwa einem Kilometer zuordnen“, sagte Alberti.

Wie Skreta im Rainbolt-Video feststellte, schätzt PIGEON derzeit 92 Prozent der Länder richtig und hat einen mittleren Kilometerfehler von 44 km, was einem GeoGuessr-Score von 4.525 entspricht. Dem Forschungspapier zufolge platziert das Vogelmodell etwa 40 Prozent der Schätzungen innerhalb von 25 km Entfernung vom Ziel.

Spiel weiter. ®

Senden Sie uns Neuigkeiten