Wie BERT bei der Google-Suche hilft

Startseite » Wie BERT bei der Google-Suche hilft

Google hat ein neues Video darüber veröffentlicht, wie BERT der Google-Suche hilft, Sprache zu verstehen. Google nutzt BERT seit 2018 in der Suche, das wussten wir bis 2019 nicht. Davon abgesehen sagt das kurze Video im Grunde, dass es darum geht, dass Google kleine Wörter besser versteht.

Hier ist das Video:

Hier ist das Transkript, wenn Sie nicht hören möchten:

Wenn Ihnen ein Pfannkuchenrezept sagen würde, „den Teig mit der Banane zu mischen“, würden Sie wahrscheinlich nicht daran denken, die Banane als Rührlöffel zu verwenden. Aber was für Menschen offensichtlich ist – Dinge wie Kontext, Ton und Absicht – ist für Computer eigentlich sehr schwer zu verstehen. Im Kern geht es bei einer Google-Suche darum, Sprache zu verstehen. Um die richtigen Informationen zurückzugeben, muss Google nicht nur die Definition von Wörtern kennen, sondern auch wissen, was sie alle bedeuten, wenn sie in einer bestimmten Reihenfolge aneinandergereiht werden. Und dazu gehören kleine Wörter wie „für“ und „zu“. Und wenn man darüber nachdenkt, wie viele verschiedene Bedeutungen ein einzelnes Wort haben kann, wird einem klar, wie schwierig es ist, ein Computerprogramm zu schreiben, das all diese Nuancen berücksichtigt. Sehen? Konkretes Beispiel. „Hübsch“ bedeutet hier nicht schön, sondern „sehr“. Immer mehr Menschen sprechen mit Google, während sie denken und sprechen. Und Google versteht zunehmend besser, was sie bedeuten. Einer der größten Fortschritte in der Geschichte der Forschung war die Einführung von „bidirektionalen Encoderdarstellungen von Transformatoren“ oder, wie wir es gerne nennen, BERT. BERT ist eine Modellarchitektur für maschinelles Lernen, die Google dabei hilft, Sprache zu verarbeiten und den Kontext zu verstehen, in dem sie erscheint. Suche zur Verarbeitung einer Abfrage durch Extrahieren der für sie wichtigsten Wörter. Wenn Sie zum Beispiel sagten „können Sie Medikamente für jemanden in einer Apotheke bekommen“, hätten Sie aufgrund des Wortes „für“ allgemeine Ergebnisse zu Apotheken und Rezepten erhalten. Aber mit BERT werden die KLEINEN Worte berücksichtigt und es ändert die Dinge. Die Forschung versteht jetzt, dass Sie wissen möchten, ob Sie Medikamente wiedererlangen können, die jemand anderem verschrieben wurden. Aber wie trainiert man ein Sprachmodell, um den Kontext zu erfassen? Es gibt einen großen Unterschied zwischen dem Kennen der Wörter und dem Verstehen der Bedeutung. Das Modell lernt den Kontext, indem es die gleichen Prinzipien zum Ausfüllen der Lücken anwendet, die zum Vervollständigen einer Mad Libs erforderlich sind. Also nehmen wir einen Satz. Wir verbergen etwa 20 % der eingegebenen Wörter. Und dann lassen wir den Computer die fehlenden Wörter erraten. Mit der Zeit beginnt das Modell zu verstehen, dass verschiedene Wörter unterschiedliche Bedeutungen haben, je nachdem, was sie umgibt. Und die Reihenfolge, in der sie in diesem Text erscheinen, ist wirklich wichtig. Wenn Sie also nach etwas Komplexem wie „Köder zum Fliegenfischen für Forellen im September in Montana“ suchen, weiß die Suche, dass all die kleinen Wörter wichtig sind, und da sie jetzt alle berücksichtigt, kann Google Ihnen den perfekten Köder für diese Zeit nennen des Jahres. . BERT ist nicht narrensicher, aber seit seiner Implementierung im Jahr 2019 hat es viele Suchen verbessert. Wir sollten immer mehr über alles erfahren können, was uns interessiert. Und deshalb wird die Forschung immer danach streben, genau zu verstehen, wonach Sie wirklich fragen.

Ich bin überrascht, dass Google dieses Video nicht gepostet hat, als wir darüber geschrieben haben wie Google KI in der Suche einsetzt.

Diskussionsforum auf Twitter.