FACEBOOK VERÖFFENTLICHT SEINE SCHNELLEN UND PRÄZISEN CONVNET-MODELLE FÜR DIE MASCHINELLE ÜBERSETZUNG AUF GITHUB-TECHCRUNCH - SOZIALEN MEDIEN - 2018

Anonim

In seiner jüngsten Arbeit hat das Team von Facebook AI Research (FAIR) eindrucksvolle Ergebnisse für die Implementierung eines modifizierten Faltungsneuronalen Netzwerks für die maschinelle Übersetzung veröffentlicht. Facebook sagt, dass es eine kleine Verbesserung in der Genauigkeit erreicht hat, mit der neunfachen Geschwindigkeit der traditionellen wiederkehrenden Netzwerkmodelle. Und um seine Forschung zu ergänzen, veröffentlicht das Unternehmen seine vortrainierten Modelle auf GitHub, zusammen mit allen Tools, die benötigt werden, um die Ergebnisse selbst zu reproduzieren.

Wenn die meisten von uns an maschinelle Übersetzung denken, denken wir an Google Translate (sorry Facebook und meine Spanischlehrerin der 8. Klasse). Während dies sicherlich die bekannteste Implementierung ist, setzt Facebook die Technologie ausgiebig für die Übersetzung von Posts in News Feeds ein.

In diesen Anwendungsfällen ist Genauigkeit wichtig, um eine Wettbewerbserfahrung zu liefern, aber Geschwindigkeit ist für Facebook sogar noch wichtiger. Mit fast zwei Milliarden Nutzern wird jede Steigerung der Geschwindigkeit erhöht. Und Facebook verspricht nicht nur eine schrittweise Verbesserung, sondern eine Verbesserung von 900 Prozent.

In puncto Genauigkeit ist der Goldstandard für die Bewertung der Qualität der maschinellen Übersetzung BLEU, zweisprachige Bewertungsgrundlage. Facebook benchmarkte seine Sequenz, um den Faltungsansatz für drei Aufgaben zu sequenzieren - Englisch ins Rumänische zu übersetzen, Englisch ins Deutsche zu übersetzen und Englisch ins Französische zu übersetzen.

David Grangier und Michael Auli, zwei der Autoren des Artikels, erklärten mir, dass diese Aufgaben nicht ausgewählt wurden, weil sie die schwierigsten zu übersetzenden Sprachen sind, sondern weil sie die wettbewerbsfähigsten sind und andere bereits beeindruckende BLEU-Scores unter Verwendung von Alternativen erzielt haben Methoden.

Basierend auf diesen Zahlen ist die Anwendung von ConvNets auf die maschinelle Übersetzung ein würdiges Unterfangen, aber es lohnt sich, ein wenig zurückzutreten, um zu erforschen, warum wiederkehrende Netze in der Regel über ConvNets für die Übersetzung verwendet werden. Wiederkehrende Netzwerke berücksichtigen Zeitreiheninformationen und eignen sich daher ideal für sequenzielle Aufgaben - das Lesen von links nach rechts ist ein gutes Beispiel dafür.

ConvNets hingegen haben in den letzten Jahren aufgrund ihrer Nützlichkeit für die Analyse visueller Informationen an Bedeutung gewonnen. Sie verarbeiten Informationen gleichzeitig und nicht sequenziell, was Barrieren darstellt, wenn Sie sie für die maschinelle Übersetzung verwenden möchten. Um das zu ermöglichen, implementierte Facebook das, was es "Multi-Hop-Aufmerksamkeit" nennt.

Die maschinelle Übersetzung ist ein zweistufiger Prozess. Als Menschen halten wir den Prozess des Verstehens eines Satzes in unserer eigenen Sprache für selbstverständlich, aber Maschinen müssen zuerst Ressourcen in diese setzen, bevor sie in eine andere Sprache ausgeben können.

Eine andere Sache, die wir nicht realisieren, ist, dass alles, was wir tun, von Wahrscheinlichkeiten gesteuert wird. "Bait" zum Beispiel kann sowohl ein Substantiv als auch ein Verb sein, und wenn wir einen Satz auswerten, ordnen wir unbewusst Wahrscheinlichkeiten zu, die uns helfen, Bedeutung zu interpretieren. Dies erfordert, dass wir zu verschiedenen Zeiten auf andere Teile eines Satzes zurückgreifen, um Verständnis zu entwickeln.

Der Multi-Hop-Effekt von Facebook nutzt den simplen Charakter von ConvNets, um es Maschinen zu ermöglichen, auf verschiedene Textteile zu verweisen, um beim Codieren Verständnis zu entwickeln. Sobald dies geschehen ist und eine Vektordarstellung erstellt wurde, kann eine Übersetzung Wort für Wort bis zum Abschluss ausgegeben werden.

Grangier und Auli glauben, dass ihre Modelle so konstruiert werden können, dass sie mehr als nur maschinelle Übersetzungen ermöglichen. Ihr ConvNet könnte in jedem Szenario verwendet werden, in dem ein Computer Text verstehen und etwas ausdrücken muss, also könnte er einen zusammenfassenden Text enthalten oder sogar eine Lesung interpretieren und dann Fragen stellen.

Sowohl verstärkendes Lernen als auch kontradiktorische Netzwerke haben das Potenzial, die Ergebnisse von Facebook zu verbessern - jeder davon könnte zu einem eigenständigen Papier werden. Darüber hinaus hofft das Team, mit den Anwendungen der Multi-Hop-Aufmerksamkeit weiter zu experimentieren.