YAHOO LÄDT TENSORFLOW MIT APACHE SPARK - TECHCRUNCH - SOZIALEN MEDIEN - 2018

Anonim

Yahoo, Modell Apache Spark Citizen und Entwickler von CaffeOnSpark, die es Entwicklern leichter gemacht hat, tiefe Lernmodelle in Caffe parallel zu skalieren, ist ein neues Projekt mit dem Namen TensorFlowOnSpark. Die Paarung von Spark und TensorFlow sollte das Deep-Learning-Framework für Entwickler attraktiver machen, die Modelle erstellen, die auf großen Computerclustern ausgeführt werden müssen.

Für diejenigen, die während des Big-Data-Booms ausgespäht haben, ist Apache Spark ein Open-Source-Framework, das entwickelt wurde, um die Effizienz von Parallel-Computing zu erhöhen. In den Schritten von Tools wie Hadoop ermöglichte es Spark Unternehmen wie Netflix, große Mengen von Benutzerdaten zu verarbeiten, um Empfehlungen in großem Maßstab zu geben.

Machine-Learning-Frameworks wie Google TensorFlow und Caffe helfen Menschen dabei, Deep-Learning-Modelle ohne die rigorosen Fähigkeiten eines Machine-Learning-Spezialisten zu erstellen. Die Open-Source-Bibliotheken existieren auf einer höheren Abstraktionsebene, die es Entwicklern ermöglicht, Modelle zu erstellen, ohne sich im Unkraut zu verlieren und das Rad neu zu erfinden.

Natürlich gehen Spark und maschinelles Lernen Hand in Hand. Vor allem das Deep Learning lehnt sich stark an große Mengen an Rechenleistung als Krücke an. Yahoo hat CaffeOnSpark für den eigenen Gebrauch erstellt. Aber das Mischen von Caffe und Spark kam nur einem Teil der Community für maschinelles Lernen zugute. TensorFlow bleibt das beliebteste Framework, daher hat sich Yahoo dazu entschlossen, die gleiche Paarung zu verwenden und hoffentlich auf dem Weg etwas Entwickler-Respekt zu bekommen.

Zeit für ein Update: Wie sieht die Deep Learning-Bibliothekslandschaft von GitHub aus? pic.twitter.com/QDZyvLrYBd

- François Chollet (@fchollet) 11. Februar 2017

Yahoo erkundete bestehende Tools wie SparkNet und TensorFrame, um die Lücke zwischen TensorFlow und Spark zu schließen, entschied aber letztendlich, dass sie es besser machen könnten. Das Ergebnis ist ein Tool, mit dem Entwickler ihre vorhandenen TensorFlow-Programme schnell modifizieren können, um mit TensorFlowOnSpark zu arbeiten.

Deep-Learning-Frameworks sind ein merkwürdiges Stammesobjekt unter Entwicklern. Skyminds Deeplearning4j ist ein Open-Source-Framework, das für Java mit Spark-Integrationen geschrieben wurde, aber die Bibliothek fällt letztendlich auf den sechsten Platz für Beliebtheit. MXNet hingegen ist für seine Skalierbarkeit auf eine Vielzahl von GPUs bekannt. Es war genau diese Fähigkeit, die Amazon zum Vorteil gereichte und MXNet schließlich half, Teil des Apache-Inkubators zu werden.

Obwohl TensorFlowOnSpark Open Source ist, plant Yahoo, das Tool weiter zu verbessern. Wenn Sie daran interessiert sind, es auszuprobieren, können Sie alles auf dem Yahoo GitHub bekommen.