https://bodybydarwin.com
Slider Image

Facebook Open-Sources Die Computer hinter seiner künstlichen Intelligenz

2019

Die Verwendung leistungsfähiger Software für künstliche Intelligenz und die Bereitstellung von Open Source, damit jeder auf der Welt sie nutzen kann, scheint etwas aus einem Science-Fiction-Film zu sein, aber sowohl Google als auch Microsoft haben in den letzten Monaten genau das getan. Jetzt geht Facebook noch einen Schritt weiter und öffnet der Welt seine leistungsstarken KI-Computerhardware-Designs.

Es ist ein großer Schritt, denn während Softwareplattformen die KI-Forschung mit Sicherheit einfacher, reproduzierbarer und gemeinsam nutzbarer machen können, ist der gesamte Prozess ohne leistungsstarke Computer nahezu unmöglich.

Facebook gab heute bekannt, dass es Open-Sourcing-Lösungen für die Designs seiner Server anbietet. Das neue Design mit dem Namen Big Sur erfordert acht leistungsstarke Grafikprozessoren (GPUs) neben anderen traditionellen Teilen des Computers wie der Zentraleinheit oder der CPU, der Festplatte und dem Motherboard. Laut Facebook können die Forscher mit den neuen GPUs vor allem mit der doppelten Größe und Geschwindigkeit ihrer Modelle für maschinelles Lernen arbeiten.

Das regelmäßige Arbeiten mit Bildern oder Tonaufnahmen kann für Verbrauchergeräte eine Belastung darstellen, und einige Arten künstlicher Intelligenz müssen 10 Millionen Bilder verarbeiten und daraus lernen, um daraus zu lernen. Der Prozess, Training genannt, erfordert ernsthafte Rechenleistung.

Damit der Computer erfährt, was eine Katze ist, müssen Sie ihm möglicherweise Millionen von Bildern von Katzen zeigen.

Lassen Sie uns zunächst einige Grundlagen herausarbeiten. Der Unterbauch der KI kann entmutigend und komplex sein. Künstliche Intelligenz ist ein Überbegriff für eine Reihe von Ansätzen zur Schaffung eines künstlichen Systems, das menschliches Denken und Denken nachahmt. Hierfür gab es viele Ansätze. Derzeit sind die beliebtesten Methoden verschiedene Arten von künstlichen neuronalen Netzen für das Tiefenlernen. Diese Netzwerke müssen trainiert oder anhand von Beispielen dargestellt werden, bevor sie Informationen ausgeben können. Damit der Computer erfährt, was eine Katze ist, müssen Sie ihm möglicherweise Millionen von Bildern von Katzen zeigen (obwohl Facebooks Methoden diese Zahl drastisch reduziert haben). Die neuronalen Netze sind virtuelle Cluster mathematischer Einheiten, die kleine Informationen wie Pixel einzeln verarbeiten und zusammen und geschichtet unendlich komplexere Aufgaben bewältigen können.

Dies bedeutet, dass Millionen von Fotos, Phrasen oder Audiodateien von potenziell Millionen künstlicher Neuronen auf verschiedenen Abstraktionsebenen zerlegt und betrachtet werden müssen. Wenn wir uns die Teile des herkömmlichen Computers ansehen, die für diesen Job in Frage kommen, haben wir zwei Möglichkeiten: den Prozessor (CPU) oder die Grafikprozessoreinheit (GPU).

Die CPU, das wichtigste "Gehirn" des modernen Computers, eignet sich hervorragend für einige allgemeine Computeraufgaben. Es verfügt über relativ wenige Kerne (4-8 in Heimcomputern und -telefonen), aber jeder Kern verfügt über einen tieferen Cache-Speicher, um eine Sache mehrmals bearbeiten zu können. Es nutzt den Arbeitsspeicher (RAM) des Computers für Daten, die in seinen Prozessen benötigt werden.

Die GPU ist das Gegenteil. Eine einzelne serverorientierte GPU kann Tausende von Kernen mit wenig Arbeitsspeicher enthalten, die für die Ausführung kleiner, wiederholter Aufgaben (z. B. das Rendern von Grafiken) optimiert sind. Zurück zur künstlichen Intelligenz: Dank der Vielzahl von Kernen in einer GPU können mehr Berechnungen gleichzeitig ausgeführt werden, was das gesamte Unternehmen beschleunigt. Laut Serkan Piantino, technischer Direktor von Facebook AI Research, waren CPUs früher die erste Wahl für diese Art von schwerer Verarbeitung, aber für Großprojekte waren riesige Flotten von Netzwerkchips erforderlich, mehr als wenn sie mit GPUs berechnet würden.

"Derzeit sind GPUs für viele der Netzwerke, die uns wichtig sind, die besten."

"Der Vorteil, den GPUs bieten, ist die reine Rechendichte an einem Ort", sagte Piantino. "Derzeit sind GPUs für viele der Netzwerke, die uns wichtig sind, die besten."

Laut Facebook arbeitet Big Sur mit einer Vielzahl von GPUs verschiedener Hersteller zusammen, sie verwenden jedoch speziell ein kürzlich veröffentlichtes Modell von Nvidia, das seine Produkte stark für die Forschung mit künstlicher Intelligenz einsetzt. Bei ihren Tests der Leistung von CPU und GPU für das Image-Training haben zwei 10-Kern-Ivy-Bridge-CPUs (gelesen: sehr schnell) 256 Images in 2 Minuten und 17 Sekunden verarbeitet. Eine ihrer serverorientierten K40-GPUs verarbeitete die gleichen Bilder in nur 28, 5 Sekunden. Und das neuere Modell, das Facebook in Big Sur verwendet, Nvidias M40, ist tatsächlich schneller.

Viele Nvidia-Geräte sind auch mit der CUDA-Plattform (Compute Unified Device Architecture) ausgestattet, mit der Entwickler systemeigenen Code wie C oder C ++ direkt auf die GPU schreiben können, um die Kerne parallel mit höherer Präzision zu orchestrieren. CUDA ist ein wichtiger Bestandteil vieler KI-Forschungszentren wie Facebook, Microsoft und Baidu.

Die GPU ist das Arbeitspferd der modernen KI, aber einige Forscher sind der Meinung, dass der Status Quo des Computing nicht die Antwort ist. Die von der Bundesregierung finanzierte DARPA (Defense Advanced Research Projects Agency) arbeitete 2013 im Rahmen des SyNapse-Programms mit IBM zusammen, um eine neue Generation von Computerchips zu entwickeln, die auf natürliche Weise lernt. Das Ergebnis war TrueNorth: ein 2014 angekündigter "neuromorpher" Chip.

TrueNorth besteht aus 5, 4 Milliarden Transistoren, die in 1 Million künstliche Neuronen strukturiert sind. Die künstlichen Neuronen bilden 256 Millionen künstliche Synapsen, die beim Empfang von Daten Informationen von Neuron zu Neuron weitergeben. Die Daten wandern durch Neuronen und erzeugen Muster, die in nutzbare Informationen für das Netzwerk übersetzt werden können.

In Europa arbeitet ein Forscherteam an einem Projekt namens FACETS (Fast Analog Computing with Emergent Transient States). Ihr Chip hat 200.000 Neuronen, aber 50 Millionen synaptische Verbindungen. IBM und das FACETS-Team haben ihre Chips so konstruiert, dass sie skalierbar sind und parallel arbeiten können, um die Rechenleistung erheblich zu steigern. In diesem Jahr hat IBM 48 TrueNorth-Chips gebündelt, um ein 48-Millionen-Neuronen-Netzwerk aufzubauen. Laut MIT Technology Review hofft FACETS, eine Milliarde Neuronen mit zehn Billionen Synapsen zu erreichen.

Selbst mit dieser Zahl sind wir noch weit davon entfernt, das menschliche Gehirn wiederherzustellen, das aus 86 Milliarden Neuronen besteht und 100 Billionen Synapsen enthalten könnte. (IBM hat diese 100-Billionen-Zahl in früheren TrueNorth-Versuchen erreicht, aber der Chip lief 1542-mal langsamer als in Echtzeit und benötigte einen Supercomputer mit 96 Racks.)

„Am Ende steht intelligente Technologie.“

Alex Nugent, der Gründer von Knowm und DARPA SyNapse Alaun, versucht, die Zukunft des Rechnens mit einer speziellen Generation von Memristoren zu verbinden, die seiner Meinung nach die CPU, die GPU und den RAM ersetzen würden, die auf Transistoren laufen.

Der Memristor ist seit 1971 ein Einhorn der Technologiebranche, als der Informatiker Leon Chua die Theorie erstmals als "The Missing Circuit Element" vorschlug. Theoretisch dient ein Memristor als Ersatz für einen herkömmlichen Transistor, den Baustein des modernen Computers.

Ein Transistor kann in zwei Zuständen existieren (ein oder aus). Vereinfacht ausgedrückt ist ein Computer nichts anderes als eine Vielzahl von Transistoren, die zwischen Ein und Aus wechseln. Ein Memristor verwendet elektrischen Strom, um den Widerstand von Metall zu ändern, was eine größere Flexibilität bei diesen Werten ergibt. Anstelle von zwei Zuständen wie einem Transistor kann ein Memristor theoretisch vier oder sechs haben, was die Komplexität der Informationen multipliziert, die ein Array von Memristoren enthalten könnte.

Nugent arbeitete mit dem Hardwareentwickler Kris Campbell von der Boise State University zusammen, um einen speziellen Chip zu entwickeln, der mit dem, was er AHaH (Anti-Hebbian and Hebbian) -Lernen nennt, funktioniert. Diese Methode verwendet Memristoren, um Ketten von Neuronen im Gehirn nachzuahmen. Die Fähigkeit der Memristoren, ihren Widerstand basierend auf der angelegten Spannung in bidirektionalen Schritten zu ändern, ist sehr ähnlich der Art und Weise, wie Neuronen ihre eigene winzige elektrische Ladung übertragen, sagt Nugent. Dies ermöglicht es ihnen, sich während des Gebrauchs anzupassen. Da ihr Widerstand als natürliches Gedächtnis fungiert, würden Memristoren den von Neumann-Engpass aufheben, eine Datenverarbeitungskappe, die bei der Datenübertragung zwischen Prozessor und RAM entsteht.

"Ahah Computing sagt" Nehmen wir diesen Baustein und bauen daraus auf ", sagte Nugent in einem Interview mit Popular Science. "Indem Sie diese" Neuronen "grundsätzlich ausnutzen, sie auf unterschiedliche Weise verbinden und ihre Ausgänge auf unterschiedliche Weise koppeln, können Sie Lernoperationen durchführen."

So sieht Nugent diese Arbeit nicht nur für das allgemeine Rechnen, sondern speziell für das maschinelle Lernen.

Sobald Sie die Dichte nehmen, die wir heute schon erreichen können, verbinden Sie sie mit Memristoren, verbinden Sie sie mit einer Theorie, die es uns ermöglicht, sie zu verwenden, stapeln Sie die Chips in drei Dimensionen, und Sie erhalten biologische Effizienz «, Sagte Nugent. »Am Ende steht intelligente Technologie.«

Warum tut mein Arm am Tag nach meiner Grippeimpfung weh?

Warum tut mein Arm am Tag nach meiner Grippeimpfung weh?

Warum es sich lohnt, mehr als ein Gerät dabei zu haben

Warum es sich lohnt, mehr als ein Gerät dabei zu haben

Los Angeles genießt seit 50.000 Jahren das gleiche erstaunliche Klima

Los Angeles genießt seit 50.000 Jahren das gleiche erstaunliche Klima