Aleph Alpha GmbH

Artificial Intelligence Blog 31. Aug. 2020

AI Hardware: Daten waren nie das neue Öl AI Hardware: Data was never the new Oil

Der Technologie der künstlichen Intelligenz (KI) wird seit langem vorausgesagt, dass sie massive Auswirkungen auf die Wirtschaft, die internationalen Beziehungen und die Gesellschaft im Allgemeinen haben wird. In den letzten Jahren haben diese Versprechen begonnen, sich zu erfüllen, und diese Veränderungen werden sich in den kommenden Jahren und Jahrzehnten nur noch beschleunigen.

Während Bilder von Killerrobotern und andere Sci-Fi-Horrorgeschichten die fiktive Landschaft dominieren, sind dies nicht die Technologien, die für unsere unmittelbare Zukunft besorgniserregend sind. Gegenwärtige KI-Technologie wie die Gesichtserkennung wird bereits in großem Maßstab, insbesondere in China, zur Verfolgung und Kontrolle von Dissidenten und der allgemeinen Bevölkerung eingesetzt. Es scheint auch klar zu sein, dass der Zugang zu und die Kontrolle von fortschrittlicher KI-Technologien für die Wirtschaftskraft im sich entfaltenden Jahrhundert entscheidend sein wird.

Eine natürliche Frage, die es zu stellen gilt, ist, welche Formen der Regulierung es geben könnte, um den Zugang und die Nutzung von KI-Technologien zu beeinflussen. In diesem Bericht werde ich erklären, warum einige Kontrollachsen (Daten und Algorithmen) keine gangbaren Wege zur Regulierung sind, während andere (insbesondere der Zugang zu Computer-Hardware) vielversprechende Kandidaten für eine strategische Intervention sein können, falls dies gewünscht wird.

Anatomie der KI-Technologie


Moderne KI-Technologie baut auf dem Ansatz des "Deep Learning" (DL) auf. DL ist eine Methode, bei der ein "neuronales Netzwerk" (NN) auf einer Datensammlung "trainiert" wird, um eine Aufgabe auszuführen (z.B. Bilder nach Kategorien zu sortieren, Text automatisch zu vervollständigen oder ein Videospiel zu spielen).
Es gibt drei grundlegende Bestandteile, die für ein DL-System benötigt werden:
Artificial Intelligence (AI) technology has long been predicted to have a massive impact on the economy, international relations and society at large. In recent years, these promises have started to be fulfilled, and these changes are only set to accelerate in the upcoming years and decades.

While images of killer robots and other sci-fi-horror stories dominate the fictional landscape, these are not the technologies most worrying for our immediate future. Current AI technology such as facial recognition is already deployed at large scale, especially in China, for the tracking and control of dissidents and the general population. It also seems clear that access to and control over advanced AI technologies will be crucial for economic power in the unfolding century.

A natural question to ask is what forms of leverage might exist to influence the access and use of AI technologies. In this report, I will explain why some axes of control (data and algorithms) are not viable routes to regulation, while others (in particular, the access to computer hardware) are promising candidates for strategic intervention, if so desired.

Anatomy of AI Technology


Modern AI technology is built on the pricinple of “Deep Learning” (DL). DL is a method in which a “neural network” (NN) is “trained” on a collection of data to perform some task (such as sorting images by category, autocompleting text or playing a video game).
There are three fundamental ingredients needed for a DL system:
  • Algorithmen: Das technische Wissen, wie man neuronale Netze aufbaut und ihre Trainingsalgorithmen ausführt, zusammen mit zugehörigen Software-Implementierungen. Algorithms: The technical knowledge how to build neural networks and run their training algorithms, along with software implementations of this.
  • Daten: DL erfordert in der Regel recht große und spezialisierte Datensammlungen, um darauf zu trainieren. Data: DL tends to require rather large and specialized collections of data to train on.
  • Rechenleistung: Der Trainingsprozess eines DL-Systems erfordert sehr große Rechenressourcen. Compute: The training process of a DL system requires very large computing resources to run.

In der Welt der KI-Forschung gibt es eine weit verbreitete Kultur der Offenheit. Algorithmen und andere Forschungsfortschritte sind in der Regel kurz nach ihrer Entdeckung für jedermann zugänglich. Qualitativ hochwertige, gut getestete Software-Implementierungen der meisten Methoden auf dem neuesten Stand der Technik sind leicht und frei verfügbar. Patente und Firmengeheimnisse sind in der KI-Forschung ein viel kleinerer Faktor als in anderen technischen Bereichen, und die Software, zu der die Öffentlichkeit Zugang hat, ist selten deutlich schlechter als Methoden und Tools, die hochmoderne akademische und Unternehmenslabors haben. Man kann solche Algorithmen als nahezu "frei" betrachten.

Daten waren nie das neue Öl

In den letzten Jahren wurden die Daten als Engpass für die meisten Anwendungen der DL herausgestellt. Dies hat zu dem allgemeinen Sprichwort "Daten sind das neue Öl" geführt, was bedeutet, dass "Daten die neue wertvolle wirtschaftliche Ressource sind, die jeder haben möchte".

Aber diese Analogie ist fehlerhaft - nicht alle Daten sind gleich. Ein Datensatz mit Bildern von Gesichtern könnte für die Entwicklung einer Gesichtserkennungs-KI wertvoll sein, ist aber für die Entwicklung einer KI zum Scannen von Dokumenten von weitaus geringerem Nutzen. Im Gegensatz zu Öl sind Daten also nicht fungibel. Man kann nicht einen Datenblock gegen einen anderen austauschen, Man braucht genau die richtige Art von Daten, in ausreichender Menge, für die Aufgabe, die man in Angriff nimmt.

Eine der wichtigsten Entwicklungen in der Welt der künstlichen Intelligenz in den letzten Jahren war die Tatsache, dass die Abhängigkeit von Daten abnimmt, da die Algorithmen flexibler werden und größere Datensätze leichter verfügbar sind. Es ist heute recht einfach, "große" Datensätze für die meisten Standardaufgaben zu beschaffen (vielleicht ~70% der häufigsten Aufgaben, die man mit KI lösen möchte), und moderne Algorithmen erlauben es, mit etwas Mehraufwand mehr Leistung aus der gleichen Datenmenge zu extrahieren. Dies ist zu einem großen Teil den jüngsten bahnbrechenden Fortschritten bei den so genannten "Unsupervised Learning"-Methoden zu verdanken, die nützliche Aufgaben aus großen Mengen unspezifischer Daten lernen können. Das GPT3-Modell von OpenAI ist ein aktuelles berühmtes Beispiel dafür. GPT3 führt bei vielen Aufgaben, für die es nie explizit trainiert wurde, den Stand der Technik (oder nahe daran) aus. Stattdessen wurde es einfach an sehr großen Textsammlungen trainiert, die aus dem Internet gekratzt wurden. Übersetzt mit www.DeepL.com/Translator (kostenlose Version)

Diese Entwicklungen deuten auf einen anderen Kandidaten als das neue Öl hin, etwas Wertvolles und Fungibles: Computer-Hardware.

Rechenleistung ist der neue Engpass

DL-Training stellen ganz besondere Anforderungen an die Hardware, auf der sie durchgeführt werden. Jeder moderne Computer wird in erster Linie von einer Central Processing Unit (CPU) betrieben. Diese Chips sind in ihren Fähigkeiten äußerst flexibel, verfügen aber nicht über die Rohleistung von spezialisierteren Chips. Modernes DL-Training ist so rechenintensiv, dass es nicht mehr möglich ist, auf etwas anderem als auf sehr modernen, spezialisierten KI-Chips zu laufen. Die wichtigste Klasse solcher KI-Chips sind Graphics Processing Units (GPUs), die ursprünglich für Grafikanwendungen entwickelt wurden, dann stellte sich heraus, dass sie genau die optimalen Eigenschaften zu haben, die DL-Anwendungen benötigen. Andere, noch stärker spezialisierte Chips von Firmen wie Google, Graphcore (UK), Cambricon (China) und andere, existieren ebenfalls und werden in Zukunft wahrscheinlich noch wichtiger werden.

CPUs und sogar spezialisierte Chips, die im Allgemeinen einige Jahre alt sind, sind für den Einsatz in hochmodernen DL-Arbeiten ungeeignet. Die modernsten DL-Systeme werden konsequent auf modernster Hardware aufgebaut. Das Angebot an solchen Spitzenchips ist begrenzt und teuer, der Bau eines High-End-DL-Supercomputers kostet Millionen von Dollar.

The AI research world has a widespread culture of openness. Algorithms and other research progress is usually available to everyone shortly after their discovery. High quality, well tested software implementations of most state of the art methods are readily and freely available. Patents and corporate secrecy is a much smaller factor in AI research than in other technical fields, and the software the public has access to is rarely significantly inferior to what the cutting edge academic and corporate labs have. As such, algorithms can be considered close to “free”.

Data Never Was The New Oil

Over the last years, data has been singled out as the bottleneck for most applications of DL. This has led to a common saying that “data is the new oil”, meaning “data is the new valuable economic resource everyone wants to have”.

But this analogy is flawed. But all data is not equal. A dataset of images of faces might be valuable for developing a facial recognition AI, but is of much less use to develop a document scanning AI. So, unlike oil, data is not fungible. One can’t exchange one chunk of data for any other, one needs the exact right kind of data, in sufficient quantities, for the task one is tackling.

One of the most important developments in the AI world over the last years has been the reliance on data becoming less acute as algorithms become more flexible and larger datasets become more readily available. It is now quite easy to acquire "big enough" datasets for most standard tasks (perhaps ~70% of the most common tasks one might want to solve with AI), and modern algorithms allow the extraction of more performance from the same amount of data, with some extra work. This is in large parts thanks to recent breakthrough progress in "Unsupervised Learning" methods, which can learn useful tasks from large amounts of non-specific unlabeled data. OpenAI's GPT3 model is a recent famous example of this. GPT3 performs state of the art (or close to it) on many tasks it was never explicitly trained on. Instead, it was simply trained on very large collections of text scraped from the internet.

These developments point towards a different candidate as the new oil, something valuable and fungible: Computing hardware.

Compute Is The New Bottleneck

DL training has very special demands on the hardware it is run on. Any modern computer is run primarily by a Central Processing Unit (CPU). These chips are extremely flexible in their capabilities, but lack the raw power of more specialized chips. Modern DL training is so computationally heavy that it is no longer feasible to run on anything but very modern, specialized AI chips. The most important class of such AI chips are Graphics Processing Units (GPUs), which were originally designed for graphics applications but turned out to have the exact properties DL applications needed. Other, even more specialized chips, from companies such as Google, Graphcore (UK), Cambricon (China) and others, exist as well and are likely to become even more important in the future.

CPUs and even specialized chips that are a few years old in general are unsuitable for use in cutting edge DL work. The most cutting edge DL systems are consistently built on top of the most cutting edge hardware. The supply of such cutting edge chips is limited and expensive, building a high end DL supercomputer costs millions of dollars.

Connor Leahy


Machine Learning Engineer

Der Lebenszyklus eines Computing-Chips


Vereinfacht man die vielen Schritte, die mit der Herstellung eines Hochleistungsprozessors verbunden sind, gibt es drei Hauptbranchen:

Chip-Entwurf
Produktion von Halbleiter-Herstellungsanlagen (SME)
Chip-Fertigung ("fabs")

Nur sehr wenige große Unternehmen dominieren alle Phasen der High-End-Chip-Produktion, wobei die überwiegende Mehrheit von ihnen in westlichen Ländern angesiedelt ist, sowie in Japan, Südkorea und Taiwan.

Da es sich beim Chip-Design um einen rein softwaregesteuerten Prozess handelt, kann er theoretisch überall durchgeführt werden, aber ein Großteil der Arbeit wird von den Vereinigten Staaten dominiert. Zu den Hauptakteuren in diesem Bereich gehören NVIDIA, Intel, AMD und Google.

Die SME-Produktion ist der am stärksten konzentrierte dieser Schritte, wobei derzeit nur ein einziges Unternehmen (das niederländische Unternehmen ASML) in der Lage ist Hochtechnologie zu liefern, die zur Herstellung von Chips höchster Qualität erforderlich ist. Andere SME-Anbieter, die in den USA und Japan ansässig sind, haben ebenfalls große Marktanteile, verfügen aber nicht über die Kapazität, um die hochwertigsten Endgeräte herzustellen.

Auch die Chipfertigung ist ein sehr zentralisiertes Geschäft, wobei nur 3 Unternehmen über die Kapazität zur Herstellung von Chips der Spitzenklasse verfügen. Der bei weitem dominierende Akteur in diesem Bereich ist die taiwanesische Firma TSMC, die derzeit am besten in der Lage ist, die leistungsfähigsten Chips zu liefern. (unter Verwendung von ASML-Ausrüstung). Die beiden anderen bemerkenswerten Akteure in diesem Bereich sind Intel (USA) und Samsung (Südkorea), auch wenn sie derzeit im technischen Bereich der Kapazität noch hinterherhinken.


Strategische Implikationen


Viele Aspekte des Informationstechnologiesektors lassen sich naturgemäß nur schwer kohärent bewerten und regulieren. Welche CPUs man genau verwendet, um ein Internet-Startup zu betreiben, war bisher von sehr geringer Bedeutung. Die rechnerischen Anforderungen an Cutting-Edge-DL-Systeme verändern diese Dynamik.

Immer mehr wird derjenige, der Zugang zur besten KI-Hardware hat, in der Lage sein, die beste KI-Software zu entwickeln. Daher ist der Zugang zu hochmoderner KI-Hardware für politische Entscheidungsträger und strategische Analysten von Interesse.

Das in der Konstruktion von Hochleistungschips eingebettete geistige Eigentum wird immer die üblichen Schwierigkeiten beim Schutz vor Spionage oder Reverse Engineering haben. Das Design von High-End-Chips erfordert große Fertigkeiten und Anstrengungen, ist aber an sich schwer zu verfolgen und zu regulieren und stellt daher ein ungünstiges Ziel für Interventionen dar.

Die Produktion von SMEs und die Chipfertigung hingegen sind extrem kapitalintensiv, zentralisiert und in großem Maßstab kaum zu verbergen, was sie zu einem günstigen Ziel für politische Interventionen macht.


Zusammenfassung und Empfehlungen


Die Zukunft wettbewerbsfähiger KI-Forschung und -Entwicklung wird entscheidend vom Zugang zu hochwertigen KI-Spezialchips abhängen. Die Gewährleistung des Zugangs zu einer angemessenen Versorgung mit solchen Chips ist von entscheidender Bedeutung für jede Nation, die in der sich entfaltenden KI-Revolution wirtschaftliche Relevanz anstrebt.

Gegenwärtig ist die gesamte Kapazität der Welt zur Herstellung von High-End-Chips in einer sehr kleinen Zahl internationaler Unternehmen lokalisiert. die sich in europafreundlichen Nationen befinden. Ungeachtet dessen, was man denken mag, haben China und andere Länder ohne diese Konzerne äußerst begrenzte Möglichkeiten um hochwertige Chips herzustellen, und trotz intensiver Bemühungen, solche Fähigkeiten im Inland zu produzieren, ist es unwahrscheinlich, dass sie bald erreicht werden.

Die EU muss jetzt handeln, wenn sie die für die Chip-Souveränität erforderlichen Kapazitäten aufbauen will. Derzeit werden alle in Europa verwendeten Chips in den USA entworfen und gebaut in Taiwan, Südkorea oder den Vereinigten Staaten. Ob dies ein wünschenswerter Stand der Dinge ist, bleibt dem Leser überlassen.

Wenn die EU ernsthaft die Chip-Souveränität anstreben und sicherstellen wollte, dass sie in der sich entwickelnden KI-Revolution wettbewerbsfähig und souverän ist, wären massive Investitionen nötig. Es müssten so schnell wie möglich Anstrengungen unternommen werden, da die Entwicklung dieser Kapazitäten Jahre oder Jahrzehnte dauern könnte. Die EU befindet sich in einer guten Position, um solche Kapazitäten aufzubauen, da sie über sehr gut ausgebildete Arbeitskräfte und einen großen Markt für diese Produkte verfügt und Standort für den weltweit führenden SME-Hersteller (ASML) ist.

Hohe Investitionen in die Bemühungen offene Hardware-Designs für KI-Spezialchips zu entwerfen und an der Entwicklung der dafür erforderlichen Produktionsmöglichkeiten zu arbeiten scheint der aussichtsreichste Weg für die EU zu sein. Die Entwicklung dieser Entwürfe in einer offenen Art und Weise (ähnlich der RISC-Stiftung) hätte den Vorteil, dass die EU schnell Boden gut macht, indem sie den Unterstützung vieler Interessengruppen zulässt und es ihr so hoffentlichgelingt die privaten Bemühungen mit Jahrzehnte Vorsprung in einem absehbaren Zeitrahmen einzuholen. Wie in diesem Bericht erörtert wird, wäre es für feindliche Industriespionage kein großer Vorteil, wenn solche Entwürfe offen wären, da diese wahrscheinlich keinen Zugang zu den erforderlichen Produktionskapazitäten hätten, wenn die EU und ihre Verbündeten daran arbeiten würden, den Zugang zu ihren führenden SME und Produktionsanbietern zu kontrollieren.

Die SME- und Fertigungskapazität stellt sich als ein ungewöhnlich lenkbares und kontrollierbares Ziel für die Politik dar. Wollte man die Nutzung der KI für Zwecke entgegen den europäischen Werten und strategischen Interessen sicherstellen - eine Beschränkung dieser Schritte im Produktionszyklus der Hardware sollte enormen Druck auf jeden Gegenspieler ausüben und schneidet ihn effektiv von der KI-Kapazität der Spitzenklasse ab, möglicherweise für Jahrzehnte.

The Lifecycle of a Computing Chip


Simplifying the many steps involved in producing a cutting edge chip, there are three main industries involved:

Chip design
Semiconductor Manufacturing Equipment (SME) Production
Chip Fabrication (“fabs”)

Very few large companies dominate all phases of high end chip production, with the vast majority of them located in western countries, along with Japan, South Korea and Taiwan.

Chip design, being a purely software driven process, can theoretically be performed anywhere, but much of the work is dominated by the United States. Major players in this space include NVIDIA, Intel, AMD and Google.

SME production is the most concentrated of these steps, with only a single company (dutch company ASML) currently capable of providing the most cutting edge equipment required to produce the highest quality chips. Other SME providers, located in the USA and Japan, have large market shares as well but lack the capacity to produce the highest end equipment.

Chip Fabrication is also a very centralized business, with only 3 corporations having the capacity to manufacture cutting edge chips. By far the most dominant player in this field is taiwanese company TSMC, who currently are the ones most capable of delivering the most powerful chips (using ASML equipment). The two other noteworthy players in this field are Intel (USA) and Samsung (South Korea), though they currently lag in technical capacity behind TSMC.


Strategic Implications


Many aspects of the information technology sector are by their very nature hard-to-impossible to cohesively assess and regulate. Which CPUs one exactly uses to power an internet startup has, so far, been of very little importance. The computational demands of cutting egde DL systems is changing this dynamic.

More and more, whoever has access to the best AI hardware will be able to build the best AI software. As such, access to cutting edge AI hardware is of interest to policy makers and strategic analysts.

The IP embedded in the design of cutting edge chips will always have the usual difficulties of protection from espionage or reverse engineering. Designing high end chips requires great skill and effort, but is in itself hard to track and regulate, and therefor presents an unfavorable target for intervention.

SME production and chip fabrication on the other hand are extremely capital intensive, centralized and almost impossible to hide on a large scale, making them a favorable target for policy intervention.


Summary and Recommendations


The future of competetive AI research and development will crucially depend on access to high end AI accelerator chips. Ensuring access to adequate supply of such chips is of crucial importance to any nation seeking economic relevance in the unfolding AI revolution.

Currently, the entire world’s capacity to construct high end chips is localized in a very small number of international corporations located in Europe-friendly nations. Despite what one may think, China and other countries without these corporations have extremely limited capabilities to produce high end chips, and, despite intense efforts to produce such capabilities domestically, are unlikely to achieve them soon.

The EU must act now if it wishes to build the capacities needed for chip sovereignity. Currently, all chips used in Europe are designed in the US and built in Taiwan, South Korea or The United States. Whether this is a desirable state of affairs is left to the reader to decide.

If the EU wished to seriously pursue chip sovereignity and ensure it’s competetive in the developing AI economy, a massive investment and development effort would be needed as soon as possible, as developing these capacities could take years or decades. The EU is in a good position to build such capacity, as it possesses a very educated workforce, a large market for its products, and hosts to the world’s leading SME manufacturer (ASML).

A heavy investment in an effort to design open hardware designs for AI accelerator chips and work to develop the production capabilities needed for them seems the most promising route for the EU. Developing these designs in an open manner (similar to the RISC Foundation) would have the benefit of allowing the EU to leapfrog its progress forward by allowing the input of many stakeholders and hopefully allowing the effort to catch up to private efforts with decades of lead within a foreseeable timeframe. As discussed in this report, such designs being open would not be a huge asset to hostile agents as these would be unlikely to have access to necessary production capacity, if the EU and its allies work to control access to their leading SME and fabrication providers.

SME and fabrication capacity presents itself as an unusually tractable and controllable target for policy. If one wanted to limit the use of AI for purposes counter to European values and strategic interests, restricting these steps in the hardware production cycle would exert enormous pressure on any such hostile nation or actor, and effectively cut them off from high end AI capacity, potentially for decades.