Независимо от того, рассматриваете ли вы ИИ как невероятный инструмент с огромными преимуществами или как социальное зло, которое приносит пользу только массивным инструментам, новый мощный чип может обучить их быстрее, чем когда-либо. Cerebras Systems представила самый быстрый в мире чип искусственного интеллекта — Wafer Scale Engine 3 (WSE-3), который обеспечивает работу суперкомпьютера искусственного интеллекта Cerebras CS-3 с пиковой производительностью 125 петафлопс. И его можно масштабировать до безумия.
Прежде чем система искусственного интеллекта сможет создать милое, но сверхъестественное маленькое видео, на котором кошка будит своего владельца, ее необходимо обучить на откровенно ошеломляющем объеме данных, потребляя при этом более 100 домохозяйств. Но новый чип и компьютеры, построенные на его основе, помогут ускорить этот процесс и сделать его более эффективным.
Каждый чип WSE-3 размером примерно с коробку для пиццы обладает поразительным четыре триллиона транзисторов, что вдвое превышает производительность предыдущей модели компании (которая также была предыдущим мировым рекордсменом) при той же стоимости и энергопотреблении. Когда они объединены в систему CS-3, они, очевидно, могут обеспечить производительность комнаты, полной серверов, в одном блоке размером с мини-холодильник.
Cerebras утверждает, что CS-3 оснащен 900 000 ядрами искусственного интеллекта и 44 ГБ встроенной SRAM, обеспечивая пиковую производительность искусственного интеллекта до 125 петафлопс. Теоретически этого должно быть достаточно, чтобы включить его в десятку лучших суперкомпьютеров в мире, хотя, конечно, он не тестировался в этих тестах, поэтому мы не можем быть уверены, насколько хорошо он будет работать на самом деле.
<р>Для хранения всех этих данных доступны варианты внешней памяти объемом 1,5 ТБ, 12 ТБ или массивные 1,2 петабайта (ПБ), что составляет 1200 ТБ. CS-3 может обучать модели ИИ, включающие до 24 триллионов параметров — для сравнения, большинство моделей ИИ в настоящее время имеют миллиарды параметров, а GPT-4, по оценкам, насчитывает около 1,8 триллиона параметров. Cerebras утверждает, что CS-3 сможет обучать модель с одним триллионом параметров так же легко, как современные компьютеры на базе графического процессора обучают жалкую модель с одним миллиардом параметров.
Благодаря процессу производства пластин Из чипов WSE-3 CS-3 спроектирован так, чтобы быть масштабируемым, позволяя объединять до 2048 блоков в один едва постижимый суперкомпьютер. Его производительность будет достигать 256 эксафлопс, тогда как лучшие суперкомпьютеры в мире в настоящее время все еще работают с чуть более чем одним эксафлопсом. По словам компании, такая мощность позволила бы обучить модель Llama 70B с нуля всего за один день.
Уже кажется, что модели искусственного интеллекта развиваются с ужасающей скоростью, но такого рода технологии — всего лишь собираюсь поднять пожарный шланг еще выше. Независимо от того, чем вы занимаетесь, похоже, что системы искусственного интеллекта будут использоваться в вашей работе и даже в ваших хобби быстрее, чем когда-либо.
