Почему всем так нужны видеокарты от NVIDIA

либо-либо.

Привет, меня зовут Самат Галимов, и это подкаст «Запуск завтра». Здесь я пытаюсь разобраться, как устроены технологии, которые меняют нашу жизнь, а помогают мне в этом профессионалы, с которыми можно поговорить простым человеческим языком. Друзья, вы слушаете заключительный эпизод нашего 13 сезона. В этом сезоне мы много говорили об искусственном интеллекте. И это очень понятно. Когда я подкаст только начинался, о нейросетях никто толком ничего не слышал. А теперь, к концу 25 года, многие из вас, я уверен, пользуются ими регулярно. Такой бешеный рост не был бы возможен без мощного железа. И сегодняшний выпуск как раз об этом. Мы поговорили с человеком, который работал в компании NVIDIA. Это главный производитель видеокарт, без которого невозможно представить современные нейросети. Вместе мы разбираемся, почему видеокарты так важны, как NVIDIA стала самой успешной компанией на этом рынке и где ждать следующего прорыва. К этому выпуску у нас заготовлен бонус. Беседа с гостем Денисом Тимониным получилась такой насыщенной, что часть её мы решили вынести в отдельный бонусный эпизод. В дополнительных фрагментах я расспрашиваю Дениса о трендах в индустрии нейросетей и о сильном искусственном интеллекте, появлении которого многие ждут и боятся. И, конечно, узнаю о том, как Денису работалось в одной из самых важных технологических компаний в мире. Послушать бонус можно по платной подписке на либо-либо или запуск плюс-плюс в Телеграме или в Apple подкастах. Ссылки будут в описании. Партнеры этого сезона— онлайн-офис с искусственным интеллектом от Яндекс.360. Это рабочее пространство, в котором собраны все нужные инструменты для совместной работы. Почта, календарь, сервис-видеовстреч, трекер, мессенджер и диск. С Яндекс.360 удаленные и гибридные команды работают слаженно и эффективно, не тратя время на синхронизацию разных сервисов между собой и быстро решая организационные задачи. Все инструменты понятно устроены, так что переход на новые сервисы не займет много времени, а со всеми трудностями поможет поддержка. Она оперативно ответит на вопросы и будет всегда на связи, чтобы снизить риски. Если сейчас вы пользуетесь другими сервисами, но хотите попробовать Яндекс.360, переходите по ссылке в описании и выбирайте удобный тариф.

Привет, меня зовут Денис Тимонин, я экс-ведущий архитектор решений искусственного интеллекта в компании NVIDIA, а на данный момент CEO и фаундер FlyMyEye, платформы для запуска нейросетей.

NVIDIA—

это одна из самых дорогих компаний на планете. В этом эпизоде мы пытаемся с тобой разобраться, что это за компания и почему вдруг ее продукция оказалась так всем нужна.

Но начнем сначала.

Когда и как появилась компания NVIDIA?

Компания NVIDIA появилась в 1993 году. Она была основана тремя друзьями— Дженсеном Хуангом, Крисом Малаховским и Кёртисом Примом. И компания увидела довольно интересный тренд, что 3D-графика выходит в свет, появляются игры и просто приложения, связанные с 3D-графикой. И вот как раз на этой волне, на этом тренде, решила делать свои процессоры, которые бы ускоряли эти задачи.

Что было их первым продуктом?

Первым продуктом был графический чип NVIDIA NV1, который был выпущен в 1995 году. Это была первая видеокарта, к которой мы все привыкли, и которая позволяла обсчитывать 3D-графику, которая при этом в себе содержала всякий дополнительный функционал для геймеров, вроде мультимедийных портов и прочего.

Можешь чуть-чуть подробнее рассказать, зачем были нужны отдельные видеокарты для игр? Что с ними там происходило с играми в этот момент, почему вдруг потребовалось железо?

Игры сами по себе и рендеринг графики требует большого количества расчетов однотипных операций, а точнее там умножений и сложений чисел. Когда картинка рендерится или отображается на экране в какой-то игре, допустим, ты в 3D-мире, ты как персонаж стоишь и видишь вокруг себя вот отрисованную, Red Dead Redemption пейзаж, то все точки, пиксели, рассчитываются и проецируются тебе как бы как наблюдатель в твою камеру, в твои глаза, и отрисовываются на экран, исходя из твоего положения, исходя из различного расположения объектов друг на друга. И, соответственно, вот этот расчет требует очень много ресурсов. Классические процессоры CPU изначально предназначались для других задач. Это такой универсальный кухонный комбайн, где можно менять насадки и обсчитывать много различных простых операций очень быстро, но не очень объемно. При этом вот задачи графики требовали больших объемных вычислений, и NVIDIA как раз одна из компаний, которая видела эту возможность и сделала GPU / чип для игр, который как раз таки содержал в себе чип, в котором были множество различных ядер, то есть там сотни, тысячи, сейчас десятки тысяч ядер, которые делают вот простые операции умножения и сложения. При этом они позволяют решить проблему рендера графики.

Сколько они стоили примерно?

Видеокарты вот NV1 того времени и конкурентов стоили около 300 долларов, насколько я помню. И, по-моему, по соотношению тех цен, уровней инфляции и всего прочего, это было примерно столько же, сколько сейчас обходится 4090.

4090— это карточка, которая стоит полторы тысячи, мне кажется, да? Или тысяча?

Да, тысяча до полутора. Ну да, это где-то раньше цен.

NVIDIA была единственной компанией, которая их делала, или были конкуренты?

У NVIDIA были конкуренты. NVIDIA была не первой компанией. Были компании 3dfx, по-моему, которая называлась, которая делала видеокарты.

Карточка Voodoo. Voodoo 3dfx.

Да.

Я помню, кстати, тогда еще себя тоже ребенкой, который слышал это название, и даже название звучало магически. Это что-то очень важное для успешной игры. Да, но рынок только развивался, игры только появлялись, такие как Quake, Doom и прочие, чуть позже Tomb Raider, и игроки главные только появлялись на этом рынке. Nvidia вышла просто со своим решением, со своим необычным подходом к расчёту графики. Этот подход в NV1 не оправдал себя, поэтому карта не была успешной, это был такой провал. Можно сказать, первый продукт компании Nvidia был довольно провален, но в целом это была одна из нескольких компаний, которая ворвалась в этот рынок. довольно инновационным, дерзким, агрессивным подходом, который позже себя уже оправдал.—

Блин, дико интересно, подожди. То есть они сделали видеокарту, но она не стала коммерчески успешной, типа конкуренты были сильнее. Что в ней было не так?—

Графика изначально рассчитывалась такими определенными треугольниками, и была модель обсчета графики и выстраивания 3D сцен, где расчеты производились проверки определенных треугольников, кусочков этих сцен. NVIDIA решила сделать свой подход, обсчитывать четырехугольники, объясняя, что в результате этой инновации графика будет более плавной, правильной. Но суть в том, что поскольку сам процессор, самая видеокарта— это лишь часть всего стэка в разработке и запуске игр. Карты конкурентов, за счет стандартного подхода и софта, который поверх этого позволял этот стандартный подход использовать, довольно быстро могли быть встроены в компании, которые занимались разработкой игр. Ну, соответственно, игры на них могли быстро теститься, запускаться, вваживаться и все прочее. У NVIDIA был новый подход с новым софтом, API и кодовые инструменты разработчиков, которые применялись для других видеокарт, не работали тут, в том числе DirectX и все прочие инструменты, которые были стандартными на тот момент в разработке игр. И поэтому свой стек, который создавал, конечно, сложности. То есть разработчикам приходилось переучиваться или пришлось бы переучиваться на новое софтварное такое окружение, новый принцип написания кода, что довольно сложная задача в целом. Вот это была одна из основных проблем, почему карта не взлетела.

Окей. Они сделали видеокарту. Какой был следующий большой шаг для компании?

Наверное, следующий большой шаг— это успешная видеокарта. По крайней мере, это тот шаг, про который я знаю. Это была GeForce 256 в 1999, около вот этого года. Это был первый успех. И основное, что Nvidia отказалась от своей идеи навязывать свои стандарты в мире программирования. То есть разработчики смогли брать готовый же инструмент, встраивать его и поверх этой видеокарты разрабатывать, запускать игры. Плюс видеокарта была недорогой, быстрой, и при этом поддерживала, ну вот как вот эти стандарты DirectX и OpenGL для разработки игр, и также поддерживала определенные новые такие вещи, как трансформация и освещение, аппаратная поддержка трансформации и освещения. И это позволило улучшить, насколько я знаю, я не тестил, и, наверное, есть люди, которые это помнят, и могут подтвердить. Возможно, это и улучшило графику и, соответственно, вызвало просто волну интереса компании.

Да, я помню эти карточки, коробочку даже помню. Значит, сделали неуспешную видеокарту, потому что пытались продвинуть свой стандарт, потом научились на этой ошибке, сделали успешную видеокарту, которая подчинялась всем готовым стандартам, была популярна и при этом была недорогая, технически такая продвинутая. Все получилось. Какой следующий шаг, который прямо определяет компанию после видеокарт для игр?

Шаг, наверное, основной, большой, про который стоит поговорить,— это, наверное, создание CUDA и создание такой бранча, ветви вообще роста компании, направления компании, когда видеокарты стали использоваться как инструменты для научных расчетов. CUDA— это такой software, то есть это soft, это программный стек, который работал поверх видеокарты и который опять-таки через, вот как мы говорили, для создания игр были такие стандартные софтверные стеки, такие как OpenGL и DirectX.

Вот CUDA—

это был первый из последующих, ставший стандартом, софтверный интерфейс для того, чтобы программировать видеокарты очень удобно, очень просто, не залезая внутрь в какие-то детали, как она работает, а простыми командами и делать scientific расчеты на этих видеокартах. Это год 2006, когда компания создает CUDA и выпускает новые видеокарты, а точнее графические процессоры, так они называются, без видеовыхода.

видеокарта без видео. Интересно. Сейчас попробую подытожить. Получается, вот у нас были библиотеки от Microsoft DirectX для разработки видеоигр. И та карточка, которая ее поддерживала, она в дамках, потому что все игры работают на этой видеокарте. А NVIDIA придумала библиотеку, с помощью которой можно использовать видеокарты для научных вычислений.

Да, всё верно. Они увидели интерес. Интерес в применяемости видеокарты в расчётах каких-то научных задач. Видеокарта, как я сказал, содержит много, сотни тысяч, десятки тысяч ядер, которые умеют перемножать числа, допустим. И вот это перемножение чисел очень хорошо объёмное в параллели. за один такт, как бы ты можешь сразу десятки тысяч перемножить, это хорошо ложится на задачи, такие как есть проблемы, которые называются n-bodies классические, когда у нас, например, мы хотим рассчитать, как движутся тела в космосе, и мы знаем, что у нас есть гравитационные силы между различными объектами, которые в каждый момент времени друг на друга, различные объекты взаимодействуют вот этими своими гравитационными силами. В результате нам нужно посчитать состояние какой-то части космоса в какой-то момент времени. И для того, чтобы это сделать, нам нужно сделать N итераций, чтобы прийти к этому состоянию в будущем, каждый раз рассчитывая, как поменять свое положение какой-нибудь планеты или другой объект, исходя из того, какие силы на нее оказывали другие планеты. И вот тут тебе нужно в параллели каждый раз, по шагам двигаясь, обсчитывать для каждых объектов следующий микрошаг. задачи N-body, это различные дифференциальные уравнения. и в том числе нейросети, которые стали популярны позже, а это как бы под вид задачи линейной алгебры. Вернее, базовый механизм инструмента, один из базовых – это линейная алгебра. И вот это перемножение матриц, там тоже видеокарты очень хорошо себя показали. Оказалось, в результате увидела NVIDIA вот эти все направления, где люди, ученые, университеты стали внедрять видеокарты и делать какие-то вычисления. И решила, что в этом есть отдельный бизнес, и стала делать отдельные чипы, процессоры, которые позволяли как раз-таки заниматься просто обсчетом быстрым вот таких научных вычислений.

И у меня тут возникает такой вопрос. Ты сказал, что они умеют делать линейную алгебру, и для нейросетей это тоже полезно. То есть, получается, сначала сделали карту для научных вычислений, а потом уже оказалось, что она хорошо подходит для нейросетей, да?

Да, всё верно. Нейросети вообще довольно давно начинали свой путь, но при этом в них никто всерьёз не рассматривал как какой-то инструмент, который может решить ту или иную проблему в реальном мире. У всех этих проблем и задач, которые сейчас решаются нейросетями, были различные другие подходы. В 2012 году Джеффри Хинтон, Илья Суцкевер и Алекс Крижевский, они сделали нейросети сеть AlexNet и как раз таки запустили ее на двух игровых видеокартах, которая делала распознавание картинок и классификацию. И в результате показалось, что нейросеть может справляться с этой задачей лучше, чем все классические алгоритмы. Причем просто нейросеть классическая на данный момент времени, без каких-либо сложных внутри элементов.

Вот тогда, в 10-е годы, только начало развития искусственного интеллекта с использованием видеокарт, были ли тогда альтернативы видеокартам NVIDIA для искусственного интеллекта?

Для искусственного интеллекта я вообще не слышал, что применялось что-то до этого момента. Может, кто-то использовал другие видеокарты, поскольку у NVIDIA были в тот момент конкуренты и компании, в том числе AMD, которые делают видеокарты. видеокарта Radeon, она была основана раньше, чем Nvidia, и они в какой-то момент времени тоже стали делать видеокарты, но вот именно прорыв основной начался с вот этого…

Аликснета.

Аликснета, который в 2012 году был сделан, и всё, да, запустился цикл разработки отдельных библиотек, отдельных ещё более уловленных GPU, cuDNN, cuBLAS и там… и TensorRT, плюс отдельные видеокарты, которые содержали определенные даже технически на низком уровне ядра, специальные для расчета нейросетей.

Получается, вот была задача обсчета графики, потом мы такие, блин, ведь эти процессоры могут еще считать и математические задачи научные. А потом такие, а нельзя ли то, что уже умеет читать научные задачи, использовать еще и для искусственного интеллекта? Но хочется чуть-чуть пояснить про то, что в видеокарте много процессоров, которые оптимальны для расчета графики, потому что у нас много пикселей, условно, на каждый блок пикселей у нас свой процессор. Понятно примерно. Но почему видеокарты оптимальны для задач искусственного интеллекта, для нейросетей? Можешь вот это немножечко прояснить?

Видеокарты оказались хороши в том, чтобы перемножать числа, и так мы обсудили множество ядер, которые много могли в параллели за одну единицу времени быстро за один такт обсчитать, сразу перемножить множество чисел. И в задаче линейной алгебры, да, вот как мы сейчас тоже упоминали, это задача перемножения Одна из этих частных случаев— это перемножение матриц. И в нейросетях прорыв произошёл в том числе из-за того, что люди видели, что основной инструмент в текущих архитектурах нейросетей, самых популярных,— это перемножение больших матриц. И нейросеть, по сути,— это множество матриц. Матрица— это такой квадратик с числами, который умножается по определённым правилам на другой квадратик с числами. В результате у нас появляется третий квадратик, прямоугольник, можно различными формами, главное, чтобы там были прямые углы. Мы получаем в финале третий прямоугольник, который содержит изменённую информацию. И суть нейросети в том, что если взять множество матриц, часть из них будет наши входные данные, то есть, допустим, картинка, где у нас есть кот, и картинка, где есть собака. Это матрицы. То есть это как раз квадратик, по сути, с числами пикселей. И домножать ее на определенные матрицы с определенными весами, то в результате мы можем делать различные задачи. Описывать, например, текстом, трансформировать вот эту матрицу изначально во что-то в виде матрицу вектор текста. Или в пиксель, или в одно число, которое будет классифицировать кот это или собака. Либо в прямоугольную матрицу, которая голосом сможет это описывать, эту картинку. И суть в том, что базовый механизм один и тот же, но он может решать множество задач. И вот задача, которую ты хочешь решить, зависит от того, как ты ее обучаешь в этой нейросети. И процесс обучения тоже оказался един, то есть поверх одной и той же структуры, один и тот же процесс обучения, когда мы просто подаем котика на вход картинку и дальше на выходе мы что это кот для картинки с собакой, даём значение нолик, мы прописываем это сами руками и процесс обучения. Все промежуточные матрицы подтюниваем так, это происходит автоматически, чтобы видео, получая на фото собаку, нейросеть сама выдавала нолик, или видя и получая на вход картинку с котом, сама выдавала единичку. И вот это матричное перемножение— это то, что уже в видеокартах было. То есть вот этот процессор, который содержит много ядер, туда отлично ложатся матрицы. То есть прям мы можем записать в каждый из ядер кусочки этой матрицы и матрицы рядом разложить и перемножить их, записав результат в память. Вот такой основной процесс.

Офигеть. Я, кстати, видел такую шутку, типа вот ты думаешь, что там искусственный интеллект, а на самом деле просто матрицы перемножаются.

Ну да, это так. В общем, магия,

мне кажется, как раз в том, что обычным перемножением квадратиков, чисел, таблиц, чисел друг на друга можно получить вот такие удивительные результаты. Сейчас Цукерберг, Илон Маск и Безос соревнуются, кто купит больше этих видеокарт в этом году. Типа там ты тысячу купим, там 10 тысяч и так далее. Эта потребность в видеокартах, она росла постепенно или были какие-то события, какие-то точки взрывного роста? Как это примерно происходило?

За счет Аликснета было доказательство того, что нейросети умеет классифицировать картинки. Потом мы смогли работать с текстами, со звуком. И еще потом научились картинку брать и трансформировать ее в другую картинку. И постепенно происходили такой ресерч, а что же, для чего же еще мы можем использовать нейросети, и как меняется должна архитектура нейросети. Изменения были не сильные, и в целом нейросети подходили для разных задач, практически для всего, к чему применялись. Основной, в чем была задача, проблема – это найти, написать вот это перемножение «нужная матрица», и CUDA в этом очень сильно помогало, а поверх этого еще сделали более простые фреймворки, и найти данные, на которых ты бы хотел обучать нейросети, чтобы нейросеть впоследствии могла симулировать похожее поведение, как на обученных данных. Но одна из проблем, которая была, это то, что нейросети в тот момент... это была конволюционная нейросеть, и они не очень хорошо масштабировались. Это значит, что они не очень хорошо могли потреблять большие размеры изображений, или там 3D-сцены, или не очень хорошо могли вытащить информацию правильную из очень больших изображений за счет определенных недостатков архитектуры нейросети. Но в какой-то момент, в 2015 году, вышла статья или научный пейпер, который назывался «Attention is all you need», который, наверное, многие уже слышали, который предложил новую архитектуру Нерстинь, которая вводила механизм attention. Он был довольно простой, и при этом одна из вещей— он позволял увеличивать размеры входных данных, то есть увеличивать изображения, увеличивать длины текстов, которые подавались на вход и на выход, увеличивать 3D. Сцена сейчас применяется к 3D. И при этом параллелить, то есть раскидывать, даже когда у тебя не влазит весь объём данных, вся нейросеть на одну видеокарту, а такое начинало происходить, видеокарта – это самостоятельный такой мини-компьютер, который ограничен. Вот эта архитектура, которая позволяла разделять нейросеть на кусочки и раскладывать на разные видеокарты, в результате у нас появлялась возможность, грубо говоря, бесконечно масштабировать, увеличивать нейросети в размере. Это, наверное, было главным следующим прорывным событием, которое поменяло индустрию и привело к тому, о чём ты сказал, что текущие корпорации-гиганты закупают для своих нейросетей.

Дорогие слушатели, мы заканчиваем тринадцатый сезон этого подкаста и уходим на каникулы. И как обычно, хотим узнать, что вы думаете об этом сезоне и о подкасте в целом. Что вам нравится, что не нравится и какие эпизоды вы хотели бы услышать в новом, четырнадцатом сезоне. Мы подготовили небольшой опрос, просим вас его пройти. Он займет 5-7 минут. Если вы его пройдете, вы нам очень поможете сделать запуск еще лучше. Ссылка на опрос в описании этого выпуска. Спасибо вам большое.

Какой основной продукт Nvidia сегодня?

У Nvidia остается, конечно же, игровая линейка видеокарт. Nvidia лидер за счет различных рейтрейсингов, DLSS технологий и прочего. В игровой сфере есть линейка видеокарт для профессиональной графики, то есть это отдельные видеокарты. чуть более углубленные с большим количеством ядер для расчетов профессиональных больших 3D сцен, которые используются в различных рендерах больших там сцен в фильмах или анимации на какие-то большие экраны. В том числе там Vegas Sphere, возможно, вы видели в Инстаграме новый такой проект, арт-объект в Лас-Вегасе. Большая сфера, на которую проецируются различные видео. В ней используется, по-моему, вот как раз-таки квадро-серия видеокарты от AMD. И большую часть занимает Scientific карты, то есть это вот карты как раз-таки для нейросетей. Это основное, наверное, самое важное направление для компании сейчас, на котором компания вот сейчас взлетела в оценке. Это видеокарты H100, B200, B300. Все они заточены в основном на расчет нейросетей или научные расчеты. Плюс есть еще небольшие направления, небольшие, но тоже значимые. Это маленькие видеокарты или графические процессоры, которые встраиваются в роботов или self-driving автомобиля. Поверх всех них работает CUDA, и что очень важно, NVIDIA делает очень классную штуку. CUDA и код, написанный на CUDA, под одну видеокарту сможет работать на другой. Ты можешь как разработчик не задумываться о том, что за железо под этим, и просто использовать его как есть, подбирая лучшее под свою задачу.

Ты упомянул вот эти мощные видеокарты для научных вычислений, для нейросетей. Что они умеют? Вот есть видеокарта, которая у меня дома стоит, в телефонах или в компьютерах. Есть вот это H100. Чем они отличаются-то?

Да, у тебя в видеокарте, которая дома, у тебя есть большее количество CUDA-ядер, трейсинг-ядра. Это ядра, которые позволяют обсчитывать лучи и графику в играх. И есть тензорные ядра, небольшое количество. Это как раз-таки ядра, которые позволяют делать но их меньше, чем то, сколько нужно для больших нейростей. Плюс это отдельно стоящая карта, которая не может особо удачно соединяться с другими видеокартами в большой кластер. Как раз таки вот та особенность, про которую мы говорили чуть ранее, что для больших нейростей нужны объединения видеокарт в кластерах.

Да, множество.

Да, да, да. То есть это такая, по сути, полноценная видеокарта, которая как раз таки позволит любое CUDA-приложение, написанное на CUDA, запустить у тебя и запустить игры, но с вектором направленности, больше на расчет графики и различными инструментами для этого, на hardware уровне, на уровне железа. Те видеокарты, которые H-сотые, например, которые используются для научных вычислений, больше тензорных ядер, как раз-таки для матричных умножений в неростях, а больше, соответственно, процессор, чип, коннекторы, отсутствие ray-tracing ядер, то есть которые не нужны, и коннекторы, которые позволяют видеокарты соединять в кластеры. чтобы видеокарты общались друг с другом с минимальной задержкой, и в результате большую нейросеть, положив на несколько видеокарт, мы бы могли довольно быстро обсчитывать результат, в том числе GPT нейросеть, чтобы генерировала нам наши токены, ответы довольно быстро. Вот это отличие.

Картиночки.

Да, да.

Кто их покупает, вот эти дорогие H100 и так далее, B200 или сколько там уже, самые последние?

Бывают довольно многие, и это от больших корпораций, конечно же, Meta, OpenAI, Anthropic и прочие, которые занимаются исследованием нейросетей, обучением нейросетей и запуском нейросетей, до университетов, которые делают все те же научные вычисления, различные задачи. дифференциальных уравнений, термодинамики и все прочее. То есть все осталось так же, просто скейл, размеры закупок изменились, и сильно стало превалировать закупки объема в сфере AI среди крупных корпораций в мире IT.

Как эти видеокарты выглядят?

Вот старые видеокарты компьютер в компьютер вставлялись, я примерно представляю, типа это плата такая, размеры там с ладони или с несколько ладоней, которые вставляются в компьютер, а вот эти дорогие для AI вычислений.

Они примерно похожи. Другое дело, что эти видеокарты, как мы обсуждали, у них нет видеовыхода. То есть это видеокарта, которая не должна как-то наружу отдельно портом каким-то торчать. И выглядит как так же микросхема, просто отсутствует вентилятор для охлаждения, поскольку в серверах другая система охлаждения. Сейчас всё переходит вообще на водяное охлаждение. Это просто довольно тонкие платы толщиной в сантиметр, а шириной в 10 сантиметров и длиной 10, 15, 20 сантиметров, которые в сервере стекаются, то есть соединяются там. Их может быть около восьми в последних серверах DGX, Интермедиа. Восемь таких видеокарт, которые стоят. Такие два столбика по четыре штуки, по-моему, такая структура.

А сколько таких видеокарт нужно, ChatGPT 5 / GPT-5?

О, это хороший вопрос. Не знаю до конца официальной информации, и OpenAI не раскрывает ее детально. Может быть, где-то были какие-то сливы про то, или такая утекшая информация, которая бы рассказывала, сколько весит эта нейросеть, поскольку от веса размера нейросети зависит то, сколько нужно видеокарт. Мы можем сказать, что, например, популярная нейросеть для генерации картинок, такая как Stable Diffusion или FLUX от Black Forest Labs, под неё нужна одна видеокарта. Для обсчёта нейросети, вот последней мы возьмём доступные нейросети, которые доступны в интернете и которые можно чуть ли не файлами скачать и запустить, которые по качеству ведут себя как чат GPT. Они весят около 200 с небольшим гигабайт, то есть это вот как раз-таки те самые матрицы, которые мы обсуждали. Просто 200 гигабайт матриц чисел, которые видены в матрице, и под них нужно 3 видеокарты, чтобы они запустились, 4, чтобы в целом это можно было относительно быстро работать с этими инерциями. Запускать просто, в смысле имеется в виду, готовую нейросеть брать и использовать, общаться с ней. Это называется процесс инференса. Если у нас процесс обучения, то это другая задача, которая более требовательна по ресурсам. И вот тут кластер может меняться по размерам в зависимости от того, насколько быстро ты хочешь обучить нейросеть. Как мы вот говорили тоже, что параллелизм очень хорошо поддерживать с этими нейросетями, как во время запуска уже общения с нейросетью, процесс инференса, так и в процессе обучения. И вот в обучении это напрямую влияет на скорость, количество ГПУ влияет на скорость, как быстро ты получишь результат, свою нейросеть уже готовую, и как быстрее ты сможешь обогнать конкурентов в рейтинге нейросетей за счет этого.

Ты сказал, что для обучения нужно больше видеокарты, и чем больше, тем быстрее.

О каких объёмах идёт речь?

Ну порядок, типа 5-6 или в десятки и сотни?

Да, люди запускают обучение, и компании запускают обучение на десятках тысяч. И да, это увеличивается, то есть там есть эксперименты и на больших кластерах, в

целом так. Десятки тысяч видеокарт, окей. Сколько стоит одна видеокарта?

Публичная информация— это около 50-60 тысяч долларов. Можно, по-моему, сейчас купить H100 одну, и да, это официальный ценник. Довольно недешево.

50 тысяч баксов за одну видеокарту—

нормально.

А сколько таких видеокарт у OpenAI, например?

Всё растёт, и сейчас число будет довольно крупным. Около миллиона видеокарт OpenAI, и это видеокарты, которые используют как адрес вот для этих двух задач. И по сути, по большей части, для главной невести это GPT, с которым наверняка многие уже общаются.

Так, что у Фейсбука?

Все примерно, что интересно, все примерно стараются не отставать друг от друга, потому что отставание в количестве видеокарт – это очень классная штука, которая за счет масштабирования процесса обучения и поддержки вот этого параллелизма видно, насколько… что если ты купишь в два раза меньше видеокарт, ты понимаешь сразу, что, скорее всего, твоя нейросеть будет, ну, не в два раза слабее, но она будет слабее. И это показывается чаще всего в бенчмарках. И компании стараются не отставать друг от друга, поэтому там у Мета больше чем полмиллиона видеокарт.—

То есть у Маска, у Антропика, у них у всех тоже там по полмиллиона-помиллиона видеокарт.—

Да, около того сотни тысяч и миллион, и все стремятся вот к этому числу. Сейчас миллион, да, у всех такой как бы есть.—

И этого уже достаточно? Как бы можно в этом моменте остановиться, или компании продолжают покупать еще?

Компания продолжает покупать несколько вещей, почему нейросети растут, и как OpenAI, как различные исследования показали, увеличение объемов нейросети позволяет сделать более умную нейросеть. Соответственно, чтобы она в бенчмарках, в рейтингах вела себя более интеллектуально. Это раз плюс, у нас открываются новые домены, то есть мы сейчас все привыкли, что нейросети сильно и агрессивно масштабируясь в текстовом домене, то есть обучившись на всех текстах интернета, GPT сейчас может нам помочь со многими задачами, ведет себя довольно-таки как классный ассистент, который может закрывать наши таски. Но приходит домен визуальный, то есть картинки, видео и так называемые world-модели. То есть если мы обучились на всём домене текста, то давайте попробуем обучиться на визуальном домене, то, что мы видим перед собой, то есть на 3D-данных из нашего мира, и попробуем собрать такую же GPT, но только которая имела бы представление о мире в целом, о физике, о принципах строения мира в домене живом, более для нас И это требует просто за счет размерности данных, то что мы из 1D уходим в 3D, нам есть предположения и расчеты, что в целом нужно будет еще большее количество видеокарт, значительно больше.

Интересно, что чем лучше мы учимся этим ресурсам пользоваться, тем больше нам нужно этого ресурса.

Да, это так. При этом, конечно же, стоит упомянуть, что выходят новые видеокарты, которые мощнее, то есть некоторые компании утилизируют старые кластера, то есть кластера старых видеокарт, и внедряют новые, просто потому что это быстрее видеокарты, которые работают быстрее, которые более экономичные с точки зрения энергопотребления, и нейросети уменьшаются в объёме, но в том числе всё равно вот этот вектор увеличения объёмов, он есть, и пока что все ему следуют и верят, что это правильный путь движения.

Все ли компании покупают карты NVIDIA?

Есть ли аналоги этим видеокартам?

Это очень такой классный вопрос и очень сложный. Простой ответ— да. Конкуренты у NVIDIA есть. Есть компания AMD, есть Intel, есть много стартапов, есть крупные корпорации— Meta, Tesla, Amazon, Google, которые Начали делать свои видеокарты, всё видели в этом. Одно из главных ресурсов, как когда-то для нас были главными ресурсами в жизни дерево, пища, как в игре, стратегии, какие минералы. А сейчас всё видели, что основным ресурсом для человечества, по сути, является видеокарта, как процессор, который может запускать искусственный интеллект и мир, в котором он может искусственный интеллект обитать. Соответственно, все стали делать такие решения. Но по многим причинам NVIDIA— лидер и первые попытки интегрировать другие решения других компаний. Временами появляются СМИ, временами появляются какие-то компании, которые начинают интегрировать кусочками в кусочках своих пайплайнов другие решения. В последних больших таких заявлениях было то, что OpenAI и Antropic взаимодействуют со сайт-производителями, то есть Antropic закупает компании. Trainium или Inferentia, надо посмотреть, и OpenAI закупает AMD чипы. То есть движение в эту сторону есть, но посмотрим, насколько это будет успешно и насколько Nvidia, наоборот, другой стороны удастся сохранить лидерские позиции. Предпосылок к этому довольно большие есть.

Индустрия уже больше 15 лет занимается нейросетями. Почему другие компании не догнали NVIDIA?

Мне кажется, домен очень сложный, и там очень много нюансов, про которые мы до конца не знаем. В целом, я скажу так, что построить то, что построила NVIDIA, безумно сложно. И домен настолько активный, что каждую неделю происходят какие-то инновации. В результате только у NVIDIA по сути есть опыт, наработки, количество экспертизы, плюс всевозможные сторонние решения процессора CUDA и все прочие, софтверный стэк, и также еще различные связи, инвестиции, правильный бизнес, который они делают, который выводит и держит NVIDIA в лидерах.

Может ли Google, например, отказаться от видеокарт NVIDIA?

Там Google может, я вот транслировал их ответ в части каких-то задач, свои процессоры, TPU, но полноценно, полноценно нет. Тот мод, так называемый, или такая ограбительная ров, которую Nvidia выстроила, свой инновационный и вообще вектор бизнесовый, очень силен и очень сложно крупным корпорациям, даже которых есть власть, деньги, связи и все прочее, выстроить свое похожее решение. Например, Google делает чипы, которые поддерживают архитектуру Transformer. Это вот та архитектура, которая изначально была предложена в пейпере Attention is all you need, которую мы обсуждали, которая привела к такому росту неростей во объемах, размерах.

Взрыву, я бы сказал.

Взрыву, да, это правда. Но у них много проблем с точки зрения универсальности, поддержания других типов архитектур, поддержания различных других библиотек инновационных, которые выходят под NVIDIA, и всё это создаёт определённые сложности. Плюс сложности с тем, чтобы правильно вообще зарезервировать мощности под разработку, под выпуск этих процессоров. И, как я сказал, NVIDIA— это такая комбинация очень классного ресерча плюс очень инновационная компания, плюс компания, которая первая начала движение в сферу нейросетей. То есть, соответственно, у NVIDIA есть весь технический стэк для этого и опыт, чтобы поддерживать этот весь активный домен нейросетей, который меняется каждую неделю. Дальше, у них есть большие наработанные каналы поставки и производства GPU. Производство GPU и процессоров— это отдельная сложная задача, которой может себе позволить пара компаний в мире, и мощностей на производство процессоров, самих плат, не так много в мире. И это такой следующий фактор, который позволяет NVIDIA производить все более классные и контролировать рынок отчасти. Плюс, доменты. NVIDIA очень плотно взаимодействует со всеми научными лабораториями, со всеми исследовательными сферами университетов, и, имея связку из классного железа, классного софта, который уже несколько десятков лет разрабатывался, классную возможность быстро перенаправить куда-то исследования и сделать новый чип, который будет содержать новые наработки, получив фидбэк от самых крупных компаний, в том числе Antropic, OpenAI, Meta и ещё кого-то. В результате получается единственная компания, которая вот умеет такое. И всё бы здорово, если бы домен был довольно медленный, другие компании могли бы ворваться в этот домен в какой-то момент времени. Но домен очень активный, и вот эта вертикальная такая структура, которую есть у NVIDIA, и связь на всех уровнях, позволяет только ей как бы следить за всеми правильными инновациями, направлениями, движениями и внедрять инновации в чипы быстро. Этих чипов потом ждут новые компании, то есть компании ждут типа мета и антропика этих новых версий GPU, чтобы быстрее оторваться от конкурентов и дальше обучить на этих инновационных чипах новые версии и архитектуры не расти и оставаться в лидерах Мы можем

рассмотреть на примере автопрома, на каком-то домене, который более понятен всем нам. Допустим, мы с тобой сама хотим сделать автомобиль.

И допустим, у нас в мире есть

всего две компании, которые производят сейчас автомобили. Допустим, Мерседес концерн и Тойота, Хонда, что-нибудь такое. есть Европа, Япония. Только они умеют это делать, у них есть запчасти, детали и все прочее. Нам нужно договориться с концернами, чтобы у них производить это на их фабриках, потому что только у них есть определенные роботы, которые могут это строить. Роботы сами по себе очень сложные. Плюс нам нужны схемы вообще автомобилей, части этих автомобилей. Нам нужен движок, который где-то отдельно купить, и там тоже всего там 1, 2, 3, 4 компании делают какие-то движки. Нужны всякие-то колеса, трансмиссии, которые очень сложные. То есть да, мы усложняем автопром, Откатываем его, например, на десятки лет назад, может,

даже на столетие назад.

В результате мы в этом мире, где все очень лимитировано и очень сложно. Мы должны найти инженеров, которые нам все проектируют, договориться со всеми о поставках и с тем, кто это собирает, все это собрать. Все это просто так не сделать, то есть пробиться даже в технические детали сложно, через софт, который на автомобиле будет работать в современном, тоже сложно. И еще договориться на бизнесовом уровне, где нас будут отшивать постоянно и говорить, кто вы такие, почему вы должны строить автомобили, если у нас Мерседесы и там образно. Тойота заказали ее автомобили на два года вперед. Почему мы линию должны под вас выделять производственную? Допустим, нам удалось, мы спроектировали, все-таки пробиться через все это, выпустить первую партию, хотим ее продавать, но тут, допустим, наступает такой фактор, что мир поменялся. И вот тут параллель с AI. Если бы AI— это какая-то инновация на уровне просто математического аппарата, мы можем сделать что-то новое, и нейросеть другого типа будет нужна. В мире с автомобилями мы можем привести пример, как наступило глобальное потепление. Растаяли ледники, и там 70, 80. 90% суши теперь под водой. И людям просто не нужны автомобили с колесами, не нужны лодки или автомобили, в которых они ездили раньше, просто с кормой, чтобы это была лодка, на которой можно перемещаться так же. И вот теперь мы в той же ситуации, как многие производители чипов, когда домен очень активно менялся. И, соответственно, те же самые Mercedes, Toyota, еще что-то. Возможно, они уже проектировали такие лодки, уже слышали от кого-то, что нужны автомобили ездящие, плавающие. Или у них вообще есть весь набор инженеров, исследователей, опытов, дизайнов, проектов, все прочего, концептов, плюс линии, опять-таки, чтобы взять и быстро выпустить новое авто, которое теперь плавают. Мы, соответственно, встреваем в новый цикл разработки, опять такой же сложный, опять с такими же рисками. Нам нужно всех уговорить заново сделать нам новое авто, которое будет плавать, и опять-таки ожидать, что мир больше не поменяется. Что в двоймерии AI, скорее всего, не

так. У NVIDIA есть еще другие конкуренты, там много стартапов, как я назвал, Groq, Cerebras и Lightmatter— компании, которые пытаются сделать свои решения, и перед ним стоит очень сложная задача, чтобы вот как раз-таки обойти NVIDIA, плюс встроиться, как-то найти бреши или какие-то лазейки, И вот в этой вертикали, которую Nvidia выстроила на всех уровнях, от хардвара, софта до бизнес-связи и поставок различных компонентов для процессоров, соответственно, они пытаются придумать какую-то архитектуру, чаще всего решение, которое бы имело другие типы памяти, более медленные, которые можно достать более просто. Но при этом подобрать архитектуру самого процессора такую, чтобы даже это была более медленная память, но при определенной распайке чипа, при создании более маленьких чипов, память такой быстрой не нужна была, и собрать эти чипы в другой более большой кластер, допустим, как делает Groq, это бы все равно позволяло решать какую-то задачу. Или как делает Cerebros, вот они увидели, что TensorCores, допустим, про которые мы говорили, специальные ядра для нейросетей, были применены и встроены в чипы NVIDIA. Они подумали, почему бы нам тогда не отказаться вообще от всех других типов ядер и просто что-то типа TensorCores встроить. Это не называется TensorCores, но очень похоже, просто простые ядра еще более оставить только для нейросетей и еще их размножить. То есть сделать еще более большой чип, то есть специализированный. Да, специализированный. Да, чип NVIDIA, например, в размерах может быть там до 10 сантиметров квадратик по одной из сторон. А чип Cerebras может быть до 30 сантиметров, то есть там площадь общая в 9 раз больше. И туда просто состекано множество процессоров, которые позволяют тебе чуть ли не всю нейросеть зарядить, даже большую, на этот чип и рассчитать ее. Но у этого все есть свои особенности и плюсы и минусы. Чаще всего такие компании видят, как только появляется какая-то архитектура нейросети, которая начинает быть популярной. Люди понимают, что вот эта нейросеть – за ней будущее. Они понимают, что универсальности и гибкости того, что есть у NVIDIA. Да, опять-таки разных архитектур, как различные нейросети обсчитывать, до каких-то связей с различными университетами, или CUDA универсальная, которая может все что угодно делать. Это становится ненужным, и нам нужно, по сути, сделать чип, который одну нейросеть, в том числе трансформер, в данном случае, может обсчитывать. на который этот трансформер нужно будет относительно просто положить, не делая CUDA, не делая какие-то универсальные процессоры, и обойдя какие-то в supply chain и поставках, на которых NVIDIA плотно как бы держится, обойти с помощью других ячейк памяти и всего прочего. Но, конечно же, все сайд-движения, как только выходит какая-то новая под вид нейросети-трансформер, который чуть-чуть другой, допустим, у нас есть сейчас трансформер, который называется Mixture of Experts, им сразу же становится сложно привести чип, потому что, в целом, вся вертикаль держалась на том, что мы выбираем узкую нишу и под нее закладываем всю архитектуру и все принципы. Все это формируется в такой цикл сложный и большой, в котором NVIDIA продолжает оставаться лидером в домене.

Друзья, хочу вам порекомендовать подкаст «Двадцатилетние». Это обзор на разные жизненные стратегии зумеров. Его делают Данил Остапов и Рита Берденникова из команды «Запуск завтра». Вместе они пытаются бороться с кризисом четверти жизни. Это когда начинается по-настоящему взрослая жизнь, приходится делать сложные выборы и нести за них ответственность. При этом выбрать, конечно, хочется сразу всё. И строить карьеру. и учиться в зарубежной магистратуре, и проводить время с семьей в родном городе, и волонтерить в Африке, и копить на квартиру, и при этом спускать все деньги на путешествия. Но все вместе невозможно, особенно в мире, который постоянно меняется. И в подкасте «Двадцатилетние» Рита и Данил пытаются решить эту проблему. В каждом эпизоде они говорят с ровесниками, которые сделали какой-то выбор, и расспрашивают их о том, как они выбирали жизненные стратегии, что в итоге приобрели, а от чего им пришлось отказаться. Я думаю, что интересно это послушать не только зумерам, но и вообще всем, кто хочет переизобрести свою карьеру и что-то поменять в жизни. Ссылка на подкаст наших друзей и коллег в описании.

Ты упомянул про производство. У нас был эпизод о том, насколько сложно произвести современный процессор. Ссылка будет в описании, но вообще это просто чистая магия. Вот расскажи, как NVIDIA умудряется производить миллионы

чипов в год. У меня нет точных чисел по поводу миллионов и как устроена supply chain или как называется вот это.

Я думаю это тайна как бы военная практически.

Да. Но в целом просто есть хорошее взаимоотношение и правильно выстроенный бизнес, насколько я понимаю, с различными компаниями, в том числе TSMC, которые являются лидерами в создании чипов по архитектуре, в том числе компания NVIDIA. что эти фабрики, то количество станков, которые делают процессоры, они ограничены, поэтому это одна из проблем, почему мы не можем быстро скейриться, почему GPU и NVIDIA считаются таким ресурсом, который в дефиците, у нас ограничены другие также станки, которые делают там память, и память сама по себе, которая отдельно впаивается в чипы, отдельная тоже ресурс, который является основной частью в этом, частью GPU. Ну, в целом так, у меня нет другого ответа.

А NVIDIA, получается, тоже, так же, как и другие ведущие компании, придумывает, как этот чип должен выглядеть, как он должен быть устроен внутри, но тайваньская TSMC, да?

Основная... Я не знаю, если сейчас, честно сказать, если сейчас у NVIDIA свои какие-то и попытки сделать свои папки по производству чипов, но базовая pipeline выглядит вот так, когда NVIDIA придумывает архитектуру и правильно все рассматривает с разных сторон, чтобы это была правильная GPU, работающая, закрывающая новые потребности, новые таски. При этом, да, самим созданием чипа основным занималась другая компания, в том числе, TSMC.

А в том числе, то есть, условно, Samsung еще, мне кажется, умеет производить, да? Кто еще? Очень интересно, на самом деле.

В целом TSMC, Samsung, еще несколько компаний, Intel, у них есть производство и возможность производить чипы, но какие объемы и насколько отличается производство, пока что сложно сказать. Я знаю, что TSMC один из лидеров по тех процессам, то есть насколько классный, насколько маленький чип мы сможем сделать, в том числе сколько плотно ставить туда различных транзисторов, чтобы делать их более мощными.

О, у меня, кстати, следующий вопрос про это. Видеокарты могут стать ещё мощнее или мы уже уперлись в какие-то физические ограничения?

В целом есть такой физический предел, про который все сейчас говорят. У нас есть сейчас видеокарты с 5 нанометров техпроцесса. Нанометр – это такой очень маленький размер транзистора, который встраивается, является составной главной частью чипа, и мы можем уменьшить его ещё до 3 нанометров. В это сейчас идет разработка, то есть разработка следующих чипов ведется с такой технологией. Даже есть исследования и планы уменьшить размер транзистора в полтора нанометра. Чем меньше размер транзистора, тем больше мы их можем вставить в чип, тем меньше электричества он будет потреблять, соответственно, тем более мощный чип мы можем получить. Дальше будет уже сложнее. К тому же на уровне каких-то просто атомов чуть не Меньше размера атома, мы не можем опуститься, и все переживают отчасти, что это будет предел. Но есть новые обходные пути. Вот банально, просто как делать чип, который разделен на несколько частей. То есть мы просто делаем несколько чипов, которых по определенному техпроцессу много транзисторов, но они соединены, просто расположены рядом. Как мы соединяли видеокарты, теперь мы можем просто рядом расположить полноценные чипы, которые будут кусочками чего-то большего. У нас есть 3D-бейфер-технология, когда чипы и транзисторы строятся не в одной плоскости, сейчас это все происходит в одной плоскости, они расположены все рядом, но есть еще технология, чтобы строить это в 3D, то есть отстраивать сверху поверх первого слоя. транзисторов в следующий слой. У этих базовых решений около того, чтобы располагать по-новому транзисторы в чипах, есть определенные сложности с тем, чтобы правильно подводить к ним питание, правильно соединять их с памятью. То есть мы не можем просто так нагородить много транзисторов, и это начнет просто само по себе работать. Нужна новая архитектура, и как, конечно же, и всех окружающих частей электросхем и вообще видеокарты. Но в целом вроде как мы к этому придем. Плюс у нас есть новые исследования других типов чипов. То есть текущие классические – это чипы, которые работают транзисторы на электричестве, а у нас есть и делают матричное умножение за счет базовых. работы транзистора через электрические сигналы. У нас есть подход в создании чипов с использованием лазерных пучков, когда матричные умножения делаются за счёт передачи пучков света в транзисторы. Транзисторы, которые умеют обрабатывать свет как бы, и делать матричные умножения просто за счёт света. При этом там ещё есть интересная особенность, надежда, что если пучки света делать такие, которые не интерферируют, мы можем в одной тоже…

Параллельную.

Да, параллельно в те же транзисторы заряжать различным светом различные матрицы или числа, которые будут перемножаться. У нас есть термодинамические чипы. Если говорить про лазерные чипы или такие световые чипы, это компания Light Matter, одна из самых известных. У меня, кстати, был от них офер. Потом есть Extropic, который делает термодинамические чипы, и это когда у нас ребята заметили, что энергия, по сути, в текущий электрический чип выделяют много энергии, и мы пытаемся от нее избавиться. То есть мы пытаемся охладить ее и убрать куда-то просто, чтобы это не было перегревание, и чип просто не перегорел. Ребята увидели, что есть термодинамические системы, где матричные умножения можно делать просто за счёт энергии, колеблющихся на таких на ножках, на пружинках элементов. И, соответственно, с маленькой даже энергией мы сможем создавать такие транзисторы, которые колеблются, и чуть-чуть, пододвигая их в правильное направление, Опять-таки с гораздо меньшими затратами по энергии мы просто можем восстанавливать результат матричных умножений. Вот. Есть еще, конечно, квантовые компьютеры, которые отдельный большой домен. То есть ведется исследование как вот с новых сторон в сторону разработки чипов с матричными, которые бы выполняли матричные умножения с помощью новых физических каких-то процессов, так и улучшения текущих процессоров. То есть однозначно мы можем еще получить чипы на нейросети на порядок лучше, чем то, что у нас есть. Если брать даже базовый один, процессор один чип, одну GPU.

Ты так перечисляешь, я в какой-то момент думаю, ну всё, люди, кажется, скоро, не знаю, бактерии начнут вводить, которые будут нейросети считать. Не удивлюсь, если есть такие стартапы.

Надо погуглить, да.

Денис, спасибо тебе огромное, это дико интересный разговор, мне прям очень понравилось.

Спасибо, что позвал, было очень интересно, надеюсь, что слушателям тоже понравится.

Это подкаст Студии Либо-Либо. Над подкастом работали редакторка Маша Агличева, продюсеры Данил Остапов и Аня Коваленко, звукорежиссер Юрий Шустицкий. За джингл спасибо Алексею Зеленскому. Друзья, мы вернемся с новым сезоном после перерыва, а пока со мной и с командой подкаста можно общаться в чате Запуск Завтра. Ссылка в описании. До встречи!

Редактор субтитров Т.Горелова Корректор А.Егорова