Как беспилотные автомобили моделируют будущее

Всем привет! Меня зовут Самат Галимов, и это подкаст «Запуск. Завтра». Как технический директор я пытаюсь разобраться, как устроены сложные и интересные штуки. Я зову профессионалов, с которыми можно поговорить простым человеческим языком. Сегодня будем говорить про беспилотные автомобили. И мне кажется, в мире есть довольно мало людей, которые реально в этом разбираются. Есть там всего несколько компаний, которые серьезно занимаются беспилотниками. При этом это отдельная индустрия со своей экосистемой, со своими какими-то поставщиками внутренними, и еще там крутятся безумные деньги. Первая компания, которая сможет построить беспилотные автомобили, грузовые или обычные легковые, заработает миллиард долларов. И это не преувеличение. Реальные миллиарды долларов. Так что над этим работают одни из лучших инженеров планеты. И с одним из таких инженеров мы сегодня и поговорим. Его зовут Сережа Серебряков. Сережа занимался олимпиадным программированием в детстве и в студенчестве. То есть он решал суперсложные задачи, которые умеют решать всего несколько тысяч людей на планете. Потом Серёжа стажировался в Фейсбуке и в Гугле и работал над поиском в Твиттере. А после этого Серёжа судьба занесла в Теслу, где он, собственно, начал заниматься беспилотниками и занимается ими до сих пор. Я очень хочу разобраться, как устроены беспилотники. Серёжа мне в этом сегодня поможет. Это подкаст «Студии либо-либо», и мы его делаем вместе с сервисом онлайн-образования «Яндекс Практикум». У «Практикума» есть курсы по разработке, по анализу данных, по веб-дизайну и по английскому языку. Если вы хотите освоить цифровую профессию, переходите на сайт «Яндекс Практикум» и учитесь.

Привет, я Сережа и в компании Cruise. Мы делаем беспилотные автомобили, чтобы предоставлять сервис роботакси сначала в Сан-Франциско, а потом в других городах Америки и всего мира.

Сережа, до компании Cruise ты работал в Tesla. И это одна из самых модных компаний на планете. Как ты туда попал?

Мне на LinkedIn написал рекрутер из Tesla и говорит, не хочешь ли к нам в Автопилот делать карту для Автопилота? пособеседовался с ними, у них интересное интервью. Помимо обычных кодинг и математических и дизайн обсуждений, там просят сделать презентацию для команды.

Презентацию себя или чего?

Себя не очень интересно. Интересно какой-нибудь проект, который ты сделал, может быть, на текущей работе, твой сайд-проект, подготовить про него, рассказать, какие там были технические проблемы. А слушать тебя в это время все те люди, которые тебя в этот день будут беседовать.

Так. А, они потом будут по этой херне задавать вопросы тебе?

Не-не-не, они не будут, но они после твоего мини-доклада, они тебя чего-нибудь спросят, конечно. Идея в том, чтобы они ушли, узнав что-нибудь новое.

А, такая задача. Окей. Так, что ты рассказал?

Я рассказал, там, какой-то у меня был свой сайт-проектик с визуализацией на одной страничке, там, зарплат.

Мне кажется, это тема, которая должна всех сразу заинтересовать.

Да-да, потом заинтересовались.

Сколько лет это было в компании, ты помнишь?

В компании очень много. В 35-40. Они уже выпускали Model S и Model X несколько лет. И Автопилот уже был в этих моделях. Команда Автопилота сама была небольшая. Несколько десятков человек. Там едительные разработчики. И она с тех пор выросла тоже не очень сильно. То есть до сих пор весь Автопилот делается усилиями. Несколько десятков человек.

Офигеть. Так, подожди, тебя позвали на команду карт.

Да, карты в Автопилоте— это вот примерно уровня Google Maps. То есть там нет информации про 3D-мир вокруг тебя, нет информации про знаки, все такое. Там есть вот такой ломаный линией, описано дороги и написано, сколько там ограничений скорости может быть и сколько там палосов.

В чем твоя задача была?

Задача была автоматизировать процесс подготовки этих карт для пользования машиной. То есть машина, пока едет, она может закешировать карты впереди себя.

А, ближайшие 100 километров или там сколько, 500?

Ну да. Поэтому весь мир делится на кусочки, как в пазле, и кусочки этого пазла грузятся потихонечку, пока машина едет.

И твоя задача— это разбить карту мира как раз на кусочки пазла?

Скорее, этот алгоритм уже был. Моя задача была— это автоматизировать. Чтобы это было не ручное, а более автоматизированный такой pipeline. Я занимался еще такой фермой, где можно было тестировать билды автопилота. Представляешь, что автопилот— это на самом деле просто набор фич, которые являются системой помощника водителю.

То есть автопилот— это не одна такая функция автопилот, а это много маленькие функции. Какие это функции?

Tesla Автопилот— это две основные функции на базовом уровне. То, что ты получаешь с самой машиной без дополнительной доплаты. Это круиз-контроль, который адаптивный, который знает, что впереди едет машина, и скорость уменьшает, чтобы поддерживать скорость в потоке.

Погоди, круиз контроль— это когда машина едет на одной и той же скорости на автобане без каких-то хитростей?

На шоссе.

Но тут она еще умеет замедляться, если машина впереди тебя замедлилась, да?

Да, но эту фичу умеют многие машины, не только Тесла. И вторая фича— это автостир, то есть удержание полосы. То есть, если дорога поворачивает в шоссе, то и машина будет подруливать, чтобы удерживаться в полосе. Вау.

Вот это уже, по-моему, не суперобычно, да?

Это не суперобычно, но это тоже много где есть уже. Собственно, здесь нужен контроль руля и контроль типа скорости, то есть по одному измерению контроль и по перечному. Это базовый Автопилот. За доплату ты можешь получить, раньше это называлось улучшенный Автопилот, сейчас называется, наверное, Full Self-Driving Package, что-то такое, который все еще не Full Self-Driving, это просто как бы

Это просто реклама такая. Маркетинг.

С юридической точки зрения все чисто. Значит, там уже есть такая фича, что если ты едешь за какой-то медленной машиной, а в соседней полосе есть свободное место, то можно обогнать эту машину, и Tesla автоматически перестроится и обгонит.

А если спереди передней машины еще тачка, ну типа некуда перестроиться, например? Типа возвращается обратно? Или просто едет справа?

Она это увидит. не начав перестраиваться, она увидит, что скорость потока в соседней полосе, на самом деле, такая же, как в этой, то есть смысла нет.

Офигеть, это уж что-то умное такое. Вот этого, наверное, уже вообще мало где есть.

Наверное, да. Вот это вот уже редкая штука. Потом, смотри, если мы эту фичу сделали, тогда мы уже можем перестраиваться между полосами автономно, Мы теперь можем, начиная от въезда на шоссе, перестроиться из крайней правой полосы куда-нибудь влево, а потом, когда нужно будет ехать с шоссе, мы перестроимся опять в крайнюю правую и съедем. То есть ты можешь, заезжая на шоссе, включить Автопилот, ну или вот эту вот фичу, навигейт он Автопайлот, и она доедет по шоссе до твоего съезда, и дальше даст тебе контроль обратно.

Офигеть. Окей. Я просто ездил несколько раз в Калифорнию, и я представляю, как мы выезжаем из этой деревеньки, ну массива маленьких домов, выезжаем на шоссе, едем-едем долго-долго, а потом сворачиваем в деревню. И вот этот этап, когда ты там полчаса едешь по шоссе, его можно полностью автоматизировать. Прикол.

Да, и Tesla подходит к проблеме именно с этой стороны, что сначала мы возьмем, автоматизируем этот вискейс, что мы едем по шоссе, А сейчас они взялись за поездку уже вот по городским дорогам.

Чем отличаются городские дороги от шоссе?

В каком-то смысле они сложнее, в каком-то смысле они проще. А на шоссе, например, нету пешеходов, нету перпендикулярных там пересечений дороги, всегда под углом есть, нету светофоров, нету велосипедов там и прочих препятствий.

Странных людей.

Да, то есть это такие более ограниченные условия, более мягкие, может быть. Но гораздо выше скорости, то есть 65 миль в час, 100 километров в час. Слишком медленно ехать, нелегально даже, по шоссе. А на городских улицах есть все эти препятствия, все там различные, уступи дорогу и прочие знаки, но при этом скорости не очень большие, 25 миль в час. Поэтому есть больше времени для реакции.

Серёжа, мне как водителю, когда я вожу машину, мне нужно зрение, глаза. Как автомобиль, понимаешь, есть впереди машина или нет, есть препятствия или нет, как он видит? Просто с помощью обычных камер, как на айфоне, или что-то другое?

Мы сейчас говорим про Теслу?

Ну давай начнем с Теслы.

В Tesla 8 камер, 3 стоят спереди, 2 смотрят немножко вперед и вбок, 2 назад и вбок, и одна задняя камера. То есть 360 такой обзор.

То есть ничего не крутится, есть просто 8 стационарных камер по всем краям машины.

Да. Потом есть радары. Радар, он может измерять расстояние до объектов каких-то, препятствий, их скорость относительно у тебя, но у него проблема, у него маленькое разрешение, буквально несколько, так сказать, пикселей.

То есть это прямоугольник, и на нем, если обычная картинка типа 1000 на 1000 пикселей, да, картинка получается, а здесь типа там 10 на 10, да, условно?

Ну да, и она говорит, что вот там вот примерно есть какое-то препятствие такого-то размера, и она с какой-то скоростью движется. Ты можешь, уже смотря на камеру, ты можешь скоррелировать, ага, вот это вот похоже на что-то столб. Если у тебя есть данные из камеры, из 3D, ты можешь посмотреть на них одновременно.

Подожди, но ведь у нас тоже есть типа встроенный радар, назовем это так. Ну короче, у нас есть глаза, которые на небольшом расстоянии, и благодаря бинокулярному зрению мы можем оценить расстояние до объекта. Почему машина это не может сделать? Зачем ей нужен дополнительный железок?

Есть теория, да, что с двух камер действительно это можно сделать, но эти две камеры для получения нормальной точности должны находиться далеко друг от друга. То есть вот если бы у тебя там две камеры были в расстоянии двух метров, может быть, друг от друга, тогда это может работать, но в машину это не влезает.

И тут, конечно, я хочу тебя потроллить, между моими глазами, конечно, не очень большой расстояние.

Да-да, но глаза устроены по-другому немножко, чем камеры. У твоих глаз, на самом деле, очень узкое зрение. Ты в любой момент фокусируешься только на двух градусах поля зрения своего.

А, это правда.

Из-за того, что твои глаза очень быстро двигаются, твой мозг, на самом деле, делает вид, что он видит всю картину. На самом деле, ты всегда видишь в любой момент времени только очень узкую часть. И это просто пример. Это не то, почему бинокулярное зрение может с камер работать. Это просто пример, что камеры работают подальше, чем глаза.

Ага, окей. Ну в общем, у машины есть еще дополнительная железка, накладывая картинку с которой на картинку с камеры, ты можешь понять, какие объекты ближе, на картинке какие дальше.

Да.

Блин, это реально сложно, я поэтому тут поясняю, потому что боюсь запутаться. Поехали дальше.

Ну, на самом деле так. Радар видит просто какие-то такие объекты. То, что отразило сигнал радара. На самом деле, это бывает проблемой, потому что если, например, есть какая-то банка от Coca-Cola, которая лежит донышком на дороге, и ты радаром в нее пуляешь, и она отражает очень хорошо, и она может выглядеть как грузовик на твоем радаре. Поэтому сигналы с радара нужно фильтровать. Наверное, банка сейчас есть, а на следующем кадре ее, может, и нет. А грузовик будет всегда на этих кадрах. То есть нужна такая интерполяция или суперрезолюшн. делать какие-то выводы по данным с радаром, или вот да, с камерой совмещать. Еще у Tesla есть ультразвуковые сенсоры на углах, но они больше для парковки. А, еще есть GPS, понятно, есть гироскоп, ну, есть карты какие-то.

Гироскоп— это штука, которая показывает тебе направление, да?

Которая измеряет ускорение.

Акселерометр.

Акселерометр, да. Но мало того, что она умеряет ускорение по осям, она еще умеряет ускорение по углу, то есть если ты вращаешься, с этого акселерометра, ты знаешь свою примерную траекторию.

То есть не только по GPS ты понимаешь, в какую сторону ты повернул, в какую сторону ты поехал, но еще и по вот этой железке.

Да, потому что GPS получает обновление раз в 5 секунд, может быть. Гироскоп, он постоянно там. Его можно использовать в периоды, когда между получениями точек GPS.

Окей, вот мы получили данные, поняли, чем мы увидели. Что дальше? Как понять, типа можно перестраиваться? Нет, как он видит? Вот эта часть, она... Ты можешь ее как-то попытаться объяснить? Потому что тут я уже начинаю теряться.

Да, представь, что машина— это робот. из точки А в точку Б. У него есть сенсоры. и у него есть компьютер внутри, который имеет вычислять чего-то. Несколько раз в секунду мы получаем картинки со всех камер, со всех сенсоров. Мы можем на этих картинках распознать разные объекты, которые нас интересуют, например, автомобили, пешеходы. потом можно со всех камер соединить и представить в виде такой трехмерной сцены. Если ты представишь, что вот мы знаем расстояние до всех объектов и где они расположены действительно у нас, мы, получается, в трехмерном мире находимся.

А, то есть на первом шаге ты из 2D-картинки генерируешь 3D-схему. То есть это уже не картинка, а именно схема того, что типа вокруг машины реально происходит.

Да. Дальше можно понять, что на этой схеме вот здесь вот наша полоса, да, у нас есть объекты в нашей полосе, есть соседняя полоса, и в ней тоже объекты. Получается такая с семантическими метками. После этого мы можем делать предсказания. Например, что если машина впереди нас едет с такой скоростью, мы знаем, что впереди будет прямая дорога, наверное, она будет продолжать ехать с такой же скоростью. А если впереди у нас там перекресток, То есть можно предсказать поведение объектов на несколько секунд вперед. Или пешеходов, если это в городе происходит.

Это предсказание алгоритмическое? Типа это правила забиты? Или это машин лернинг? В смысле мы собрали кучу данных и знаем, что если там поворот, то обычно направо.

Это активная область исследований сейчас.

Ого! То есть это, типа, нерешённый вопрос, как сделать это лучше?

Конечно, да. То есть мы не знаем на самом деле, нам нужно моделировать будущее на основе каких-то данных из прошлого. Можно это сделать действительно правилами ручными, можно это сделать каким-то машинопередатом. Вау.

А как вы делали, если это не секрет? Или это уже секрет?

Это уже секрет. На эту тему есть статьи, мне кажется, на разных конференциях, так что это действительно активная область исследований. После того, как мы знаем, что будут делать другие участники движения, мы можем спланировать собственные действия. Значит, здесь у нас есть долгосрочные планы, да, как мы знаем, там, нужно из точки А в точку Б попасть. Мы можем разбить этот длинный план а здесь нужно повернуть, а здесь нужно дождаться сигнала светофора, допустим, а здесь нужно еще проехать. А потом из этих генеральных указаний уже мы знаем, что нужно делать в данный момент времени, сейчас. Плюс у нас есть данные о том, что делают другие участники движения. Теперь мы можем сказать, что нам вообще-то пора перестраиваться на съезд. Но мы знаем, что там есть машина, поэтому мы сейчас подождем, а перестроимся через 5 секунд.

Я сейчас просто сдаю экзамены на вождение, то есть скоро буду сдавать, и там есть такие типа фотки и написано, что нужно делать в такой ситуации. Я себе вот так это представлял. А получается, что на самом деле компьютер строит типа модель того, что происходило раньше, что будет происходить, и вот на основании этого уже принимает решение. То есть не просто, посмотрев на фотографии, принимает решение, а на основании каких-то типа исторических данных.

Но ведь ты, когда решаешь этот тест, ты ведь тоже делаешь предсказания, куда что поедет.

Да, но он такой фейковый, а тут реально ты просто... Мне кажется, что все слушатели, которые ездят на машине, могут сейчас подумать, нихера себе, сколько я всего делаю для того, чтобы понять, куда ехать.

Ну да. Есть мнение даже, что абсолютный полный селф-драйвинг невозможен без решения задачи искусственного интеллекта. Сначала нужно решить general intelligence, а потом можно будет уже и селф-драйвинг делать. Именно из-за того, что бывают такие ситуации неординарные, например, когда все останавливаются на одном перекрестке, то неизвестно, кто первый должен поехать, или у кого сейчас приоритет на перекрестке, если он нерегулируемый, или наоборот, допустим, есть встречный поток, а тебе нужно налево.

Значит, мы построили модель, знаем, что было в прошлом, предсказываем, что будем в будущем, и на основании этого принимаем свои собственные решения.

После этого мы строим такой план, что, окей, мы решили сделать какой-то манёвр, например, перестроение. Значит, для этого нужно повернуть руль на столько-то градусов и немножко притормозить, а потом немножко поднажать. То есть этот план, который мы сделали, переводится в набор инструкций уже для машины. И там есть очень такая система с короткой обратной связью, которая исполняет эти манёвры, и мы всё время должны проверять, что именно то, что мы сделали, туда машина и передвинулась.

Ты вот так крутишь руками, я прям вижу, как бы этот луп, реально цикл, как бы, типа ты сделал чуть-чуть, типа чуть-чуть повернул руку, проверяешь, все ли идет так, как я уже предсказывал. Да, да.

Но слушатели, знакомые с кибернетикой или там с роботами, знают, что это вот. Там есть целая теория, теория контроля называется, процесс управления.

Расскажи.

я не очень знаком с этим сам. Но у нас на университете, например, была кафедра, там был очень интересный эксперимент, у них там была такая тележечка, и на тележечке был такой маятник, но обратный маятник, который не висел, как в часах, а вертикально стоял. И тележечка должна была балансировать влево-вправо, чтобы этот маятник стоял вертикально. Это вот самая простая система с обратной связью, где у тебя есть один способ подать сигнал, подвинуть влево или вправо, резко или медленно. И есть сенсор, который, собственно, градус отклонения этого маятника от вертикали. И вот этим механизмом демонстрировалось, как можно баланс поддерживать.

Для такого примера, который все знают, мне кажется, берете карандаш, ставите его кончиком себе на палец и пытаетесь удержать его в прямом состоянии. Вот она система с обратной связью, потому что ты можешь двигать, а карандаш как бы дает тебе обратную связь, он падает или не падает, и вот тебе надо удержать его. Интересно, что это супер связано, на самом деле, с ракетами, с посадкой, с тем, что Илон Маск типа сажает ракету. Он как раз решает именно задачу удержания карандаша.

Да, это правда. На самом деле, я думаю, эта проблема возникает в дронах каких-нибудь, в любых местах. Робот должен сделать какое-то действие и проверить, что оно действительно сделано. Если оно еще не доделано, то еще немножко доделать его.

Ага. Как бы с карандашом понятно или с ракетой, что ее надо удержать в равновесии? А в случае автомобиля, что является вот этой точкой равновесия? Что тебе нужно достичь?

У тебя есть какие-то такие штрафные функции. Тебе нужно держаться в полосе, то есть твоё расстояние от левой, от правой полосочки разметки должно быть примерно одинаковое, и расстояние до впереди идущей или сзади едущей машины тоже не должно быть слишком опасным.

А, то есть у меня карандаш наклоняется сильно, я начинаю быстрее двигать палец? То же самое и с машиной. Если ты слишком близко к черте, то ты начинаешь крутить руль сильнее.

Да. И получается, что можно рассматривать такую систему как несколько, может быть, этапов в таком конвейере. Мы получаем сигнал из камер, понимаем, что происходит, делаем предсказания, делаем маневр, исполняем маневр.

Собираем информацию с камер, понимаем, что произошло.

Что произошло, и делаем следующий маневр, и так по кругу крутимся.

Как быстро крутится этот круг?

Самый низкий уровень, где мы контролируем машину, там несколько миллисекунд, наверное. Верхняя часть получения информации с камер настолько же часто, насколько мы можем часто брать картинку с камеры.

Насколько это часто?

Наверное, это секрет.

Там десятки раз в секунду? Сотни раз в секунду?

Ну да, десятков раз в секунду получает информация с камер или там слидаров, сенсоров.

Офигеть. Для пояснения, наш глаз различает 24 кадра в секунду. Это значит 25 раз в секунду.

Ну, на самом деле, если тебе показать видео там на ютубе,

Немножко замечу, да.

Получается, получать информацию настолько часто, насколько часто обновляются камеры. И это определяет еще, насколько далеко мы можем планировать. Например, если мы получаем информацию с камеры 10 раз в секунду, получается 100 миллисекунд, мы не знаем, что происходит. Между двумя обновлениями мы как бы едем вслепую. И за 100 миллисекунд, на самом деле, машина может по шоссе проехать довольно далеко. Сколько это? 30 метров в секунду, наверное.

За 100 миллисекунд она проезжает 5 метров.

Ну да. Получается, что это только два корпуса машины. Именно такое горизонтальное планирование, а лучше больше, и должна твоя система поддерживать, чтобы успешно ехать не вслепую, а по заданному маршруту.

Дико интересно. То есть реально же между кадрами мы ничего о внешнем мире не знаем. Мы только предсказываем, что с ним будет происходить.

Ну да. Представь, что ты едешь по дороге и открываешь глаза только 10 раз в секунду, а все остальное время едешь вслепую.

Стремно. А теперь небольшая рекламная пауза, где мы рекламируем сами себя. Сегодня я посоветую вам пятый эпизод второго сезона нашего подкаста. Он называется «Бан для Шерон Стоун. Как работают сервисы знакомств». За гостем для этого эпизода, Максимом Былосенковым, я охотился примерно полгода. Максим— продакт-директор в компании Badoo. Это один из крупнейших сервисов знакомств. Максим, с одной стороны, понимает, как приложение устроено, с другой стороны, он видит, как им пользуются сотни миллионов пользователей каждый день. Это безумно интересно. На свете не так много людей, которые могут сказать о том, как люди знакомятся, опираясь на реальные данные. Причем не на те, которые ученые когда-то там собрали, потом как-то обработали, а вот прямо сегодня, прямо сейчас сотни тысяч людей смотрят фотографии и знакомятся. И делают они это благодаря тем интерфейсам, которые придумал и реализовал Максим. Это безумно интересный эпизод. В нём на самом деле есть история про то, как Шэрон Стоун забанили в сервисе Баду. Слушайте и наслаждайтесь. Ссылка на него есть в описании к этому эпизоду. На свету я понял, как это работает. Ты берёшь картинку с камеры, берёшь картинку с радара, соединяешь их, и всё понятно. А в темноте... Вообще в темноте даже людям не очень удобно ездить.

Камеры могут немножко видеть в темноте, то есть они не совсем бесполезны. Плюс есть фары.

Радар работает в темноте?

Радар работает в темноте, да. И лидар тоже.

Погоди, а чем радар от лидара отличается?

Вот мы поговорили про Теслу, что в Тесле есть набор камер и радар, и все, в принципе. А другие компании подходят к этой проблеме немножко с другой стороны. Они говорят, давайте собирать больше информации об играющем мире. Мы поставим лидар или несколько лидаров, которые будут лазером подметать пространство вокруг. и измерять расстояние до объектов с высокой точностью.

Чем отличается от радара? У нас же уже в Тесле тоже есть радар, он измеряет расстояние.

Радар таким пучком смотрит только в одну сторону, вперед. Ну, то есть вот какой-то такой конус вокруг машины, впереди.

Как пучок света от фонарика. А в Лидаре?

А в Лидаре там, значит, стоят лазеры, и они крутятся по периметру машины.

Сейчас, сейчас, подожди. Прямо как у полицейской машины крутится, типа, маячок? Вот она так. Реально, что ли, прям стоит крутится?

Ну да, крутится очень быстро внутри столбец лазеров. И они заметают все пространство вокруг машины в несколько раз в секунду.

Это какая-то из терминатора, короче, штука.

Ну да. Каждый лазерный луч отражается от объекта, возвращается, и мы можем, измеряя время пролета, понять расстояние до объекта очень точно.

А, то есть теперь мы строим вот эту карту расстояний вокруг машины вообще постоянно?

Постоянно.

Не раз в 10 миллисекунд, а типа суперчасто? И везде?

Ну, он делает полный оборот, допустим, тоже за 100 миллисекунд. То есть, получается, мы все равно, как если бы ты видел, какие наши радары в самолетах, типа ПИП.

Да-да-да. Я в фильмах про подлодки видел.

Ого, про подлодки. Но там точка смещается. Ты ее, пип, заметил один раз, а второй раз, когда видишь, пип, она уже ближе. То есть все равно полная картина мира

тоже обновляется с задержкой.

Это дает... Во-первых, картинка 360. Во-вторых, это работает в темноте тоже. И в-третьих, это можно использовать для того, чтобы локализовать машину. Локализация— это понимание, где мы сейчас на карте. Раньше у нас был просто GPS, и GPS там выдает ошибку в несколько метров туда-сюда. А если у нас есть карты, которые были тоже с использованием того же лидара, то есть у нас есть 3D-карта, допустим, города всего, мы можем, свечая облако точек, которые мы получаем сейчас, с той картой, которая у нас была записана в памяти. Понимать, где в городе мы сейчас находимся, с точностью до нескольких сантиметров.

Нифига себе! То есть ты как бы проезжает машина с этим лидаром, сканирует все пространство вокруг себя, сохраняет это в памяти?

Да, получается, карта такая.

А потом она за счет расстояния, типа я от этого окна в 10 метрах, а от этого столько-то, вот я стою в этой точке. Охренеть. А какая точность вот этих измерений расстояния у лидера?

Десятки сантиметров, то есть меньше 10 сантиметров даже.

Окей. Второй вопрос. Почему это нельзя сделать с помощью камеры? Я же тоже с помощью зрения могу понять. Я нахожусь тут, от этого здания 10 метров, от этого 5 метров, я примерно вот здесь нахожусь. Почему это лучше с лидером?

Это можно сделать на камерах, и такие исследования тоже есть, но расстояние хуже оценивается с камеры, хотя это тоже область исследований, где ты можешь просто, смотря на один кадр, научить нейросеть, чтобы она предсказывала расстояние до каждой точки, до каждого пикселя. псевдолидар. Но вопрос в том еще, сколько точек у нас есть, чтобы сравнить два облака.

Так, что это значит? Объясни.

Например, если я поставлю тебя перед белой стеной, и потом подвину тебя на метр, и впереди будет такая же белая стена, но ничего не изменится. А соответственно, какие должны быть уникальные такие дескрипторы? Какие-то фонари или что-то такое.

А у лидара, типа, даже белая стена является для него информацией, потому что он измеряет время, за которое лазер долетел и вернулся обратно.

Да.

Бинго!

Потому что если это был не параллельный перенос, а немножко так, если тебя отодвинуть от стены, тогда, наверное, он поймет.

Охрененное объяснение! Реально, если меня от белой стены отодвинуть, то я не пойму, что меня отодвинули, а Лидар поймет, потому что он как линейку как бы... Офигеть! Реально сложно, но дико интересно. Так, продолжай.

Да, значит, если мы добавляем машину Лидар, теперь у нас есть очень точная локализация, у нас должны быть еще карты. Мы можем понимать, где мы в городе очень точно, а нам нужно их постоянно обновлять, потому что там какая-то стройка в городе идет. Теперь мы можем понимать точно, где мы в городе, мы можем на ту же самую карту нанести светофоры или другие знаки. И теперь получается, что нам не нужно распознавать их, мы просто знаем, куда смотреть.

ты просто знаешь, что там будет светофор, и с помощью камеры просто, типа, цвет пикселя условно определяешь, а то, что это светофор, тебе распознавать не нужно.

Да, и хорошо заметил, да, что камера умеет определять цвет, Они измеряют расстояние. LiDAR может измерить интенсивность, отражаемость поверхности, но поскольку у LiDAR все-таки не такая плотность точек, как у камеры, это не несет большой пользы. А, еще есть лидары, которые твердотельные. Недавно появились. Там вместо того, чтобы реально крутить лазеры, там лазеры просто стоят ровно. Есть какое-то хитрое такое электрическое зеркало, которое тоже, не крутясь, умеет отражать... В разные стороны лазеры? В разные стороны.

Блин, я слышал это solid state lidar, просто башка взрывается. То есть они умеют крутить лазеры, не крутя ничего физического, просто с помощью электричества.

Да, как-то так. Круто.

Вот это все очень крутые какие-то технологии, просто безумно крутые, как из фильмов Star Wars. Мне казалось, что Илон Маск это как раз чувак, который угорает по крутым технологиям. Почему в Тесле всего этого нет?

Ну окей, во-первых, философская причина. Маск считает, что лидар— это такой костыль, что действительно человек может ехать без всяких лидаров двумя глазами, поэтому камер должно быть достаточно.

Неплохо.

Во-вторых, это финансовая сторона вопроса, потому что LIDAR довольно дорогой сенсор, а Tesla пытается сделать машины подешевле, чтобы они были доступны более ключевым людей, потому что Tesla реально продает машины людям. Ты можешь ее купить и с ней поехать. Компании типа Waymo, Cruise, они предоставляют сервис роботакси. Они не продают тебе машину, они предоставляют тебе сервис.

То есть это разные финансовые модели?

Да.

И Маску важно, сколько стоит машина, а этим компаниям, типа, менее важно, да?

Ну, им тоже важно, но, наверное, масштабы немного не те у нас сегодняшний день. Tesla произведено уже миллионы, роботакси пока, скажем, сотни. Да, получается, что лидар всегда идет вместе с high-definition maps, то есть с этими

картами, которые Ага, то есть LiDAR нужен именно вместе с картами, которые помогут тебе определить твое положение с высокой точностью. Но подожди, это работает только в городах, в которых уже проехала машина с LiDAR и все разметила.

Да, поэтому RoboTaxi это удобный use case как раз RoboTaxi.

А, потому что если ты мне такую машину продашь, то есть я не смогу автоматически ездить в городах, в которых не проехала как бы эта система и не сделала карту.

Вот, ну и третья причина эстетическая, то есть у тебя будет такая блямба на крыше, которая не очень прилично выглядит с точки зрения автолюбителей.

Я видел в фотке, это реально смотрится довольно смешно. Она довольно высокая еще, типа это не как у полиции.

Ну да, чтобы был обзор получше, да, она должна быть повыше.

Вот ты работал в Тесле, работал над картами, а потом ты оказался в компании, которая занимается роботакси. из Tesla в Cruise

Да, в какой-то момент я немного устал от графика в Тесле.

А реально заставляет работать по выходным?

Не всегда, но приходилось, бывает. То есть не каждые выходные, но некоторые выходные. Просто решил посмотреть, что делают другие компании в этой области. в Waymo, Uber, Lyft и Cruise.

Ой, подожди, это все компании, которые занимаются автономными автомобилями беспилотными?

Ну, не исчерпывающий список, но... Все, которых я знаю.

Давай объясним, кто такие. Waymo — это компания в результате?

Не совсем. В Google был внутренний проект, внутренняя команда, которая просто был Google Self-Driving Car проект. В 2016 году она оформилась в отдельную компанию. С тех пор они работают в каком-то смысле независимо.

И она, конечно, как раз называется Waymo.

Они тоже хотят сделать сервис роботакси и уже на самом деле предоставляют такой сервис в Аризоне. В Фениксе ты можешь вызвать себе машину, и к тебе приедет Waymo без человека внутри. У Uber было тоже подразделение self-driving car. Это такая была ставка их, что вот сейчас мы Uber, сейчас мы соединяем водителей и пассажиров, потом у нас будет self-driving

Флит, типа флота, который будет сам ездить.

Который будет приезжать к вам по вызову, да. И у лифта такая же схема.

Лифт— это основной конкурент Uber в Америке и во многих других странах России, по-моему, он так и не запустился.

Значит, сейчас еще есть круиз— это вот компания, которая хочет запуститься именно в Сан-Франциско, потому что считается, что это более сложный такой рынок, потому что это город, там много чего происходит, узкие улицы, светофоры и так далее. Считается, что если круиз сможет запуститься в Сан-Франциско, то в других городах уж точно этот опыт можно портировать.

И ты прособеседовался во все эти компании.

Да.

Расскажи, как, чему они отличаются.

Да как-то ничем. Вот тот стэк, который я рассказал, да, что есть perception, понимание мира через сенсоры, а потом prediction, предсказание, потом motion planning, планирование маневров, и controls, которые управляют уже машиной. Этот стек примерно везде одинаковый.

Ага, то есть это такая последовательность или как пирог, типа ты сначала раз, два, три, четыре, пять шаги проходишь, и потом возникает этот самый цикл, который типа раз, два, три, четыре, пять, раз, два, три, четыре, пять, и вот оно крутится.

Да, и примерно во всех этих компаниях есть эти компоненты, соответственно, есть команды, которые занимаются этими компонентами.

А, то есть каждым шагом занимается своя команда людей.

Ну да, по закону Conway или кого. Как ты проектируешь свою команду разработчиков, такая у тебя и система получится.

Слушай, а сколько большие эти команды? Зрением сколько людей занимается? Или, например, планированием?

Десятки человек. Наверное, Waymo самая большая. Там, может быть, до ста человек.

В каждой из команд? То есть все вместе человек пятьсот примерно?

Наверное, больше.

Охренеть!

Ну, а там же есть еще симуляция. Это отдельная команда. Есть тестирование. Есть инфраструктура для всего этого. Есть hardware команды. Мы не поговорили про hardware вообще.

А, железо. То есть это надо спроектировать. Это не то, что пошел на Амазоне и купил.

Да, в каждой машине она же потребляет какую-то энергию, она выделяет тепло, и нужно балансировать все вычисления, энергопотребление и тепловыделение.

Господи, это реально сложная задача. Теперь я понимаю, почему этим занимаются только самые богатые корпорации на свете.

Это довольно деньгоемкое предприятие. Еще из тех, куда я не хотел, есть ZOOX, который был куплен Амазоном. Есть секретный проект в Apple. Были новости, где есть такие машины, и у них сверху такой матрасик. В этом матрасике спрятаны все сенсоры, чтобы не было даже видно, какой они марки, что это за фирма. Но все знают, что это Apple. Есть многие компании, которые делают какую-то часть, например, производят лидары и продают им их другим компаниям. Да, есть те, которые делают карты, есть те, которые делают просто, скажем, системы какие-то вот для тренировки моделей для машинодержания, или те, которые делают какие-то комплектующие, которые в машину можете поставить.

То есть это уже такая целая экосистема на самом деле компаний, которые занимаются автономными автомобилями. Интересно. Тут не только четыре компании на свете. А так расскажи, вот ты как бы сходил на эти интервью, чем они отличались и почему выбрал Круз? Денег больше дали?

Да, в том числе было больше денег и это было ближе всего к дому. Я мог пешком ходить на работу. Найс. Ну да, просто при прочих равных, почему нет. Потом, конечно, фундамент начался. Я стал удален на работу. В Cruise я занимаюсь платформой. У нас есть ресерчеры, которые разрабатывают нейросети, которые используют данные сенсоров, чтобы понять, что происходит. Они запускают свои тренировочные программы, и я для них делаю все, чтобы им хорошо жилось. в облаке, быстро сохраняли там свои данные.

То есть ты в команде зрения.

Да.

Расскажи, пожалуйста, про модель. Ты сказал, что Tesla хочет продавать, а все остальные, насколько я понимаю, все остальные хотят показывать услуги такси. Почему? В чем прикол?

На самом деле еще есть те, которые хотят делать делать доставку, допустим, в ресторан. И еще есть вариант делать грузовики. Очень тоже удобный use case, потому что грузовики едут по шоссе обычно, и они еще могут ехать друг за другом. Один впереди очень умный, а другие за ними могут просто повторять. Но при этом это тоже индустрия такая богатая на возможные улучшения.

Я слышал, что это суперважно, потому что водитель не может ехать больше 6 часов подряд по закону, потому что он устает. А этому машинка сможет ездить круглосуточно, и это вообще перевернет индустрию доставки. А еще оставит без работы 10 тысяч дальнобойщиков или сколько там, 100 тысяч, миллион.

Ты спросил, почему не продают машины, а почему именно хотят делать сервис? Ну, наверное, когда твоя компания владеет именно этим флотом, упрощаются много аспектов. Гораздо проще обновлять эти машины, проще как-то нести ответственность. Ты можешь каждую ночь, например, проверять, что эта машина чистая, что там ее никто не испортил, что можно заменить ее всегда. Взять одну машину, вывезти из таксопарка и заменить ее другой. А продавать машину— это именно такой шаг веры. Ты сможешь обновлять прошивку дистанционно, решить вопрос с ответственностью. Если какая-то авария произошла, то кто виноват? А сейчас считается, что водитель виноват, например, в любом инциденте.

Если это беспилотный автомобиль?

Тогда вопрос хороший— кто виноват? Компания, произведшая этот автомобиль, или программист, который писал до нее код?

Или владелец. А ты знаешь, уже были кейсы, и как они решаются? Когда беспилотный автомобиль сбивал кого-то.

Да, вот нужно уточнить. Вот был случай с Uber, когда была машина, ехала ночью по шоссе с водителем внутри. Это была тестовая машина, и был тестовый водитель, который был там для того, чтобы перехватывать управление, если что. А в это время ночью шоссе переходила женщина с велосипедом под руку.

Это очень необычно.

в запрещенном месте и произошло столкновение. Вот тот водитель, который должен был прикрыть управление, не успел. Женщина погибла. Убер приостановил тестирование на некоторое время, чтобы разобраться в этом инциденте. Ну, то есть это не только Убер. Там есть в США агентство NHTSA (или NTSB), которое разбирается тоже с такими случаями. Я не помню, что они нашли. Это, конечно, огромные репутационные риски.

Помнишь, ты говорил, что а много маленьких фич, которые вместе собираются. Есть ли вообще какая-нибудь классификация автономности автомобилей? Если есть, то на каком мы сейчас этапе находимся и как мы продвигаемся вообще? Где как бы предел? В какой момент ты можешь сказать, что все, это реально беспилотник?

Значит, есть официальная классификация каких-то автопроизводителей. Там есть пять уровней автономности. Типа уровень один— это просто круиз-контроль. Уровень 2— это где машина уже может и рулить, и держать полосу. Уровень 3— это условная беспилотность.

Так, условная.

То есть в смысле, что машина может ехать автономно на большинство времени, но все равно должна быть всегда под наблюдением водителя, или он, может быть, называется не водитель, а оператор, и ей разрешается делать ошибки, поднимать лапки кверху и говорить, типа, я не знаю, что делать дальше. Уровень 4— уже нельзя поднимать лапки, уже нужно обрабатывать все случаи безопасно, почти уже можно убрать человека оттуда. И уровень 5— это вот самая мечта. Ты можешь просто сказать ехать куда угодно, она тебя отвезет и всегда-всегда-всегда довезет.

Где мы сейчас находимся?

Мы находимся сейчас все в тестовом режиме.

Что это значит?

То есть есть какие-то амбиции заявленные, да, что вот окей, роботакси будет возможно, если мы достигнем уровня 4. Но всегда как бы это должно сопровождаться оговорками, а в какой это местности, а в какое это время суток, а при какой это погоде. И если все эти условности там давать на то, что они этого почти достигли.

Ага. Типа хорошая погода, небольшой городок в Техасе, вот это всё?

Ну вот типа такого, да. Мне кажется, классификация немножко вот... у неё есть эта проблема, что она не учитывает вот эти все оговорки, и что невозможно сказать, что вот даже вот если принять эти оговорки, то всегда-всегда-всегда эта машина доедет до местозначения, потому что всегда есть какая-то вероятность, что что-то пойдет не так. Как-то нужно доказать, что вот вероятность какого-то события неприятного ниже какого-то уровня. Но как это сделать, когда даже одно такое событие грозит очень страшными рисками? Tesla Autopilot и даже Tesla Full Self-Driving— это все еще, по всем бумагам, просто очень умный помощник водителя. Это не беспилотный автомобиль. Любой, кто покупает Tesla, должен это знать. И это написано везде в инструкциях и во всех там... На экранчике там высвечивается предупреждение. что всегда водитель должен быть готов переходить управление. Независимо от того, что говорит Маск или люди на Ютубе, очень нужно быть осторожным с этой системой, потому что это просто помощник водителя, и в любом случае вина будет на водителя, если что-то произойдет.

У меня есть невероятный вопрос. Вот представь, машина научилась ездить сама, она везет пассажира на большой скорости и может либо врезаться в пешехода, либо свернуть в обрыв, то есть она стоит перед дилеммой вагонетки, то есть либо убить пассажира, либо убить пешехода. Водители делают этот выбор обычно несознательно, там за доли секунды они что-то делают, а дальше как получится. В случае машины тебе нужно прописать эти правила. Как это работает вообще, как эти решения принимаются?

Я с этой частью не работал, с системой, но мне кажется, работает так, что вот в любой момент времени у тебя есть пространство выбора. Можно выбрать несколько манёвров, и каждый манёвр можно оценить какой-то функцией потери, да, loss function. Типа там, комфорт пассажира, близость к препятствиям, вот. И просто чисто математически оценивается вот эта функция потерь, сравнивается между манёврами и выбирается та, которая эта функция минимальна. Естественно, в любой момент времени у тебя может быть какое-то препятствие. Если машина может корректно оценить, что это препятствие, не нужно врезаться, и может с правильным коэффициентом добавить этот компонент в функцию потерь, то она и не выберет этот к столкновению.

То есть ты хочешь сказать, что проблема вагонетки, а скорее есть там миллиард маленьких выборов, и никто не прогает, типа, убить того

или убить другого, все просто... Да, конечно, скорее да.

Ой-ей, всё оказалось гораздо скучнее, чем я ожидал. Я уж думал, что там есть такой код, который, типа, кого убить. Ну ладно.

Ну можно это запрограммировать, но... Наверное.

Сомнительно, да?

Сомнительно.

Мы сейчас с тобой разговаривали, ты рассказывал об американских компаниях. На самом деле, не просто американские, они все находятся, мне кажется, около Сан-Франциско и около долины. А кто в мире еще занимается автономными автомобилями?

Очень много кто. Ну, на самом деле, вот такими помощниками водителя занимаются, наверное, почти все автоконцерны. Если у тебя этого нету, это и фича удержания полосы, допустим, то как-то... Уже не круто. Уже не круто, да.

А вот более продвинутыми уровнями?

Яндекс занимается. беспилотный проект. Они тестируют в Москве и в Иннополисе.

Ага, это в Казани.

Да, и еще в Мичигане, в городе Анарбор.

Нифига себе, Яндекс еще в Мичигане.

В Мичигане, потому что есть там город, который разрешил тестировать машины без водителя, без кого-то на водительском сиденье. И в Венополисе тоже, я так понимаю, я видел видео, где можно просто вызвать Яндекс-машину, она к тебе приедет и отвезет тебя в любое другое место в Венополисе.

Директор Яндекса в России, Елена Бунина, говорила мне, что, типа, приедешь в Москву, дам покататься. И так что я очень предвкушаю, когда я прилечу и попробую покататься. А ну ты назвал Яндекс, насколько он крутой? Я понимаю, что это вопрос очень детский, но меня реально интересует, как Яндекс сравнивается с американскими компаниями?

Очень сложно сравнивать, потому что это очень секретная такая индустрия. А все, что у нас есть, это видео на ютубе, по которым мы можем сравнивать. Но мы не знаем, сколько там дублей у этих видео. Но вроде журналисты и в Иннополисе, писали очень приятные отзывы.

Смотри, Москва— это не Феникс, штат Техас, как бы. Там грязь, там иногда битые дороги. Это как бы реальная проблема? То есть в этом плане Яндексу сложнее или примерно так же?

Да, ну понятно, что если камера будет заляпана, допустим, брызгами, то это нехорошо. Потом Лидар тоже то ли в тумане, то ли при дожде. Но просто из-за того, что там длина волны, радар хорошо работает, но как-то там волна обтекает снежинки или что. А лидар просто видит такую пелену вокруг себя и не может ничего понять. Вот. Но может быть, эту проблему научились решать. Не знаю. Но, конечно, да, при плохой погоде водить сложнее однозначно. что беспилотникам.

Хорошо.

Кроме Яндекса, наверное, есть еще китайские компании, но про них вообще ничего не знаю.

Тесла, типа, очень хайповая компания. Ну, Илон Маск, как бы, постоянно срывает хайп. Внутри она насколько, как бы, реально хайповая? Насколько там круто? Насколько там отличается от остального мира? Или это такой вид?

Что, по-твоему, означает хайповая?

Ну, значит, они, кажется, делают какие-то совершенно невозможные вещи. Компании 5 лет назад не было, а теперь она одна из самых дорогих автомобильных компаний в мире. Что вообще происходит?

Ну, в этом смысле хайп, да, это правда. Да, Тесла, наверное, лет 15 уже или даже 18.

Но не 100 лет, как Форду. 120.

Да, мне кажется, здесь сочетаются несколько факторов. Что это первые электрические автомобили, которые умеют ездить хотя бы на каком-то приемлемом расстоянии, сравнимое с бензиновыми машинами. При том, что они так прикольно круто выглядят, и что у них есть еще такие фичи, как помощник водителя. А внутри более-менее обычная компания. Многие люди там реально увлечены миссией. Миссия— это приблизить будущее, где у нас будет Sustainable future— восполняемые ресурсы использоваться энергетически. Конечно, отличие от софтверных компаний в том, что у Tesla есть продукт, который они продают, осязаемый автомобиль. И, соответственно, есть фабрики по всему миру теперь. Фабрики очень тоже продвинутые. Там штампуют все-таки здоровенные корпуса автомобилей. Однажды я волонтерил на фабрике.

Ого, ты был на фабрике?

Да, один раз помогал с производственной линией. Там просто в конце квартала всегда нужно немножечко поднапрячься, чтобы успеть там какую-нибудь круглую цифру машин выпустить. И просто всем прислали e-mail, кто хочет, можете записаться, поволонтерить на фабрике, что-нибудь там поделать. Я записался, мне сказали, в полночь, в ночную смену. Я приехал, мне выдали такие ботинки специальные с железными наконечниками, чтобы для безопасности каску выдали. И я всю смену там стоял ночью на конвейере, смотрел, чтобы все болты были прикручены.

Смотрел или прикручивал?

Я смотрел только.

Прикол.

Ну там я заносил протокол, что так болта четыре, должно быть четыре. Галочка ставишь. Следующая.

Нифига себе, то есть где-то в мире ездят машины, которые ты поинспектировал прямо на фабрике. Удивительно, Сережа, что это интервью, оно чем-то немножко безумное, потому что ты работаешь над технологиями, которые типа супер какие-то, супер современные, из будущего реально. А расскажи, что они очень будничные, типа, ну, было четыре компании, я выбрал ту, которая поближе, или там, типа, ну, обычная работа, типа, модельки гоняю. А получается из этого совершенно безумные результаты?

Ну да, наверное, так со всеми. Будущее уже наступило, да? Просто оно не везде еще равномерно распределено.

И финальный вопрос. Я задаю его всем гостям. Что ты читаешь в интернете? Что ты смотришь в интернете?

Я смотрю подкаст. Есть такой Лекс Фридман. Это такой товарищ, по-моему, российского происхождения. Он работал в MIT.

Массачусетский институт технологий, самый крутой университет в области технологий в мире.

Он там читал курс как раз про self-driving cars. И у него был там проектик насчет того, как внимание людей, которые ездят, например, в Тесле, как оно меняется. Обычно водитель, который просто едет, у него всегда внимание на дорогу. А если он включает автопилот, то у него появляется соблазн Ну, например. И вот он с помощью дополнительной камеры, которая трекала взгляд или что-то такое, пытался исследовать, как у людей меняется внимание. И публиковал исследование. А сейчас он ушел из MIT, я так понимаю, и делает подкаст уже несколько лет. И туда он приглашает людей из области искусственного интеллекта, машин леарнинга. Приглашал Илона Маска туда пару раз, Криса Латнера, Джима Келлера. Потом начал приглашать просто философов. Такой у него подкаст интересный. И видео есть, и аудио на ютубе.

Ссылку на этот подкаст я положу в описании этого эпизода. Спасибо большое, Серёжа. Классная рекомендация.

Да, не проблема, спасибо.

Это подкаст студии Либо-Либо. И мы его сделали вместе с сервисом онлайн-образования Яндекс Практикум. Над подкастом работали редактор Юля Яковлева, продюсер Павел Боровков, звукорежиссёр Нина Мамотина. За джингл спасибо Алексею Зеленскому.