Как сделан крупнейший сервис по поиску жилья

Всем привет! Меня зовут Самат Галимов, и это подкаст «Запуск завтра». Как технический директор я пытаюсь разобраться, как устроены сложные и интересные штуки. Я зову профессионалов, с которыми можно поговорить простым человеческим языком. Cian – это сервис поиска жилья, который не нужно представлять. Если вы хоть раз в жизни арендовали квартиру, или сдавали, или покупали, или продавали, вы знаете, что это такое. Сегодня мы поговорим с техническим директором Cian. Узнаем, как ЦИАН появился, как он смог стать таким популярным, и какие технические сложности есть на сайте, в котором миллионы объявлений. Это подкаст студии Либо-Либо. И мы его сделали вместе с сервисом онлайн-образования «Яндекс.Практикум». У «Практикума» есть курсы по разработке, по анализу данных и по английскому языку. А еще в «Практикуме» есть школа наставников. Это люди, которые проверяют выполнение заданий и помогают, если возникают какие-то трудности. Сейчас «Яндекс.Практикум» снова ищет людей, которые будут помогать своим студентам. Если вы уже разбираетесь в программировании и хотите преподавать, наставничество— это отличный способ начать этим заниматься. Переходите по ссылке в школу наставников «Яндекс.Практикум».

Привет. Меня зовут Чеканов Алексей. Я технический директор компании ЦИАН. Отвечаю за IT.

Знаешь, я хочу масштаб дать, чтобы люди понимали, о каком сервисе идет речь. Можешь, например, сказать, сколько сейчас объявлений есть на ЦИАНе?

Объявлений порядка двух с половиной миллионов. Это активная база. Столько у нас жилья продается, сдается земельных участков в месте домов по всей России. Ну, понятно, там, наверное, соотношение это 60-40, 60 это Москва, а все остальное Россия 40% от этого.

Обалдеть. По одному объявлению на каждые 80 жителей России получается.

Окей.

А сколько людей ищут объявления или дают объявления? Тут можно какую-то статистику привести?

Наша ежемесячная аудитория МАУ— это 20 миллионов людей. Всего в России, по-моему, что-то между 100 и 200 тысяч риэлторов или риэлторских агентств. Я вот тут сейчас могу немножко ошибаться. И я так думаю, где-то процентов 90 от этого количества у нас оно так или иначе и присутствует.

Я сейчас просто представил себе масштаб. 20 миллионов— это каждый седьмой житель России. Окей. Нормальная пользовательская база. Расскажи, как он появился.

Появился он в 2001 году. Тогда Дмитрий Демин, это основатель, приехал в Москву. Он был риэлтором. Ну и, как мы шутим, книжку по PHP и решил выгрузить объявления из газеты, которая раньше все опубликовалась. что-то типа из рук в руки, «Экстра-М», выгрузить это в интернет и таким образом по аренде квартир собирать звонки, ну и дальше их как-то распределять и на этом зарабатывать.

Это типа риэлтор сам запрограммировал сайт или он кому-то его заказал?

Ну сначала сам, но надо понимать, что это была по сути табличка. Не надо было много знать глубины языка, чтобы сверстать табличку и выгрузить в неё какие-то данные.

Да, с самого начала интернета. И такое могло прокатить. Он что, реально, что ли, руками это перебивал из газет?

Ну, сначала да, вот на первых этапах. Потом, когда появилась подача объявлений, появились фиды. То есть по мере подключения, становления популярным ресурсом, риэлторы стали выгружать туда уже напрямую свои фиды. Сначала в Excel. Потом в XML в каком-то более удобном формате, где какая-то валидация типов началась, еще что-то. Ну и, собственно говоря, бизнес пошел. Дальше он начал развиваться. Появились фильтры поиска, появилась возможность подачи объявлений. Он стал брать за это, собственно говоря, плату за размещение объявлений. ЦИАН где-то до 2013 года. Ну, в принципе, это стало де-факто Москве и области.

Были ли конкуренты?

Слушай, ну на тот момент вся конкуренция была в печатке. Еще печатка сильна. Где-то, наверное, в седьмом году, наверное, в восьмом году уже так это... стал печатку поджимать, вот когда первый кризис начался. Уже и технологии подошли, и интернет у нас более массово появился. Все-таки 2001, по-моему, на дайал-апе (dial-up). Ну, надо понимать, что вот у ЦАН есть несколько вех истории, да, это вот... Первое становление цена, когда Дима с небольшой командой развивали этот сайт. Потом на рубеже 2013-2014 года пришли инвесторы. На тот момент это было MediaTree. Ну и, собственно говоря, вместе с инвесторами я появился в компании. На тот момент была поставлена задача стать таким федеральным ресурсом номер один. Это вот второй этап развития ЦИАНа. И до 2021 года, когда уже инвесторы решили, что пора выходить на IPO, и в конце, в ноябре 2021 мы вышли на IPO. Вышли успешно. Это была вообще последняя российская компания, которая это сделала. Ну и вот с тех пор идет какая-то новейшая история ЦИАНа.

Вау. IPO— это первичное размещение акций, то есть вы публично торгуемая компания.

Да, мы стали единорогом в тот момент.

Значит, вы стоили больше миллиарда долларов.

Да-да-да.

Обалдеть. Ты сказал, что задача была поставлена сделать крупнейший федеральный сервис. У вас получилось ее решить?

Ну, мы считаем, да. Мы сейчас лидеры в Москве, в Питере, в Новосибирске и в ряде других регионах. Ну и где-то там вторые, третьи игроки в других регионах. Мы там делим приоритет с Авито. Мы сильны вот в таких крупных центрах, Авито сильно в других регионах.

У тебя есть какая-то гипотеза, почему Авито популярнее в маленьких этих, а увы, в центре?

Ну, потому что ЦИАН сначала развивался, появился он в Москве. На тот момент Авито, как доска объявлений, уже на 2013-2014 год, на этот момент уже были популярны по всей России. Но у них отдельной категории недвижимости не было, классифайд (classified). И они тоже где-то в моменте 15-го года, я точно не помню уже всю историю, может, и 14-го, начали тоже выделять вертикали. Автомобили, недвижимость, пошла реклама, ну и, соответственно, у людей есть привычка. Раз они пользовались уже каким-то ресурсом, они продолжают им пользоваться.

Получается, вы успели занять рынок на больших центрах, а не успели занять его в маленьких регионах.

Тут успели занять тоже, знаешь как, мы... Экспансия была, как Москва, это был центр силы. В Питере мы, по-моему, в 16-м или 17-м году EMLS. Тоже крупный был игрок на тот момент. И в 20-м году мы приобрели N1. Это вот как раз сильный игрок был в Новосибирске, Омске, Челябинске.

Офигеть! Прям такая корпоративная история, типа поглощаем более маленьких конкурентов в регионах и таким образом туда выходим.

Да, вот, а где мы на вторых, там, на третьих местах, это вот, ну, это наш естественный, так сказать, рост за счет рекламы, за счет SEO, органического трафика покупного.

Учитывая, что такой огромный объем, я подозреваю, есть огромная задача мониторинга качества, потому что это UGC-контент, это то, что люди сами приносят, и приносят люди очень странные вещи. Я прямо сейчас зашел на сайт и нашел 33 тысячи квартир для аренды в Москве. Сколько из этих 33 тысяч квартир реальные?

Я думаю, большинство. Часть, может быть, их не актуальна. Наши внутренние сами себя же проверяем. Есть индекс достоверности, где мы делаем выборки, обзваниваем как тайные покупатели. И вот в Москве аренде он показывает где-то 87-90% достоверности объявлений. Ну, дальше 10% что это? Где-то не успели снять объявление, но уже сдали аренду, то есть неактуальные какие-то истории. Риелторы где-то не отвечают. Ну, мы не дозвонились, условно. Но сейчас эта проблема немножко ушла на второй план, потому что рынок подснизился, и риелторы борются за каждый звонок. А раньше достаточно хорошо рынок был нагретый. Ну, не всегда просто выходили даже на связь риелторы. И, ну, понятно, есть какой-то процент, который мы стараемся время уменьшать и уменьшать. Это серый, переходящий в черную область. Ну, там дальше градация. пытаются приукрасить объявление, поставить его поближе к метро, например, чтобы как-то выделить его на общем фоне.

А, вы прямо звоните и спрашиваете, сколько реально надо от метро идти? И они говорят, ну, на самом деле полтора километра. Или сколько там, десять.

Там все два с половиной миллиона объявлений ты не обзвонишь, поэтому у нас там есть инструменты, которые выявляют все эти виды нарушений.

Просто дико интересно, как можно понять, что человек обманул, например, с расстояниями до метро? Как можно это определить программно?

Ну, с метро, там, адрес, да, ну, указывает адрес. Мы смотрим это... Вы строите маршруты. Да, мы строим маршруты, автоматически строим. Двигатель метро— это один из примеров, да, там. Более интересно— это когда ценой играют.

Типа пишут одну цену, а по телефону называют другую?

Да, это вот в Сочи очень любят делать, там, поставить какую-то квартиру, продают квартиру за 10 миллионов, да, а по факту ты звонишь, ну, ой, такую продали, есть точно такая же, но за 20.

А как такое? Ты сказал, что нельзя, типа, обзвонить всех. Как тогда определить? такой фронт?

Ну, во-первых, мы понимаем цену в каком-то диапазоне. У нас есть даже публичный сервис оценки.

Типа ты вбиваешь параметры своей квартиры, она тебе говорит, сколько она стоит?

Ну да. Понятно, она говорит диапазон, но если это сильно ниже или выше этого диапазона, для нас это сигнал. Ну, то есть нет какого-то одного маркера, что это объявление не соответствует действительности. Это набор сигналов, как долго объявление висит, сколько на себя просмотров забирает относительно других.

А, то есть если объявление супер популярное, либо реально крутой вариант, либо реально что-то не так?

Да, ну смотри, оно реально собирает на себя кучу просмотров, но при этом висит долго, ну странно, да?

Почему его сразу не забрали?

Да, да.

А что вы делаете? Вот как бы показалось, что объявление типа стрёмное. Что с ним дальше происходит?

Есть модель, которая собирает на себя кучу этих сигналов. Там много сигналов с фотографии идёт. Если это фейковое объявление, где-то фотографию нужно взять. Соответственно, мы смотрим в разных источниках, не засветилась ли эта фотография до этого объявления.

То есть вы пылесосите весь интернет на предмет фоток жилья, и если что-то уже сосветилось в интернете, то всё. То такое даже не дадут разместить.

Весь не весь, но пылесосим. Ну и плюс у нас большая база, да, самого жилья. Поставщикам такого контента Airbnb и Booking для таких фейковых объявлений.

Логично, да.

Ну и опять же, там можно сравнивать тоже модели, смотри, интерьеры, да, то есть, ну, ты должен набрать откуда-то из разных источников, чтобы не спалиться. Может быть, одна фотка спальни, там одни кровати, условно, там другая фотка, там другой ракурс, там уже совершенно другое что-то, обои другие.

У вас есть модель, которая распознаёт на фотографиях, типа, мебель, и если мебель сильно разных стилей, то она говорит, скорее всего, такой квартиры нет?

Ну, не сам мебель, а стилистику.

Это вот методы машинного зрения, да?

Да. У нас, кстати, есть на сайте тоже в публичном доступе поиск по фотографии. Можно загрузить, условно, понравишься себе квартирку, интерьер, и мы подберем тебе объявление с, как мы считаем, похожим интерьером.

Ничего себе! Прикольно. Расскажи еще какие сигналы.

Call-трекинг у нас. Все номера, все звонки проходят через наш сервис. И, соответственно, это тоже большая база сигналов для моделей.

А вы слушаете сами звонки?

Знаешь, как это? Люди не сидят, но слушают. Модель анализирует.

Знаешь, как в этой картинке такие два злых лица такие в наушниках.

Да. Есть обученные уже модели на данных.

Обалдеть! То есть вы можете даже сказать, типа, этот риэлтор, кажется, злой чувак. Типа, не звоните ему. Ну, теоретически, вы могли бы такую модель построить.

Ну, мы сейчас работаем над тем, чтобы как раз на этом строить защиту от скама, посуточка, когда злоумышленники начинают разводить клиентов. Я вам там перевел предоплату, сказал, идите к банкомату, скиньте код, ну и вот это вот все. Мы на этом сейчас обучаем модели и хотим защитить наших тоже клиентов. Тем более сейчас на рынке много непрофессиональных игроков, это собственники, которые на это так или иначе все равно иногда попадают. Ну, хорошо, если он просто сообщил какой-то был неприятный факт его жизни. Есть случаи, когда злоумышленник добивается успеха, и какие-то суммы денег люди теряют.

Как еще можно определить, типа, хорошее объявление или плохое?

Основные вот, в принципе, назвал, да, это цена, фотографии, что говорят, стоимость и срок размещения. Ну и вот коэффициент условной притягательности этого объявления. Ну и плюс есть у нас еще такие эксперты, еще со времен тех далеких лет, когда он просто смотрит на объявление и говорит, нет, ну это точно фейк. Ребята звонят, точно фейк. Как он это делает? За счет чего он это делает?

У него нейросеть.

Да. Ну, это бывший риэлтор тоже вместе с Димой пришел в бизнес, и вот его взгляд пронзает пространство и время.

Это все происходит на лету, когда ты прямо размещаешь объявление, модель прогоняется, или потом?

Нет. Ну, на лету какие-то там совсем простые проверки проходят, потому что для модели, ну, все равно надо сигналы какие-то набрать. Но мы стараемся, конечно, этот срок уменьшить, но не сказать, что это прямо в реал-тайме происходит.

Что проверяют прямо на входе? Пока еще не набрал сигналов. На что тебя алгоритм проверит и что он просто не даст разместить или сразу закроет?

Слушай, ну там в основном проявляется неадекватность, что условно там площадь суммарная, не больше общей площади, что цена в каких-то разумных пределах находится. Ну что-то там телефон в каком-то нечерном списке у нас значится. Ну как правило, мы хотим здесь как раз дать пользователю максимально быстро обратную связь, потому что зачастую просто как-то ошибаются. Какие-то наши триггеры срабатывают, мы это объявление снимаем с публикации, пользователь расстраивается, условно ошибся где-то. там, не знаю, в тексте указал 6 соток, а в объявлении там 8 написал.

А теперь минутка рекламы. Во вторник у нас вышел эпизод про то, как устроены браузеры. В пятницу, завтра, у нас выйдет бонусный эпизод нашего подкаста «Запуск++», где мы продолжим эту тему и разберемся в двух самых популярных языках программирования— HTML и CSS. Это языки, на которых создаются веб-страницы. Подписаться на бонусные эпизоды можно в Apple подкастах или в Telegram. Ссылки в описании к этому эпизоду. Когда ты понимаешь, что объявление, например, скамерское, ну в смысле, что это мошенники пытаются людей обмануть. Есть просто разные способы снять объявления в интернете. Можно типа скрыть это всех, а может только от того, кто его разместил. Тогда он будет думать, что у него все в порядке, а на самом деле вы скроете. Какие методы вы используете?

Слушай, да и все используем. Ну, как это, знаешь, есть категория уверенности, плохое это объявление или неплохое. Если мы еще как-то сомневаемся, скрываем, оставляем в доступе для риэлторов, потому что у них тоже уже навык распознавать плохие объявления высокий. Кстати, из сигналов это еще и жалобы, которые оставляют и риэлторы сами, и пользователи. Но там, правда, большой шум, потому что все равно идет конкуренция, можно пожаловаться на одного.

На конкуренты.

Да-да-да. Но поэтому это не решающий фактор, это один из сигналов. Ну, и, соответственно, если у нас степень уверенности не очень большая, мы его, ну, как такой вот ограниченной видимости оставляем объявление, ну, и в этот промежуток времени его допроверяем. Как правило, наверное, это уже такие ручные проверки. Ну, если подтвердилось подозрение, снимается объявление, на аккаунт могут накладываться для деприоритизации, если это, ну, в принципе... Раньше был хорошим, но решил пойти по пути плохому. Мы пытаемся обучать рынок, что так работать не надо, это все себя вовред.

Перешел на темную силу, забанили национальность.

Да, ну, либо если это какой-то явный фейкомет, скамщик и так далее, ну, конечно, мы такие аккаунты блокируем.

Скажи, а вот в создании аккаунтов вы как-то проверяете личность? Пытаетесь? Когда в банках, например, заводишь аккаунты в Европе, тебе заставляют сфотографироваться с паспортом, покрутить головой, поморгать, чтобы это было не просто фоткой какого-то левого чувака. У вас есть что-то такое?

Мы стараемся аккаунт привязать к человеку. Сейчас это больше добровольная история. У нас есть акция, мы ее называем «Работаем честно». И там несколько уровней. На одном из уровней нужно подтвердить свою личность. И за это получают набор разных плюшек. Кэшбэк есть некий. приоритизация выдачи. Мы идем по пути поощрения, потому что не хотим делать преграды. Обычно страдают хорошие, а плохие находят пути обхода. И вот у нас, например, была история, мы хотели привязать к телефону. Вроде казалось, один человек, один телефон. Ну, там ушлые ребята покупают ведро симок, условно. и начинают генерить аккаунты. Поэтому тоже надо соизмерять и понимать, что тоже на той стороне идет усовершенствование, и всегда это борьба добра со злом. Сколько мы делаем преград и барьеров обычным пользователям, и какой от этого выхлоп, какая цена и какая от этого польза.

Слушай, а можешь привести пару примеров, какие схемы используют мошенники? Понятно, что не хочется советовать аудитории, типа, как надо обманывать, но все-таки интересно на примере увидеть, как оно работает.

Ну, как я говорил, да, там есть несколько градаций серого. Это просто оставляет какое-то объявление висеть, а оно уже не актуально. Для того, чтобы собрать какие-то дополнительные звонки или лиды, да. Ну, это не прямо такое зверское нарушение. Мы, ну, если выявляем, что это объявление не актуально, ну, там сами зачастую снимаем. Отдельная тоже боль— это когда вот объект под авансом, и мы там долго спорили с сообществом, нужно снимать эти объявления, не нужно снимать объявления. То, что риэлторы говорят, типа, аванс это еще не сделка и может сорваться. Поэтому договорились, что мы их помечаем, что объект под авансом. И тем самым мы и пользователям даем возможность эти объявления увидеть. И в случае, если сделка не состоится, риэлтор не потеряет время. у него уже будет какая-то наработанная база. Поэтому это скорее просто особенности рынка. А есть другие, как я уже упомянул, делают более привлекательным объявление. Оно может существовать, но в каких-то других параметрах. Классическое— это занижение цены. Продаю за 20, поставлю 18, уже человек будет горячий, я его как-то обработаю своим умением.

Он влюбится в квартиру и не сможет отказаться.

Ну да. Дальнейшие это уже какие-то нереальные объекты, фейки. Для того, чтобы собрать аудиторию, классическая в аренде тоже бывает схема, приглашение в офис. Этого объявления нет, приедете в офис, мы вам предложим какую-то историю, квартиру.

Что, кто-то еще на это ведется, что ли, в 2022 году?

Ты не забывай, Россия большая все-таки, да? В следующей стадии это уже такие откровенные мошенничества начались. Оставьте нам предоплату какую-то. Это объявление горячее, хорошее, в аренде особенно такое очень много. Скиньте там 5 тысяч, и объявление будет за вами. Ну а дальше там в зависимости от. Либо человек сразу пропадает, либо начинается, ну раз уже человек на крючке, он предлагает ему какие-то другие варианты, которые у него в базе есть. Плюс еще отдельный, но скам это не относится конкретно к объявлению, потому что наоборот, здесь уже мимикрируют под людей, которые ищут жилье и звонят на реальные объекты.

О, то есть мошенники могут быть не только со стороны тех, кто размещает объявления, но и со стороны тех, кто звонит по объявлению.

Да-да-да.

А расскажи про это подробнее, какие есть примеры.

Ну, это в основном в посудке такое распространение получил, потому что привычный сценарий, когда ты заходишь, бронируешь жильё, тебе оставляют какую-то предоплату, и все счастливы. И люди маскируются под реального, не знаю, отдыхающего или командировочного. Обычно командировочное. Я там полковник ФСБ, командируюсь к вам на 2-3 дня. Мне нужен подтверждающий документ моему генералу. чтобы мне это все оплатили не из моего кармана. Там пришлите какой-то код, ну, делают фейковую страницу а-ля ЦАН, ЦАН-сделка, так называемая.

Офигеть.

Подразвитие технологии, там, как это, авито-доставка у них такая же есть, боль мимикрирует. Вот ЦАН есть, сделка безопасная, схема платежа, введите туда код подтверждения, и вам деньги придут.

А на самом деле они, наоборот, платят деньги.

Ну да-да, это фишинговая страница, с которой, собственно говоря, происходит выманивание смс-очного кода.

Обалдеть! То есть человек, который хочет сдать жилье, он вводит свои реквизиты и вводит смс-ку?

Ну да.

Жесть какая.

Ну, надо понимать, это прямо единичные случаи. Я сейчас всех напугаю. Мы тут боремся с этим по трем фронтам. Во-первых, обучаем пользователя. У нас много статей на эту тему. Когда человек, мы видим это новое и первый раз размещает объявление, мы обязательно... В интерфейсе это подсвечивается, ссылки на эти статьи. Второе, как я уже говорил, да, мы звонки слушаем, пытаемся эти схемы... выявлять и блокировать своевременно. Но часто бывает, что люди контактят сначала по телефону, а дальше уходят в какой-нибудь WhatsApp, в Telegram и так далее. И это уже за нашим пределом возможностей. Соответственно, там происходит дальнейшее раскручивание клиента. Ну и плюс мы мониторим появление таких фишинговых страниц, взаимодействуем с различными регистраторами имен, хостерами на быстрое удаление их, блокировку.

Чтобы вот эти фишинговые страницы, они быстро просто пропали из интернета.

Да-да-да.

Прикольно.

Ну, вообще, вот здесь до сих пор нет какого-то там серебряной пули, да? То есть на той стороне, так как это... Тоже люди. Да, их... Ну, они мотивированы на получение денег и обход средств защиты. Ну, главное здесь, конечно, борьба— это обучение, если человек уже предупреждён, вооружён.

Вообще, много ли таких людей, на самом деле? Вот даже стало интересно. Из общего числа объявлений и вот этих сделок, которые происходят на платформе, какое количество фродовых? Я понимаю, что это чувствительная информация, но порядок хотя бы.

Фродовых где-то там случаев, где это заканчивается каким-то потерей в деньгах, но это прямо единичные случаи, потому что всё-таки мы здесь хорошие инструменты борьбы имеем. Постоянно совершенствуемся. Есть сервис ЦИАН «Сделка», но это про покупку и продажу квартиры, где как раз сделка проходит через нас, через наших партнеров-банков, где мы как раз отслеживаем весь путь. Чистота сделки проверяется, и сервис безопасных расчетов имеется, где деньги сначала на escrow-счете, условно, оставляются.

То есть вы такой посредник.

Да, когда Росреестр уже подтвердит, что сделка прошла, регистрация права получена, эти деньги приходят покупателю. Но здесь мы можем гарантировать. Там, где сан является звеном сделки, конечно, мы гарантировать безопасность этого расчета не можем.

Лев, я тут понял, что вот вы построили много всяких алгоритмов, напрограммировали кучу всего. Во-первых, интересно, сколько программистов в этом участвует. А во-вторых, при деле все равно в конечном счете проблема решает человек. Какая-то техподдержка. какой-то один колл-центр в каком-то часовом поясе. Короче, вот про это интересно. Ну, можно начать прямо сначала. Сколько людей программируют эти средства защиты? Есть ли для этого отдельный отдел?

Да, у нас это отдельное направление модерации качества. Сейчас порядка, наверное, 10-12 разработчиков, разработчики, датсайентисты. Есть отдельно, да, вот это то, что ручные проверки, прозвоны. Это модератором мы их называем. Их где-то порядка 100 человек. Понятно, они все разбросаны по земному шару. Мы также еще взаимодействуем с Яндекс.Толокой, кстати. Какие-то массовые операции, где надо дешевые сделать.

Слушай, надо пояснить, Яндекс.Толока— это платформа, через которую можно заказать действия какие-то. Типа, например, там, не знаю, приведи пример какой-нибудь хороший.

Ну, какие-то разметки, да, могут быть.

Определите, является ли на фотографии бабушкина квартира или нет.

Да, вот, кстати, мы когда тоже делали похожий фильтр по качеству ремонта, да, отправляли на разметку фотографии, ну, там, в несколько категорий. разметь, в какой категории эта фотография относится. Понятно, там есть свои особенности, потому что там тоже работают люди, есть человеческий фактор, который просто человек пришел покликать и заработать денег без включения мозга. Или там какого-то скрипта, простейше написал. Поэтому там есть история кросс-проверок и так далее. для чищения этих сигналов. Ну и вообще история вот этих кросс-проверок, это и у нас, потому что модераторы могут ошибаться, и здесь цена ошибки тоже, когда мы блокируем или снимаем объявление какое-то ошибочно, и для нас это больно, и для клиента больно. Поэтому мы следим за работой модераторов. Есть специальные алгоритмы, которые проверяют, насколько хорошо человек работает, насколько верно он дает ответы. Специальные и кросс-проверки, и какие-то талонные объявления. Талонные задания не только на объявлениях строятся.

А, то есть ты можешь не только реальные проверки, но еще можешь проверять проверяющих. Типа даешь им вопрос, на который ты знаешь заранее ответы и смотришь, правильно он ответит или нет.

Ну да, да.

Прикольно. Да, это, конечно, дико сложная задача, потому что тебе, с одной стороны, нужно этих людей полагаться и с помощью них модерировать контент, а с другой стороны, тебе нужно этих самих людей проверять.

Да, да, ну вот эта известная, да, фраза, кто будет сторожить сторожей. Но опять же, нет здесь тоже одной серебряной пули, это тоже набор сигналов, потому что, ну, бывает какие-то пограничные зоны, там нельзя однозначно считать, да или нет. Человек один сказал, ну, больше склонился к одному ответу, другой к другому. Но вины в них в этом нету. То есть не было попытки фродо со стороны модерации. поэтому тут тоже мы аккуратно к этому подходим.

Окей. Мы с тобой обсуждали, как защитить ЦИАН от плохих объявлений, но вот вы уже собрали огромную базу хороших объявлений. Пытается ли их другие люди стырить и на этом что-нибудь построить? скрейпинг (scraping), когда программно выкачивают вашу базу и, например, делают там клон какой-нибудь сайта. Это распространено сейчас на этом рынке?

Слушай, ну, парсит. Мы, ну, не то чтобы сказать, что прям предметно с этим боремся. Боремся в плане того, когда это сдевает нашу инфраструктуру и как-то снижает SLA. Там какие-то безумные товарищи приходят, не знаю, тысяча запросов уже. Это как-то больше похоже на DDoS, а не на парсинг. Соответственно, мы блокируем.

Но такой бизнес-модели, типа, выкачал все объявления СЦИАНа и их как-то монетизировал? Такой бизнес-модели нет.

Ну, есть, например, Homebrew, по-моему, называется, чат-бот в Телеграме, который находит под параметры жилье.

Мне наши редакторы, которые живут в Москве, говорили, что это очень хороший бот, типа, реально сильно помогает. Расскажи, как ты к нему относишься.

Да, ну, там тоже частично данные берет СЦИАНа. Есть какие-то люди, там, не знаю, делают аналитику, что-то еще. Ну вот взять, просто циан спарсить и рядышком поставить второй циан, ну не получится, да, потому что циан— это не только база объявлений, да, это в первую очередь аудитория, которая приходит, да, это marketplace, есть аудитория, которая приходит искать, есть аудитория, которая продает или там сдает. И вот мы эти две аудитории объединяем. Если просто где-то рядом расположить, ну, этого не произойдет. Это должен потратить все равно, так иначе, на раскрутку всего этого дела. И каждый год, условно, появляется очередной убийца ЦАНа, который вот я сейчас делаю суперсервис, и они потом пропадают.

Понятно. Много таких уже видели, да? Про ботов? То есть вы не пытаетесь заблокировать таких ботов, например, которые пользуются вашими данными?

Вот сейчас конкретные задачи заблокировать ботов нет, мы больше смотрим со стороны инфраструктуры.

Типа не мешают ли они вам жить просто?

Да, это же всегда вот эта вот проблема, там какие-то капчи начинаются, и чем ты сильнее закручиваешь гайки, тем они чаще высовываются. Ну и сейчас есть пользователи, которые попадают на это, хотя они обычные пользователи. Потому что до этого своего айпишника публичного кто-то агрессивно парсил нас 5 минут назад, допустим. Или это публичный айпишник, который раздался нескольким людям. Особенно с мобильными операторами такая история очень часто бывает. И если, опять же, человек высоко мотивирован на то, чтобы получить доход, то он все равно найдет способ отпарсить. Наша задача сделать этот процесс более дорогим, с одной стороны, школоту. Ну и с другой стороны, чтобы нам это не было больно с точки зрения инфраструктуры. И третья сторона— это что страдание обычных пользователей. Такой треугольник получается. В каждый момент времени мы там ищем этот компромисс.

Про продажу хочу тебя спросить, потому что я посмотрел, и вот в Москве количество объявлений о продаже гораздо больше, чем количество объявлений об аренде. Там 115 тысяч объявлений о продаже. Вообще продажа чем-то отличается от аренды? Технически и продуктово. И тут и там просто объявления?

Ну, если сделать с точки зрения продукта, говорить, да, ну, сам процесс подхода к продаже, он более длительный. Я имею в виду человек, который покупает. Он, как правило, это делает нескольких подходов и не один. Соответственно, в продукте есть сервис подборки. Ну, это некая избранная, да, которая этим избранным может делиться с другим человеком. Ну, то есть шарить это избранная.

Очень интересно.

Есть различные наши сервисы рекомендательные. Похожие квартиры, которые показывают пользователю, но, может быть, чуть за рамками его более точного поиска. У меня есть желание жить обязательно в этом районе. У нас достаточно большое количество фильтров, которые позволяют сильно сузить поиск. Но если ты не сильно погружался сначала в эту тематику, ты можешь так засузить эти критерии, что в худшем случае ни одного объявления не будет, а в лучшем их всего несколько.

А зачастую... Ты готов подступиться немножечко здесь, немножечко там, и все равно будет хорошо.

Да. Ну, условно, там вот даже с тем же ремонтом, да, там ты можешь, условно, это будет какие-то такие выборы. Ты либо ищешь квартиру с хорошим ремонтом, но она будет стоить чуть дороже, может быть, не чуть, может, существенно дороже. Либо ты все равно будешь переделывать ремонт под себя, и на эту сумму ремонта ты можешь снизить критерий цены покупки.

Понизить максимальную цену и таким образом просто сэкономить денег.

Да-да. Но в фильтрах ты как-то сильно себя ограничил. Человек про это может даже и не думать, что вот такие есть варианты. И вот мы, раздвигая чуть-чуть эти фильтры, ищем похожие объявления с точки зрения других пользователей, с точки зрения самого объявления, то есть там item-item или user-item, да, связки. Расширяем этот круг, как я говорил. Плюс еще у нас есть ML-ранжирование, так называемое, где вот мы из этого... Условно-то фильтров наоборот, другая сторона медали. Максимально широкий поиск. У тебя вот это 113 тысяч объявления вывалилось. Руками их перелопатить человеку не предоставляется возможным. Мы его, понимая его там, потому как он кликает по сайту, какие квартиры выбирает, мы меняем это ранжирование.

То есть по тому, какие объявления я выберу из списка, которые мне предложили, вы следующее объявление поменяете? В смысле, вы предложите мне те объявления, на которые я больше кликал?

Да, ну те, которые с нашей точки зрения будут более интересны... Тебе, судя по истории твоих кликов? Да-да-да. Более того, мы еще пришлем подборку в PUSH. с теми, которые ты еще не смотрел, но нам кажутся интересными для тебя.

В поисковой системе в Гугле известно, что это сильно применяется, что система типа адаптируется, потому что на что ты кликаешь, и вы это тоже реально используете в результатах поиска. Обалдеть, очень круто.

Ну, мы не скрываем какие-то, да, мы вот именно переранжируем. В следующий раз, когда ты нажмешь на поиск, в следующий раз зайдешь с каким-то набором фильтров, он у тебя будет более... отранжирует, он более релевантен к твоему интересу.

Офигеть, вообще в нос мозга. А это только в продаже работает или в аренде тоже?

Ну и в аренде тоже, да. В аренде сессия короче, быстрее проходит. Просто эффект этого применения мы увидели больше и в продаже, чем даже в аренде. Количество кликов на пользователя увеличивается. Соответственно, скорость для первого какого-то целевого действия тоже быстрее становится.

Классно. Какие еще есть технологии, какие еще есть продукты даже? Вот я, например, видел, что есть ипотека. Что за интеграция?

Да, у нас подключено порядка 10 банков, ну, топ-банков, где ты можешь, заполнив анкету, указать доход, место работы, там, возраст, семейное положение, ну, еще каких-то полей там о себе. мы тебя проскорим сами. С интеграцией банков, зная их предложение, выдадим тебе именно те предложения, которые будут валидны с точки зрения банка. Если ты придешь с теми же параметрами, которые ты в этой анкете указал в банк, они тебе предложат тот же самый процент. Тот же самый кредитный продукт.

А это открытая информация, да? Они вам прямо поделились с вами параметрами своей модели?

Ну, часть скоро, конечно же, на их стороне отрабатывать, просто часть каких-то предпроверок есть

у нас. А, то есть вы посылаете все-таки им данные по API, они вам его возвращают и по ответу, что да, можно.

И они возвращают вот именно прям уже конкретные там процентные ставки, то есть не просто калькулятор, да, ипотечные ставки, они выдают именно тот продукт, который показывается у нас.

Я просто вспоминаю то, что ты мне вначале говорил, что, типа, чувак прочитал книжку про ПХП и сделал, типа, таблицу. Это довольно большой путь был пройден. Скажи, сейчас в Сиане осталось какие-то кусочки кода, который был в самом начале? Или там уже всё переписано?

PHP-шный upstream, который ссылается на какие-то там вот эти вот тёмные первые века Сиана. Рука не дрогает, выключите этот апстрим.

Один из сервировок запросов, он типа что-то туда посылает, какие-то запросы.

Какие-то мы по логам там периодически там, ну давай выключим, смотрим, какие-то запросы идут в аксесс-логах, что-то есть. Да, ну типа мы сейчас действительно хотим этим заниматься? Нет, у нас есть что-то более приоритетное. Ну окей, давай до следующего раза оставим.

А стэк изменился? Вы продолжаете писать на PHP или уже другой языке программирования?

Питон, если про Бэк говорим, Питон и C-Sharp.

Довольно необычное сочетание.

Да, да.

А почему, как?

Да, история как раз этого 14-го года, когда произошла сделка покупки Циана. Инвестор купил Циан, на который в тот момент был PHP плюс Питон, а у инвестора был Realty.dmir.ru, в котором, собственно говоря, я и работал, откуда я пришел, деловой мир онлайн, у которого был ресурс на C-Sharp. В тот момент была, казалось бы, простая задача объединить два этих ресурса, Ну это

примерно как поженить корову и птицу.

Да, и мы там нормально накодили. Надо понимать предысторию всего этого дела. На тот момент времени Циан, не сказать, чтобы далеко ушел от той таблички, которая была первоначальная.

Пользователи дофига, объявлений дофига, а технологически он мало чего умеет делать.

Да, в тот момент времени как раз его уже там предыдущая команда на Python, по-моему, Django. Он там половиной одной стороны стоял на ПХП, другим там в этой джанге. Там инфраструктура представляла из себя тоже одище, ну то есть он падал чуть ли не каждый день. Вот на этом фундаменте нельзя было строить, да, было понимание. Но с другой стороны, там у Циан это бренд, это аудитория. Казалось бы, вот простая задача, да, вот у нас есть две аудитории, их надо просто вместо собой объединить. А там, ну, это в принципе было таких два разных продукта. Они с точки зрения монетизации разные были, с точки зрения интерфейсов. Хотели сделать общую базу объявлений и общую базу пользователей.

Может быть, для человека, который вообще в этом не разбирается, звучит как простая задача, но на самом деле это ад полный. Это сложнее, чем сделать просто новый сервис с нуля.

Да. Ну, на это еще наложить то, что хотим сделать это быстро. С одной стороны, есть там команда, которая пришла вместе вот с ресурсом Realty de Mir и с C-Sharp, которая уже готова что-то делать. С другой стороны, в команде ЦАНа там, по-моему, на тот момент было два разработчика, их надо как-то быстро масштабировать, чтобы они тоже могли что-то, ну, Тебе враждебные косяки вырабатывать. Ну вот это был такой набор не самых лучших компромиссов. Хороший был для меня опыт, как не надо строить проекты.

Случилось вообще как идеальный шторм, просто все в одной точке сошлось.

Интеграция. У нас уже не оставалось времени, например, сделать сервис очередей. Была гипотеза, что мы сможем транзакционно. На какой-то момент выяснилось, что транзакции отваливаются.

Господи.

костылей наверчено, когда мы таки зарелизили это объединение, ломав кучу сценариев пользователя. Мы еще два месяца не вылазили из офиса, нон-стопом программировали. чтобы исправить все косяки последствий этого релиза. Ну и с тех пор вот у нас есть две технологии на бэке. Ну, в принципе, мы с ними научились жить. Ну, какие-то части просто пишутся на C-Sharp, а какие-то части на питоне.

Очень прикольно.

Например, поиск у нас целиком на Python, например, биллинг, он на C-Sharp. Но сейчас это рудименты, у нас микросервис, всё автоматом выезжает, фактически полная автоматизация. Вот как разработчик закончил писать код, написал какие-то тесты, отправил win-review, для него дальше происходит некая магия, и после этой магии задача появляется на Prod. При этом это время мы его нормируем. И вот с учетом того, что задача получает два approval на review, запускается тест на тестовом стенде, на staging-стенде, выкатывается в канарейке, потом на прот с маленьким количеством трафика. Это тоже автоматически откатывается или не откатывается. Вот это время мы регламентируем, чтобы было не больше 7 часов.

О, сколько? Серьезно, что ли? Семь часов?

Да.

Обалдеть!

70% задач укладывается в этот норматив у

нас. Обалдеть, это безумно круто. Особенно ты еще в минутку на речный релиз, это когда ты выкатываешь фичу на небольшое количество поля, смотришь, как она отрабатывает, и если все нормально, тогда увеличиваешь этот процент, а если плохо, то откатываешь обратно. И все это за семь часов.

К тому же это вот какой-то технологический разрыв между тем, чтобы дофигачили в угаре, и с тем, что есть сейчас.

Душа радует, что кто-то таким занимается и делает это хорошо. А вот эта система доезда называется CICD, Continuous Integration, Continuous Deployment, когда у тебя автоматический код приезжает. И вот если у тебя хорошая инженерная культура, то это есть, если нет, то это плохой сигнал, звоночек для бизнеса, имейте в виду. Окей, теперь хочу про бабки тебя немножко спросить, потому что очень интересно, на чем вы зарабатываете, когда арендное объявление, на чем когда продажа, какая вообще бизнес-модель у сервиса?

Ну, основная сейчас это вот мы берем плату за размещение и VAS (value added services), чтобы там сделать объявление заметным. Там есть аукцион, модель аукциона, когда человек дает какую-то ставку, чтобы оказаться выше в ранжировании. Это вот вторичка, и аренда на этом построена. Бизнес-модель есть. Новостройки, где мы застройщикам продаем уже звонки и берем плату за лиды. CPL-модель. Ну, это два основных кор-бизнеса есть. Новая, развивающаяся, это вот ЦАН-ипотека.

Вы там берете процент, видимо, да, за сделку?

Да. Есть ЦАН-сделка, где тоже мы берем плату за услугу, собственно говоря. Предоставление вот этого сервиса безопасной сделки в новые направления. Есть коммерческая недвижимость, где там тоже сейчас экспериментируем с подписочной моделью. Помимо просто размещения объявлений, люди получают доступ к аналитике различной, расширенной, связанной с коммерческой недвижимостью. Есть заявки, например, когда пользователь, поискун, как мы называем, человек, который ищет для себя жилье, оставляет заявку на то, чтобы какой-то риэлтор помог ему в этом. И, соответственно, мы берем плату с риэлторов за доступ к этим заявкам, контактам этих пользователей. Но вот направление это больше идти в сторону транзакций, нежели чем оставаться в рекламной модели.

Хорошо. Какая команда для всего этого нужна? Ты упоминал, что в безопасности, как она там называется, команде человек 10 программистов и 100 модераторов. Какая остальная техническая команда?

Ну, вообще, IT это у нас где-то порядка 280 человек сейчас.

Это включать модератор или нет? Это именно технари?

Да, это разработчики, это сайентисты, это инженеры. Ну, сюда я включаю еще команды такие платформенные, там и команда CI, CD. которая обеспечивает весь этот процесс релизов. Команда SRE, ребята, которые отвечают за то, что инструктура и продакшн вообще, в принципе, работают.

И не падают.

И не падают, да. Плюс от каждой технологии у нас выделено несколько человек-разработчиков, которые... Их клиентами, их заказчиками являются другие разработчики. То есть разрабатывают инструменты, библиотеки.

Повышают удобство программистов.

Да, чтобы каждая команда не пилила какие-то свои велосипеды. Там, например, мониторинг, как эти логи собираются, как они доезжают, что нужно сделать, чтобы эти логи появились. Это все стандартизировано, и человеку остается только подключить библиотеку, чтобы начать пользоваться этим всем.

Звучит как очень... взрослая инженерная айтишная компания, очень взрослая инженерная организация. У вас делится на продуктовой команде или у вас одна большая команда разработки и к ней как-то?

Нет, мы вот уже давно достаточно трансформировались именно на отдельные продуктовые команды. И там у каждой продуктовой команды есть Product Owner, есть там Team Lead. Ну, в общем, это такая боевая единица, которая способна дотащить до проды, ну, условно, любую идею, которая возникает внутри этой команды.

Сколько программистов?

Ну, в зависимости от. Наверное, минимально это где-то человек 6-8, ну, чтобы из каждого стэка было по человеку там iOS, Android, бэк, фронт, то есть уже вот QA, там 5-6 человек набирается. Вот у команды есть выделенная продуктовая цель, на что они влияют, какие они добиваются со стороны бизнеса. И есть со стороны техники люди, которые способны это довести от идеи до продакшена. Соответственно, мы стараемся так, чтобы они были максимально независимы, друг от друга убежали. От этого у нас и микросервисы появились, и процесс автоматического тестирования, чтобы все команды могли бежать без оглядки друг на дружку, не блочить друг на друга.

Сколько у вас продуктов на 280, да, этих норей? То есть людей, которые придумывают, что делать?

Ну, всего у нас команд порядка 30-40. Ну, соответственно, у каждого команда есть продукт. У нас есть направления, как мы их называем. Они отвечают за большой кусок, ну, цена сайта. Например, ну, есть аудитория, да, это вот направление аудитории, это мы с тобой там, условно, люди, которые вот заходят искать. Они отвечают за вот это направление, отвечают за их экспириенс, за их показатели, да. Есть направление рынок вторичной недвижимости, да, соответственно, в нем там есть и собственники, есть риэлторы, как аудитория, ну, за что они отвечают, да, вот за этих людей. Есть направления застройщики, соответственно, это все, что касается новостройка и счастья застройщиков. Есть коммерческая, но есть отдельно еще и загородка, цена ипотека, ряд более мелких. Основные эти направления в разработке это 40-50 человек. Соответственно, внутри вот этих направлений они уже дальше делятся на команды. Ну, зависимость, опять же, от того, насколько большое направление там, ну, разное количество команд. Поэтому, получается, иерархия такая. Есть продукт, отвечающий за все, ну, целиком за бизнес этого направления. У него там есть продукт-менеджер, который отвечает за более какие-то локальные направления там. Ну и у этих продукт-менеджеров команды разработки, которая помогает ему то, что он считает нужно сделать, какие новые там фичи, продукты запустить, они, собственно говоря, это и делают. Дизайнеры, аналитики еще.

Прикольно. Такая стандартная трехуровневая структура. Очень круто! 40 продуктовых команд— это бомба.

Слушай, наверное, я все-таки ошибся в 40. Это я переборщил. Это, включая и другие продуктовые, наверное, все-таки команда 20.

Ну знаешь, я вот посчитал. 280 человек. Если по 20 человек команда, то тогда примерно 14. А если 40 команд, то по 7 человек в команде. Мне кажется, где-то посерединке, наверное, учитывая, что у тебя же еще core-команда есть.

Да-да-да, ну вот, наверное, где-то так. Окей.

А расскажи самый большой технический факап, потому что ты рассказывал про интеграцию, но еще что-нибудь такое есть?

Это самый большой факап. Много оттуда почерпнул. Часто страдала инфраструктура. не до конца она была отлита в камни. Вот мы только недавно, в 2019 году пришли к тому, что у нас уже инфраструктура как код, там есть тоже свои тесты, все это выкатывается по определенному флогу. А раньше зачастую человек заходил на сервер и что-то пытался править руками. Соответственно, там могли быть разные конфигурации и так далее. Ну, и такой факапов— это когда мы, например, сами себя могли забанить.

В смысле, когда один сервис не мог достучаться к другому, потому что он думал, что он его дидосит?

Ну, например, да. И это еще требует большого времени расследования, где что произошло. Неочевидная история. Или, там, из интересного, про дидос самих себя. Вот был кейс для повышения стабильности Connect в апках. Ребята сделали ретрай. А у нас, например, на бэке какой-то есть вдруг затуп. И в этот момент времени получается кольцо с положительной обратной связью. Чем больше мы затупливаем, тем больше к нам запросов с мобилок прилетает, тем больше мы еще больше начинаем тупить. И вот такие кейсы были в нашей истории, например.

И причем ты это уже выкатил в App Store, типа ты не можешь это быстро откатить, что вообще делать?

Да, ну rate limit, чтобы как-то из-под этого DDoS самим выйти. Ну то есть там, да, хотя бы часть клиентов, ну пользовательских запросов начать обслуживать.

Причем я один в один слышал ровно такую же историю про ретрай в мобилках, типа как люди узнают, exponential backoff? После того, как себя сами кладут.

Ну вот, да. Вот с каждым такой историей появляется новый опыт, да, shit happens. И задача не найти какого-то там виновного и повесить на него всех собак, а задача после этого разобраться в причинах, почему это произошло, как это системно подчинить, чтобы второй раз не произошло. У нас выстроена такая система постмортемов. После каких-то критичных для нас инцидентов команда собирается, анализирует, придумывает, разрабатывает какие-то системные решения, но дальше, в зависимости от степень критичности и вероятность повторения. Эти задачи ранжируются. Либо мы их сразу берем и делаем, либо они в какие-то планы команды добавляются.

Слушай, моя душа просто расцветает, мне хочется тебя расцеловать. Очень круто. Реально, такой маленький Google, мне кажется, технологический. Скажи, вот все это сделали и продуктово захватили рынок. Есть вообще куда развиваться?

Во-первых, это новые продукты, потому что все равно так или иначе весь мир идет в ту сторону. Есть, где мы не лидеры, есть конкуренты, которые не дают нам спать спокойно даже там, где мы лидеры. И у них такая же задача у того же Авито стать номер один в Москве, а наша задача отстоять свои позиции, например. Поэтому всегда есть что-то новое, что нужно как-то на что-то реагировать. Опять же, есть внешние вызовы. Например, 2020 год, пандемия, когда все ушли в локдаун, риэлторов, условно, сделки практически прекратились, надо было как-то на это тоже реагировать. Сейчас отдельная история. Мы растем все равно и, ну, видим новые для себя вещи, что нужно еще делать.

Мой финальный вопрос, он обычно такой, типа, что про это больше узнать, но странно как бы задавать, типа, как узнать больше про риэлторский рынок? Интересно другое. Ты рассказал очень крутую инженерную организацию, и мне кажется, это хорошее место для того, чтобы построить карьеру. Ну, во всяком случае, научиться посмотреть, как должно быть, чтобы потом как бы не считать, что там страдание программистов— это нормально. Как попасть к вам на работу?

У нас открыта вакансия. Есть два этапа собеседования. Один технический, где мы определяем уровень технической подготовки. И второй финальный, где мы, так будем называть, разговариваем за жизнь. Что человеку интересно. Рассказываем, какие задачи есть у нас, какие команды. Для того, чтобы понять, насколько мы друг другу подходим. Насколько долго этот матчинг будет. что мы хотим все-таки, чтобы люди у нас задерживались надолго, потому что внутри мы вкладываемся в развитие людей. И хочется как-то максимально, чтобы это была такая вин-вин-история. Человек находит себе место, где ему интересно. Так или иначе, все равно работа— это большая часть нашей жизни, где он не страдает, а получает удовольствие, а мы получаем это в виде тех ценностей, которые он делает.

Леш, спасибо тебе огромное, что пришел и поговорил, и рассказал так подробно.

Спасибо тебе.