На чем написан netflix
Как мы писали код Netflix
Как именно в Netflix реализован код до этапа работы в облаке? Части этой истории мы рассказывали и прежде, но сейчас настало время добавить в неё больше деталей. В данном посте мы опишем инструменты и методы, позволившие нам пройти путь от исходного кода до развёрнутого сервиса, который позволяет наслаждаться фильмами и сериалами более чем 75 миллионам подписчиков со всего мира.
Схема выше – отсылка к предыдущему посту, представляющему Spinnaker, нашу глобальную непрерывную платформу передачи данных. Но до попадания в Spinnaker строке кода нужно пройти несколько этапов:
Организационная культура, облако и микросервисы
Прежде чем углубиться в описание процесса создания кода Netflix, необходимо обозначить ключевые факторы, которые влияют на принимаемые решения: наша организационная культура, облако и микросервисы.
Культура Netflix расширяет возможности инженеров в плане использования любого, по их мнению, подходящего инструментария ради решения поставленных задач. По нашему опыту, для того, чтобы какое-либо решение получило всеобщее признание, оно должно быть аргументированным, полезным и уменьшать когнитивную нагрузку на большинство инженеров Netflix. Команды свободны в выборе пути решения задач, но за это расплачиваются дополнительной ответственностью по поддержке этих решений. Предложения центральных команд Netflix начинают считаться частью «проторенной дорожки» (paved road). Сейчас именно она находится в центре нашего внимания и поддерживается нашими специалистами.
Кроме того, в 2008 году Netflix начала переносить потоковую передачу данных на AWS и переводить монолитную ЦОД на основе Java-приложений на облачные Java-микросервисы. Их архитектура позволяет командам Netflix не быть сильно связанными друг с другом, что позволяет создавать и продвигать решения задач в комфортном для них темпе.
Разработка
Думаю, никого не удивит то, что перед развёртыванием сервиса, либо приложения, его сначала нужно разработать. Мы создали Nebula – набор плагинов build system для Gradle, чтобы справиться с основными сложностями в ходе разработки. Gradle является первоклассным инструментом для разработки, тестирования и подготовки Java-приложений к развёртыванию, потому что охватывает основные потребности нашего кода. Он был выбран потому как на нём было легко писать поддающиеся тестированию плагины, уменьшая при этом итоговый файл. Таким образом, Nebula, при помощи Gradle с его набором доступных плагинов для управления взаимосвязями, выпуском, развёртыванием и многими другими инструментами, обеспечивает надёжную автоматизированную функциональность.
Простое приложение на Java. Файл build.gradle
Представленный выше файл build.gradle является примером сборки обычного Java-приложения в Netflix. В теле этого проекта мы видим команды Java и четыре плагина Gradle, три из которых являются или частью Nebula, или же внутренними настройками, связанными с ее плагинами. Плагин ‘nebula’ – часть Gradle, обеспечивающая связи и настройки, необходимые для интеграции с нашей инфраструктурой. Плагин ‘nebula.dependency-lock’ позволяет проекту создавать файл a.lock, который строит вариативные зависимости с возможностью повторения. Плагин ‘netflix.ospackage-tomcat’ и блок ospackage будут рассмотрены ниже.
При помощи Nebula мы пытаемся обеспечить многократно используемую и совместимую функциональность сборки, преследуя задачу уменьшить шаблонные обороты в каждом файле приложения. В следующем посте мы подробнее обсудим Nebula и её различные функции, код к которым открыт. А пока вы можете зайти на web-сайт Nebula.
Интеграция
После локального испытания кода при помощи Nebula мы можем перейти к интеграции и развёртыванию. Для начала мы должны запустить обновлённый исходный код в хранилище Git, так как при необходимости команды могут свободно найти его рабочий процесс.
После подтверждения изменения срабатывает функция Jenkins. Наше использование Jenkins для непрерывной интеграции развивалось годами. В нашем ЦОД мы начали всего с одного массивного master Jenkins, но это вылилось в использование 25 masters Jenkins в AWS. В Netflix он используется для большого количества автоматизированных задач, которые сложнее простых непрерывных интеграций.
Задача Jenkins – вызвать Nebula для создания, тестирования и подготовки к развёртыванию кода приложения. Если репозиторий становится библиотекой, Nebula опубликует *.jar в нашем репозитории. Если репозиторий является приложением, то Nebula запустит плагин ospackage. Плагин ospackage (“operating system package”) представит созданный артефакт приложения в виде Debian или RPM пакете, содержание которого определяется при помощи простого DSL, основанного на Gradle. Затем Nebula опубликует Debian-файл в репозиторий пакетов, где он станет доступным для следующего этапа: «выпечки».
«Выпечка»
Примечание: Под «выпечкой» и «пекарней» подразумевается аналогия с процессом выпечки в реальной жизни: рецепт, последовательность, соблюдение необходимых условий. Автору оригинала очень нравится данный оборот и он будет использовать его в дальнейшем достаточно часто. К сожалению, русскоязычного аналога по вкладываемому в эти слова смыслу я не нашел.
Наша стратегия развертывания сосредоточена вокруг неизменности паттерна сервера. Для снижения вероятности дрейфа конфигурации и для уверенности в том, что повторения развертываний происходят из одного источника, файлы крайне не рекомендуется модифицировать вручную. Каждое развертывание на Netflix начинается с создания нового AMI (Amazon Machine Image). Для формирования файлов AMI прямо из источника мы создали «Пекарню»
«Пекарня» создаёт API, что невероятно облегчает создание AMI. Затем API службы Пекарни по расписанию «готовят» задания для рабочих узлов, которые используют Animator для создания изображений. Для вызова функции «выпекания» пользователь должен объявить установку нужного пакета и базовый образ, на который этот пакет и будет установлен. Он то (базовый AMI) и обеспечивает работу настроенной с общими конвекциями, услугами и инструментами среду Linux, необходимой для полной интеграции с более крупной частью экосистемы Netflix.
Когда Jenkins успешно выполнил свою часть работы, он, как правило, вызывает «Spinnaker pipeline». Они могут быть вызваны действиями «Jenkins» или фиксацией Git. «Spinnaker» прочтёт пакет операционной системы, сгенерированные «Nebula», и обратится к API «Пекарни», чтобы начать работу.
Применение
После завершения «выпекания» Spinnaker способен развернуть полученный в итоге AMI до десятков, сотен и даже тысяч экземпляров. Тот же самый AMI можно использовать в нескольких средах пока в это же время Spinnaker выявляет среду выполнения для конкретного экземпляра, что позволяет приложениям самостоятельно настраивать время своего выполнения. Успешное «выпекание» запустит следующий этап работы «Spinnaker pipeline» — резвертывание в тестовой среде.
Тут команды начинают деплой, используя при этом целую «батарею» автоматизированных тестов интеграции. С этого момента специфика «pipeline» делает процесс развёртки зависимым от людей с возможностью тонкой настройки. Команды используют «Spinnaker» для управления несколькими областями развертываний, красными / черными внедрениями и многим другим. Достаточно будет сказать о том, что «Spinnaker pipelines» обеспечивают команды гибким инструментарием для контроля развёртки кода.
Предстоящий путь
В целом эти инструменты дают высокий уровень производительности и автоматизации. Например, потребуется всего 16 минут для того, чтобы «Janitor Monkey», наш облачный сервис устойчивости и технического обслуживания, прошел путь от окна регистрации до мульти-региональной развертки.
Spinnaker «выпекает» и развёртывает pipeline, вызванную Jenkins.
Это говорит о том, что мы всегда ищем способы повысить опытность разработчиков и постоянно бросаем сами себе вызовы – делать лучше, быстрее и проще.
Нас часто спрашивают, как мы справляемся с бинарными зависимостями в Netflix. Nebula предоставляет нам инструменты, ориентированные на облегчение зависимостей Java. Для примера возьмём плагин dependency-lock, который помогает приложениям просчитывать всю их графику бинарных зависимостей и создает вариативный файл a.lock. Плагин «resolution rules» для Nebula позволяет создавать правила зависимостей для всего проекта, которые влияют на все его части. Эти инструменты помогают сделать управление двоичными зависимостями проще, но все равно не позволяют снизить показатели до приемлемого уровня.
Также мы работаем над снижением времени «выпекания». Не так давно 16 минут на развертывание казались мечтой, но с повышением быстродействия других частей системы эта мечта превратилась в потенциальное препятствие. Для примера возьмем развёртывание Simian Army: процесс «выпечки» занял 7 минут, что составляет 44% от всего процесса «выпекания» и развертывания. Мы обнаружили, что ведущими (по времени) в процессе выпечки являлись установка пакетов (включая разрешение зависимостей) и сам процесс копирования AWS.
По мере роста и развития Netflix повышается спрос на его сборку и инструментарий развертки, так как нужно обеспечивать первоклассную поддержку JavaScript/Node.js, Python, Ruby и Go без виртуальной машины. Сейчас для данных языков мы можем порекомендовать плагин Nebula ospackage, который позволяет получить Debian-пакет для последующей «выпечки», оставляя сборку и тестирование инженерам и инструментарию используемой платформы. Пока это решение подходит для нас, но мы пытаемся расширять наш инструментарий для снижения зависимости от конкретных языков.
Контейнеры представляют собой интересную возможность решения двух последних задач. Сейчас мы исследуем, каким образом контейнеры могут помочь улучшить наши процессы сборки, «выпекания» и развёртывания. Если мы сможем создать локальную контейнерную среду, которая в точности имитирует наши облачные среды, потенциально мы смогли бы уменьшить время «выпекания», необходимое для циклов разработки и тестирования, тем самым повысив производительность труда разработчиков и ускорив процесс развития продукта в целом. Контейнер, который можно было бы развернуть локально «из коробки», снижает когнитивную нагрузку и позволяет нашим инженерам сфокусироваться на решении поставленных задач и инновациях, вместо того, чтобы проверять, не появилась ли какая-нибудь ошибка из-за различия сред.
Как работает Netflix
Успех «Нетфликса» обеспечили высокие технологии, но за ними стоит целая философия, которая сделала эту философию эффективной. Систему, которая заставляет миллионы людей одержимо кликать по красно-белым кнопкам, легко отказываясь от многолетней традиции просмотра фильмов в кино, а сериалов по ТВ.
Привет! С вами Ефим Гугнин! И сегодня мы постараемся разобраться, как работает Netflix. А для этого нам придётся немного отмотать время назад.
1997 год. Интернет только-только набирает популярность и пока связывает жалкие 10 миллионов компьютеров.
Все сериалы и фильмы люди смотрят в кино, по кабельному либо эфирному ТВ, ну или заказывают видео в прокате. В это непростое время 37-летний Рид Хастингс, бывший военный и работник Корпуса мира, а ныне компьютерный инженер и предприниматель, решается на авантюру.
Вместе со своим другом Марком Рэндальфом: он открывает бизнес по аренде DVD-дисков и называет компанию Netflix.
Почему авантюру? Во-первых, рынком видеопроката почти единолично правит «Блокбастер», который явно не спешит оставлять лидирующие позиции; во-вторых, на момент запуска Netflix формат DVD существует всего несколько месяцев, его коммерческий успех неочевиден, и большинство семей до сих пор пользуется VHS-кассетами. Ну и, наконец, вместо того, чтобы дать клиентам по старинке арендовать фильмы в видеопрокате, Хастингс решает работать исключительно через интернет и доставлять диски на дом.
И хотя сейчас это кажется обыденным и по всем параметрам комфортным решением, многие бизнесмены в 1997-м его откровенно не понимали: мол, а зачем клиенту лазить по какой-то сети и заказывать диски домой, если он может просто встать с дивана до ближайшей точки «Блокбастера», которые в тот момент были буквально везде.
Но в отличие от них, Хастингс понимал очень простую, но важную для наступающего цифрового века истину: люди не любят вставать с дивана.
А знаете, что люди любят ещё меньше, чем вставать с дивана? Заполнять бумаги, подписывать договоры, рассчитывать расходы на курьеров и почту, нервно отмечать дни в календаре, чтобы не дай бог не просрочить аренду диска и получить сверх обычной платы несоразмерно большой штраф.
Все эти мелкие, вроде как обязательные неприятности, на которые другие компании попросту не обращали внимания, принимая их как должное, «Нетфликс» хотел минимизировать до простейшего набора действий: кликнул – получил – посмотрел – отправил обратно.
Всю бумажную волокиту «Нетфликс» взял на себя, а в 1999 году ещё и сменил одноразовую аренду на ежемесячные безлимитные подписки. Теперь клиент при всём желании не мог просрочить аренду диска. Разве что украсть его, чем, как ни странно, в девяностые-нулевые преступники активно промышляли.
Идею безлимитной подписки многие встретили, мягко говоря, скептично. Аналитики предвещали, что система окажется убыточной, и не только из-за вероломных «дисковых крадунов». Ведь клиенты при желании могут арендовать столько фильмов, что те попросту превысят стоимость подписки.
Сделать это было не так уж сложно, тем более что доставка у «Нетфликс» работала достаточно быстро. Вместо того, чтобы, как другие компании, отправлять всё из центрального офиса, Хастингс дальновидно расположил отделения по всей Америке, а позже и в Канаде, чтобы человек из любого штата мог получить диски в кратчайшие сроки.
И в этот раз опасения скептиков, кажется, почти оправдались: некоторые клиенты действительно превышали этот неписанный лимит. Против таких отчаянных домашних «синефилов», впрочем, скоро придумали систему защиты, не особо честную, но абсолютно законную – известна она как Throttling.
Суть её в следующем: если на складе «Нетфликса» оставалась одна копия, скажем, «Людей в чёрном», а заказали картину сразу два клиента, то посылку отправляли тому, кто арендует реже. А второму приходилось ждать, пока придёт посылка из другого отделения «Нетфликса».
Но даже эта система не спасла компанию от убытков: к 2000 году «Нетфликс» начал понемногу терять прибыль. В какой-то момент компанию попытались даже купить владельцы «Блокбастера». К соглашению так и не пришли. В «Блокбастер» не согласились с выставленной Хастингсом ценой в 50 миллионов долларов и совершили, конечно, роковую ошибку.
Впрочем, одной быстрой доставки и безлимитной подписки было мало, чтобы занять прочную позицию на переполненном рынке видеопроката, да и с началом 2000-х у «Нетфликса» появились конкуренты, которые осваивали интернет и дистанционное общение с клиентами. Даже консервативная «Блокбастер» в один момент запустила собственную службу доставки.
Так что же выделяло «Нетфликс» на их фоне? В первую очередь, контент. Конкуренты «Нетфликса» не сильно-то задумывались над библиотекой фильмов.
У тех же «Блокбастер» целых 70% каталога состояло из новых релизов.
У «Нетфликс» – всего лишь 30.
Остальное – кино любых годов и жанров, от немой классики до странного «грайндхауса». Компания стремилась охватить любые вкусы, включая самые специфические, и постоянно расширяла библиотеку. Если на момент старта в их каталоге было всего 952 картины, а больше тогда на DVD и не существовало, то к 2005-му число возросло до 35 000.
Но главное, что отличало «Нетфликс» – это алгоритмы. Сложная цепь микросервисов и маленьких независимых программ для подстройки сайта под каждого конкретного пользователя. Они подбирают те фильмы и сериалы, которые с большей степенью вероятности понравятся клиенту, чтобы тот возвращался снова и снова.
По сути это цифровая замена тех самых бедных скучающих работников проката, которые пытались расшифровать путаные желания клиентов.
Первый такой алгоритм, Cinematch, удачно подбирал в 75 % случаев. Удачно в том смысле, что рекомендуемый фильм получал ± пол балла от оценки фильма, на основе которого выпала рекомендация.
Cinematch принимал во внимание сразу несколько факторов: первое – сами фильмы, отсортированные по жанрам, годам выпуска, режиссёрам и актёрам; второе – рейтинги отдельного клиента, список его арендованных фильмов и тех, которые он поставил в очередь; и наконец, третье – общий рейтинг всех пользователей «Нетфликс».
Эта система помогла Cinematch избегать банальностей типа, если вы поставили «Криминальное чтиво» и поставили ему высокий балл, то вам порекомендуют «Бешеных псов». Cinematch выстраивал куда более далёкие параллели на основе оценок других пользователей и часто выдавал совсем не очевидные результаты.
Работает это так: допустим, вы заказали и высоко оценили «Криминальное чтиво»; Cinematch находит других людей, которые тоже поставили высокую оценку «Криминальному чтиву»; дальше Cinematch выясняет, каким ещё фильмам эти люди ставили высокую оценку и, например, внезапно обнаруживает, что сразу несколько людей ставили высокую оценку «Бэйбу четвероногому малышу».
Оно сопоставляет количество этих людей и высчитывает вероятность, с которой вам лично может понравиться «Бэйб». Закончив, продолжает цепочку, связывая воедино всё больше, казалось бы, не очень-то похожих друг на друга фильмов. Cinematch с одинаковым успехом мог посоветовать классику, блокбастеры и независимое кино, не ограничиваясь в рекомендации только популярными фильмами.
Конечно, он основан на сухой математике. Но, в отличие от других подобных систем, которые зациклились на популярных именах и жанровой принадлежности, он скорее имитирует что-то вроде сарафанного радио, цепи совершенно живых рекомендаций от людей с похожими вкусами.
И, согласно статье «Нью-Йорк Таймс», эта система привела к тому, что люди по всей Америке стали уделять гораздо больше внимания независимым релизам, в том числе и тем, что не собрали больших денег в кинотеатрах.
Например, считается, что именно «Нетфликс» спас фильм «Разговор» Фрэнсиса Форда Копполы от забвения. Его невозможно было найти в магазинах видеопроката и по ТВ его не крутили.
Но Рид Хастингсу 75% было мало.
Он вообще не из тех, кто соглашается на «достаточно хорошо», и в 2006 году «Нетфликс» запустила конкурс на создание новой системы рекомендаций с призовым фондом в 1 миллион долларов.
В 2009-м приз выиграла команда BellKor`s Pragmatic Chaos – их алгоритм работал лучше Cinematch на целых 10%.
Сейчас алгоритм «Нетфликс» работает не только с оценками пользователей, людей с похожими вкусами, но и его демографическими данными – полом, расой, местом жительства. Причём подстраивает под клиента «Нетфликс» всё, вплоть до афиш своих фильмов и сериалов.
Так, недавно, портал «Скайньюс» поднял скандал: они заметили, что «Нетфликс» показывает темнокожим пользователям специальные адаптированные постеры, в которых темнокожих героев выводят на первый план, даже если в самом фильме они играют очень второстепенные роли.
Соответственно, чем больше вы пользуетесь «Нетфликсом», тем больше данных о вас собирает сайт и тем персонализированнее выглядит его главная страница. Жутковато? Пожалуй. Но, видимо, работает.
В 2007-м «Нетфликс» анонсировал бета-тест The Watch Now – нового сервиса, предлагающего клиентам просмотр фильмов в формате онлайн-стриминга вместо аренды DVD-дисков. Это прямой предок того «Нетфликса», каким мы его знаем сейчас. В отличие от многих конкурентов, которых популярность интернета поставила в тупик и привела к банкротству, как случилось с теми же «Блокбастер», «Нетфликс» был готов к переменам.
Ради того, чтобы упростить процесс просмотра и создать систему рекомендаций, «Нетфликс» с самого начала использовал возможности цифровой эры. Вставать с дивана теперь не нужно даже для того, чтобы принять доставку.
Пункты выдачи по всей Америке эволюционировали в сети серверов, которые быстро передают фильмы из огромного каталога в любую точку земного шара, и всё это в высочайшем разрешении.
Продвинутые алгоритмы ежесекундно составляют миллионы рекомендаций, чтобы клиенты ну никак не смогли остановиться и смотреть, и смотреть, и смотреть, и смотреть, и смотреть…
С 2013-го «Нетфликс», которые уже имели опыт создания оригинальных фильмов, начали производить для своего сервиса оригинальный контент. Первым сериалом, гордо нёсшим на себе плашку Netflix Original, стал «Карточный домик», адаптация одноимённого сериала BBC 1999 года.
Выбор, кстати, тоже частично основанный на сухой математике: всё дело в том, что оригинальный британский мини-сериал был очень востребован пользователями «Нетфликса». В 2015-м «Нетфликс» начал сотрудничество с «Марвел», которое, правда, уже закончилось. В 2016-м после ребрендинга компания, наконец, вышла за пределы континента и начала работу в 150 странах по всему миру.
В 2017-м «Нетфликс» выкупил издательство Millarworld Марка Миллара, автора комиксов «Пипец» и «Кингсмен». В 2018-м заключил сделку с «Парамаунт» на создание совместных фильмов и в этом же году получил первую номинацию на лучший фильм на «Оскаре» за «Рому» Альфонсо Куарона. В 2019-м, совсем недавно, «Нетфликс» подписал договор с Dark Horse на создание сериалов по мотивам из комиксов.
Очевидно, компания не собирается сбавлять обороты: с 2013 года они выпустили 249 фильмов и более 400 сериалов, не считая тех, права на которые они купили уже после производства. В их планах – в десятки раз больше, в том числе новые фильмы Мартина Скорсезе, Рона Ховарда, Чарли Кауфмана, Зака Снайдера, Ноа Бомбака и, внезапно, Майкла Бэя.
Конечно, у «Нетфликс» всё ещё множество нерешённых проблем: странная региональная политика, при которой клиенты в странах типа России платят столько же, сколько и в США, но получают в десятки раз меньшую библиотеку фильмов и сериалов; большое количество откровенно проходного контента, особенно среди полнометражных фильмов; наконец, не сильно адекватное отношение к кинотеатральному прокату – всё-таки обидно, что ту же «Рому» и «Ирландцы» Скорсезе не посмотреть на большом экране за пределами США.
Но отрицать, что «Нетфликс», как и его стриминговые конкуренты, вроде Amazon Prime и Hulu, навсегда изменили кино- и сериальную индустрию, бессмысленно. Контента стало в десятки раз больше, конкуренция увеличилась, маленькие авторские фильмы, наконец, получили дорогу в обход кинотеатров, которые давно захватили большие блокбастеры. Сериалам теперь необязательно ждать, когда их эфирное и кабельное начальство выдаст им адекватное место в сетке кинопоказа.
Да и их влияние не ограничивается творческой частью кинопроцесса. «Нетфликс», опять же, по причинам сугубо маркетинговым, несколько лет двигает техническую часть киноиндустрии вперёд. Так, в 2018 году компания запретила авторам, снимающим для неё оригинальный контент, использовать камеры «Арри Алекса» (на секундочку, самые популярные в Голливуде).
А всё потому, что максимально она поддерживает разрешение в 3,2К, а «Нетфликсу» по стандарту необходимо все 4К. После долгих препирательств и скандалов ARRI выпустили новую камеру с сенсором в 4,5К.
«Нетфликс» даже обязывает своих авторов использовать технологии HDR и Dolby Atmos, а недавно компания запустила программу по развитию технологий съёмки Netflix Post Technology Alliance. Теперь все инструменты, от камер до софта, которые соответствуют стандартам компании, могут использовать их логотип.
Остаётся лишь наблюдать, куда прогресс заведёт искусство на этот раз. Может, всё авторское кино скоро совсем уйдёт из уютных зало кинотеатров на стриминговые сервисы. Может, стриминги положат конец затянувшейся эре блокбастеров в кино.
А может, случится что-то другое… Но случится точно. В 2019 году количество зрителей «Нетфликса» впервые с нулевых начало падать, и компания явно не собирается просто сидеть и наблюдать.
В конце концов, сидеть и наблюдать – это наша, зрителей работа.