На чем написан instagram backend
Почему Instagram работает на языке программирования Python
Instagram, принадлежащий Facebook, подробно описал свое решение для улучшения приложения таким образом, чтобы усилить преимущества Python и уменьшить языковые препятствия для производительности в крупных проектах.
За многочисленными селфи в Instagram стоит целая социальная сеть, принадлежащая Facebook, построенная на популярном языке программирования Python. Не малое количество людей смогли построить бизнес и сделать себе имя благодаря Instagram. Кто-то шел к успеху долго, кто-то быстро, но есть те, кто использовал и продолжает пользоваться разными программами, например crm для инстаграм, с целью повысить рентабельность бизнеса.
Как недавно выяснили инженеры Instagram, Instagram Server — серверное приложение для смартфонов, которое миллионы людей используют для обмена фотографиями друзей и себя — почти полностью работает на Python, третьем по популярности языке после Java и JavaScript.
Чтобы повысить производительность труда разработчиков, инженеры разработали инструменты с открытым исходным кодом, такие как Python.
Инженеры Instagram также создали инструменты разработчика, такие как LibCST, для анализа кода Python. Основная цель инженеров Instagram — максимально продуктивно работать с Python в больших масштабах, и они показали, как справляются со «слабыми местами» при использовании языка.
Компания планирует привлечь новых талантов, даже если программисты не обязательно являются экспертами Python, поэтому Facebook хочет объяснить кандидатам на программировании, как создаются инструменты, чтобы помочь им быть более продуктивными.
Facebook также хочет, чтобы разработчики, которым нравится использовать Python, были довольны, поэтому компания продвигает Python за его пределы. Вот почему инженеры Instagram разработали «строгие модули» для Python.
«Один разумный вывод может заключаться в том, что Python выходит за пределы того, для чего он предназначен. Он отлично работает для небольших команд на небольших кодовых базах, которые могут поддерживать хорошую дисциплину в отношении того, как его использовать, и мы должны перейти на менее динамичный язык» пишет Инстаграм инженер Карл Мейер. «Несмотря на некоторые уязвимые места, нам еще многое нравится в Python, и в целом нашим разработчикам нравится работать в Python. Мы должны выяснить, как мы можем заставить Python работать в таком масштабе и продолжать работать по мере роста».
Он объясняет, что Python великолепен, потому что вы можете вносить изменения и видеть результат без необходимости компиляции кода. «Но с несколькими миллионами строк кода (и беспорядочным графом зависимостей) это преимущество начинает портиться», — пишет он.
Запуск Instagram Server занимает до одной минуты, что приводит к критической задержке при тестировании новых функций и достаточно долго для того, чтобы разработчик отвлекся на другую работу и не выполнил задачу.
Несмотря на то, что Python позволяет ускорить разработку, существуют проблемы с его использованием в масштабах Instagram. «Поскольку импорт может иметь произвольные побочные эффекты, не существует безопасного способа постепенной перезагрузки сервера [в Python]. Независимо от того, насколько малы изменения, нужно начинать каждый раз с нуля, импортируя все эти модули, заново создавая все эти классы и функции, перекомпиляция всех этих регулярных выражений и т. д.» — пишет Мейер.
Проблемы Instagram с использованием Python в масштабе отражают некоторые трудности, которые Salesforce испытывает с его продуктом EinsteinAnalytics.
«Python отлично подходит для быстрого написания приложений высокого уровня, но не всегда обеспечивает высокую производительность, необходимую на уровне предприятия», — пояснил архитектор Salesforce.
Мейер описывает «строгие модули» как ответ Instagram на слабые стороны Python при использовании в крупномасштабных производственных средах.
«Строгие модули накладывают некоторые ограничения на то, что может происходить на верхнем уровне модуля. Весь код уровня модуля, включая декораторы и функции / инициализаторы, вызываемые на уровне модуля, должен быть чистым (без побочных эффектов, без ввода-вывода). Это проверено статически во время компиляции через абстрактный интерпретатор» — говорит он.
Инстаграм написан на Python? Как так?
Я слышал такого рода решения до жути не производительные
Производительность на клиенте и не нужна (в разумных пределах, конечно). Знаешь, если так думать, то и Java и C++ до жути не производительные в сравнении с ассемблером.
ну для начала php это серверный язык, который находится на сервере и отрабатывает все на сервере, и к клиентскому приложению вообще никакого отношения не имеет. Другое, каждое приложение написано своим языком в зависимости от ОС для которой оно написано. Андройд котлин, джава. iOS/MacOS свифт, obj-C. windows С#. все передается через json, а вообще да тут посоветовали почитать про
«Тебе стоит почитать про клиент-серверную архитектуру. Сервер может быть написан хоть на чём.» в том числе и на C++ и на PHP и на Python’e, как и клиент
Иван василичь,
Вероятно вы далеки от разработки.
Т.к. не заметили, что комментарий древний (2014г. (upd) если не ошибаюсь).
И ответ был до системы комментариев, но вам то это не известно.
Когда я писал данный комментарий, в моем портфеле было с десяток приложений для андройда.
В целом, на тот момент, я занимался программирование 13 лет.
ответ был на конкретный вопрос, если он устарел то и отвечать в принципе не надо,
Так и я про то же. Зачем вы занялись некромантией?
Да еще и в комментариях к моему комментарию.
Единственный тип уведомлений который оставил :\
Какие языки программирования нужны веб-разработчику в 2021 году
Рассказываем, почему кроме HTML и CSS разработчикам нужны языки программирования и какие из них актуальны в 2021 году.
Статичный сайт можно написать легко: берём язык разметки HTML и каскадные таблицы стилей CSS. Но если вам нужен проект со сложной логикой и интерактивом — например, интернет-магазин или веб-приложение с базами данных, API и авторизацией, — понадобятся языки программирования.
Веб-приложения состоят из двух больших частей:
Фронтенд (англ. frontend) — то, что пользователь видит на экране и с чем может взаимодействовать: страницы сайта, меню, кнопки, поля ввода и другие части интерфейса. Чаще всего для фронтенда используют HTML, CSS, язык JavaScript и связанные с ним фреймворки — React.js, Angular и Vue.js.
Благодаря тому, что фронтенд связан с бэкендом, пользователи могут регистрироваться, добавлять товары в корзину, оплачивать заказы, публиковать комментарии, смотреть видео и делать всё остальное, чем мы занимаемся в интернете.
Программист, консультант, специалист по документированию. Легко и доступно рассказывает о сложных вещах в программировании и дизайне.
Языки для фронтенд-разработчиков
Основной стек фронтенд-разработчика — HTML, CSS и JavaScript. HTML (HyperText Markup Language) — это основа разметки веб-страниц. С его помощью создают абзацы, заголовки и гиперссылки, добавляют изображения и другие объекты.
HTML-код объясняет браузеру, что отобразить на странице. У каждого элемента есть свой тег, заключённый в скобки.
Вот пример HTML-кода:
HTML — только каркас, в нём нет инструкций о расположении, цветах и поведении элементов
CSS — язык разметки стилей. Он позволяет установить размеры отступов, выбрать нужный шрифт и стиль текста, настроить цвет фона, прозрачность элементов и другие параметры.
Добавим в предыдущий пример CSS-разметку:
CSS-разметка отвечает за то, как страница выглядит в браузере
JavaScript — язык, который помогает создавать всплывающие окна, динамические стили и анимации, делать так, чтобы при нажатии на кнопку отправлялась форма или происходило другое действие.
Пример ниже — скрипт, который меняет цвет текста, если пользователь щёлкнет курсором по абзацу.
Вот как он работает на практике:
Языки HTML, CSS и JavaScript — основной стек для фронтенд-разработчика. Но и бэкендерам тоже нужно в них разбираться, чтобы понимать, как устроен сайт.
Русскоязычные фронтендеры общаются в группе «Типичный верстальщик» и в чате для джуниоров и мидлов.
Популярные языки для бэкенда
Языки для бэкенда выбирают в зависимости от масштаба проекта и его задач. Например, банк, скорее всего, выберет Java, а стартап из сферы машинного обучения — Python. Дальше вы узнаете почему.
Мы расскажем про шесть популярных серверных языков из списка TIOBE.
PHP — ветеран веб-программирования
PHP создали в 1995 году как язык для веб-разработки. На нём написано почти 79% сайтов. PHP поддерживает MySQL, MS SQL, Oracle Database, PostgreSQL, MongoDB и другие базы данных. IDE для PHP можно установить на Windows, macOS и Linux.
На PHP написан движок Wikipedia и значительная часть Facebook, на фреймворке Symfony создан бэкенд BlaBlaCar.
Пример кода на PHP. Источник: Skillbox Media
У языка много бесплатных библиотек и фреймворков (Laravel, Yii, CodeIgniter), есть большое сообщество — например, PHP Community и LaraChat. По PHP много обучающих материалов для новичков, поэтому освоить язык и начать кодить несложно.
Java — язык для корпораций
Этот язык часто используют крупные компании из сферы BigData и финансов. Java востребован у банков, страховых фирм и розничных сетей. Например, свои системы на нём разрабатывают Deutsche Bank, Citigroup и Goldman Sachs Bank. На Java написана серверная часть сайтов Amazon, eBay, PayPal, Adobe и Oracle.
Вот так выглядит код на Java, который открывает большой текстовый файл и превращает каждую строку в набор из 50 записей, разделённых запятыми:
Пример кода на Java. Источник: raygun.com
В Java код комплексный, со множеством слов и знаков: на английском такой синтаксис называют словом verbose, то есть «говорливый», многословный код. Он может быть сложноват для новичков, хотя многие разработчики чувствуют себя комфортнее со строгим синтаксисом.
На Java пишут мобильные приложения для Android и игры для ПК, пример — знаменитая Minecraft.
У этого языка много библиотек и фреймворков (например, Spring, PrimeFaces и Dropwizard). Для работы с вебом есть сервер приложений Apache Tomcat, который предоставляет среду для выполнения Java-кода.
C 2019 года коммерческое использование Java SE стало платным. Но деньги берут только за сборки Oracle JDK. Сборки OpenJDK остаются бесплатными.
Java-разработчики общаются в русскоязычных чатах Java & Co, learn.java и pro.jvm.
Python — язык для машинного обучения
Python создал голландский программист Гвидо ван Россум, за основу он взял наработки из ABC. В результате получился язык с читаемым кодом и широкими возможностями.
У него простой и понятный синтаксис, и новички часто выбирают его в качестве своего первого языка программирования. Пример ниже выполняет ту же задачу, что и код из раздела про Java — разбивает крупный текстовый файл на элементы:
Пример кода на Python. Источник: raygun.com
У синтаксиса в Python простая, ясная структура, он хорошо читается, и его можно даже назвать интуитивным.
Python используют в веб-разработке, в машинном обучении, анализе больших данных и научных исследованиях, на нём пишут компьютерные игры, приложения для Windows, Linux, macOS, Android и других операционных систем. У языка много фреймворков, известнее всех — Django.
На Python и Django написана серверная часть Instagram и основной код YouTube и Reddit. В своих научных вычислениях язык используют NASA и Fermilab.
У Python есть русскоязычные чаты с парой десятков тысяч участников: Python beginners, rupython, pro.python и Python.
Go — язык «сусликов»
Go (Golang) — язык, который разработали в Google. Он подходит для бэкенда веб-приложений и других проектов — например, на нём написаны Docker, InfluxDB и Kubernetes.
В Go программа может выполнять несколько строк одновременно — это называется «горутиной». Чтобы превратить функцию в горутину, нужно добавить перед ней go.
Пример кода на Go. Источник: Skillbox Media
В языке Go авторы попытались объединить лёгкость разработки на Python и скорость исполнения программ на C и C++.
Go — кроссплатформенный язык, на нём пишут программы под Windows, macOS, Linux и другие ОС. Это опенсорсный проект, поэтому исходный код и компилятор доступны бесплатно. У языка есть фреймворки, самые популярные из них — Gin, Beego и Echo.
Из-за лаконичного синтаксиса Go проще освоить, поэтому его рекомендуют студентам и школьникам. Go-разработчики называют себя гоферами (от англ. gopher — суслик), поэтому суслик — талисман языка.
Go — надёжный и быстрый, и поэтому он становится всё популярнее. Сервисы на этом языке уже пишут Dropbox, Yahoo! и eBay.
Пообщаться с Go-разработчиками и получить помощь можно в русскоязычных чатах Go-go! и GOLANG, англоязычном Go Forum, в группе golang-nuts и в сообществе Gophers в Slack.
C# — язык от Microsoft
Microsoft создала C# как язык для разработки под Windows. У него много общего с Java и С. На С# пишут сайты, игры, мобильные и веб-приложения. Например, на нём написан движок Unity. Язык используют Google, Siemens, Deutsche Bank и другие компании.
Пример кода на C#, который рассчитывает факториал числа:
Пример кода на C#. Источник: Skillbox Media
В C# используется императивная (англ. imperative — приказ, повелительное наклонение) парадигма. В ней программист пишет инструкции для компьютера, то есть отдаёт ему приказы. Чтобы делать это было удобнее, используются объекты — это называется объектно-ориентированным программированием.
Пообщаться с другими C#-разработчиками можно в русскоязычном чате DotNetRuChat, в «Библиотеке шарписта» и чате по С#.
Ruby — язык для человека, а не для компьютера
Автор Ruby, японский программист Юкихиро Мацумото, стремился создать язык для человека, а не для компьютера. Он сделал так, чтобы даже новичкам было просто писать и читать код на Ruby. Язык полностью основан на объектно-ориентированном программировании.
Ruby лаконичный и гибкий. Например, если вместо оператора + вы хотите пользоваться словом plus, можно добавить новый метод в класс Numeric:
В этом языке несложно переназначить даже существующие операторы, чтобы + или – выполняли другие задачи.
Ruby стал популярным благодаря фреймворку Ruby on Rails, на котором пишут фронтенд и бэкенд для веб-приложений. На Ruby написан бэкенд Twitter, GitHub и других ресурсов.
Вывод: какие языки должен знать
веб-разработчик
Чтобы верстать UI, фронтенд-разработчики обязательно изучают HTML, CSS и JavaScript. Бэкенд-специалисту нужно добавить к этому один или несколько других языков программирования — например, PHP, Java, Python, Go, C# или Ruby.
API — это набор правил, по которым разные приложения могут общаться между собой. Простая аналогия: зная, какой язык имеет статус государственного в определённой стране, вы сможете получать информацию от её жителей (например, спрашивать, как пройти в библиотеку и сколько стоит хлеб).
Java SE — стандартная версия Java от Oracle.
Самые популярные языки программирования бэкенда: для чего они подходят лучше всего и какие компании их используют
Что такое бэкенд, на Хабре рассказывать не нужно, поэтому сразу переходим к сути статьи. В ней рассказывается о наиболее подходящих для бэкенда языках программирования. Кроме того, автор рассказывает о задачах, для решения которых эти языки идеально подходят и компаниях, которые используют их у себя.
Сложно сосчитать количество статей на Хабре, которые имеют отношение к этому языку. Это один из самых популярных языков программирования, который используется более 20 лет.
Универсальным он является благодаря виртуальной машине Java (Java Virtual Machine, JVM). Она позволяет коду на Java одинаково работать на всех совместимых платформах. JVM — своеобразная прослойка, в которой Java-программа преобразуется в код, который может выполняться на любой машине.
Несмотря на то, что Java чрезвычайно популярна среди разработчиков ПО, она сложнее для новичка, чем, скажем, Python. Тем не менее, у Java огромное сообщество, которое даст ответ практически на любой вопрос новичка или профессионала.
Что вы можете делать на Java
На PHP работает около 78.2% всех веб-сайтов. Язык впервые был представлен в 1995 году, когда для создания динамических сайтов существовало не так много возможностей.
Поскольку это динамически типизированный язык, для одной проблемы можно найти сразу несколько решений. Правда, это одновременно означает и то, что один и тот же участок когда может вести себя по-разному в зависимости от конкретной ситуации, что делает программы на PHP сложно масштабируемыми и в некоторых случаях медленными.
79.1% сайтов, о бэкенде которых известно, используют PHP
Компании, которые используют PHP
А сколько получает PHP-разработчик?
.NET (C#, VB)
Основа языка — архитектурный шаблон MVC (Model-View-Controller). В этой схеме контроллер принимает запросы пользователя и взаимодействует с моделью для обработки данных. Потом результат уже передается в представление, отображаясь в виде интерфейса веб-страницы.
C# — высокоуровневый язык программирования, на котором можно писать софт, независимый от архитектуры процессора конкретного компьютера.
C# популярен среди разработчиков благодаря некоторым преимуществам С++. При этом на нем проще писать код, избегая ошибок, которые характерны для того же С++.
Это язык программирования, который использует графический пользовательский интерфейс для работы с кодом. Это простой язык для начинающих благодаря несложному синтаксису. В целом, чаще всего он используется для прототипирования.
Недостаток VB — большой объем памяти, который необходим для установки и запуска инструментов разработки.
Ruby on Rails — веб-фреймворк на языке программирования Ruby. У него есть целый набор готовых инструментов, которые дают возможность быстро выполнять базовые задачи.
Это лаконичный язык, который не требует много года для бэкенда. Так что разработчики могут быстро создавать и запускать приложения. Также он идеален для прототипирования — примерно так же, как и Python. В начале 2000-х популярность Ruby выросла, но затем снизилась.
Достоинство Ruby в том, что это открытый язык, так что он может быть модифицирован и дополнен.
Python
За последние несколько лет он стал чрезвычайно популярным языком программирования. Язык универсален и используется как для веб-разработки, так и для создания настольных приложений. В интернете есть огромное количество различной информации об этом язык, так что он неплохо подходит для начинающих.
Более того, синтаксис языка простой и понятный, по сравнению с другими бэкенд-языками. Те, кто программирует на Питоне, говорит о коде, как об «элегантном», «читаемом» и «красивом».
Что можно делать на Python
JavaScript
Этот язык можно использовать как для фронтенда, так и для бэкенда. Это отличный язык для новичков. В нем относительно простые настройки, а код можно писать прямо в браузере.
Правда, именно из-за гибкости языка скрипты, написанные на нем, порой работают очень медленно. Кроме того, их сложно как поддерживать, так и масштабировать, как и в случае с другими динамически типизированными языками.
При этом сообщество у языка просто огромное, в Сети большое количество материалов для изучения.
Что можно делать на JavaScript
Языки, на которых пишут разработчики, принявшие участие в опросе Stack Overflow
Комментарий эксперта
Даниил Пилипенко, директор центра подбора IT-специалистов SymbioWay и евангелист бэкенд-направления онлайн-университета Skillbox, дополнил перевод экспертным мнением о востребованности самой специальности “бэкенд-разработчик”.
Спрос на разработчиков последние 20 лет продолжает постоянно расти: каждый год количество вакансий разработчиков увеличивается примерно на 15%. При этом количество самих программистов растет не более, чем на 5% ежегодно. Это приводит к постоянному росту дефицита и, соответственно, зарплат этих специалистов.
Найти хороших и сильных разработчиков становится всё сложнее. Если вы решили создать какой-то проект, лучше выбирать наиболее популярные в настоящее время технологии и языки программирования.
Часто встречаю проекты, на которых в качестве основных технологий выбирают что-нибудь очень редкое вроде Go, Erlang или Flutter, и потом месяцами не могут найти разработчиков.
Как уже было сказано в статье, самые распространённые сейчас языки для backend-разработки — это Java (для крупных решений), PHP (для веб-сайтов) и Python (для небольших веб-решений и научных задач). В случае выбора этих технологий вы сможете относительно быстро находить сильных специалистов, расширять команду и заменять тех, кто выгорел или ушёл. Благодаря этому ваш проект сможет не только появиться на свет, но и вырасти.
Насколько хорошо backend разработчик должен разбираться в Linux?
Пересидел на винде, поставил сейчас убунту. Решил подтянуть свои знания в этой ОС. Что мне следует изучить, что повысить качество своей работы, а так же, чтобы было плюсом при дальнейшем трудоустройстве?
При этом, не очень люблю ковыряться в системе, больше люблю код писать.
Когда захожу на какой-нибудь ЛОР, начинает казаться, что я безмерно тупой — там тебе каждый и ядро пересобирёт, и проблему любую решит без гугла, и код пишет только в vim/emacs, и, вообще, некоторые диалоги там даже не понятны 🙂
Простой 4 комментария
Мое мнение — и так сойдет, с консолью дружишь и главное. Я работаю только на Линуксе, но тоже не дальше ушел — не сисадмин же, единственное аналитику нагрузки подтянуть нужно: ps/top/htop/atop
Для бекендера нужно знать по больше же пользование командами определенного софта: docker, git, консольные команды фреймворков
собирать из исходников нужно в очень редких случаях, на сколько редких, что знать как это делается вообще не нужно. Так что можно смело отмести этот навык.
Для бекендера надо уметь устанавливать и настраивать тот софт с которым работаешь: nginx, apache, mysql, postgres, redis, mongodb и так далее.
Если работаешь с языком, у которого есть свой пакетный менеджер (npm, yarn, pip) нужно уметь установить его и разруливать ошибки при установке через эти пакетные менеджеры.
Например для python-pip требуются установленные компилятор и заголовочные файлы питона. Имею ввиду, что такие тонкости надо знать.
ssh само собой надо уметь настраивать, генерация ключей, настройка авторизации по ключу, копирование файлов scp.
git настраивать bare-репозитории чтобы заливать на сервер и там же разворачивать, при работе без сторонних сервисов типа github, bitbucket.