Я.Субботник по инфраструктуре

Как контролировать нагрузку в сотни тысяч rps с минимальными задержками? Рассказали - как мы сделали распределённый, но при этом локально работающий лимитер, который используем в нашем сторадже и других сервисах Яндекса.

Современный мир стремится к разделению. При этом в Яндексе мы используем Аркадию - полномасштабный монорепозиторий, где хранится код большинства наших проектов. В нем хранится 27 лет истории и больше 10Тб данных. Подробнее о монорепозитории - в докладе.

Начали мы с философии монорепозитория, ведь хранение всего кода в одном месте само по себе не приносит никакой выгоды. Нужно переиспользовать код, выделять общие библиотеки и утилиты. Нужно связывать проекты между собой по коду, а не по артефактам. Нужно поддерживать зеленый транк и полномасштабный CI/CD. Нужно ограничить использование языков и опенсорсных библиотек, чтобы избежать неуправляемого многообразия. Нужно выработать общие правила и стили написания кода. Нужно, чтобы разработчики и правда были готовы работать сообща и вносить правки в код других проектов. Нужны инструменты, дающие возможности эффективно работать с очень большой кодовой базой. Хотите узнать, как все это устроено в Яндексе? Послушайте доклад!

Поговорили про подходы и сложности построения инфраструктуры - как хранить конфиги в коде (IaC) и в чем разница между популярными инструментами. В конце посмотрели на решение, которое используется в Яндексе, и сравнили его с Terraform.

Поговорили о преимуществах эволюционного развития сети в публичном облаке: почему лучше строить сеть постепенно, а не сразу на все деньги.

Познакомили слушателей с программным продуктом компании Яндекс, вышедшим в OpenSource. YTsaurus является основной системой хранения и обработки данных в компании. В докладе дан обзор возможностей системы, рассмотрены ключевые особенности и сценарии использования.