Pull to refresh
0
@DFoozread⁠-⁠only

User

Send message

50 самых интересных клавиатур из частной коллекции

Reading time20 min
Views31K

Уже совсем скоро благодаря Кикстартеру выйдет книга, посвящённая клавиатурам. Для тех, кто не имеет возможности её купить, предлагаем краткий обзор 50 клавиатур, которые есть в коллекции автора. Интересно? Тогда я продолжаю.

Будет много фото (специально вас предупреждаю).

Читать далее
Total votes 104: ↑103 and ↓1+102
Comments70

PostgreSQL под капотом. Часть 0. Старт программы

Reading time17 min
Views15K

Postgres - один из крупнейших open source проектов. Он создавался многие года. Кодовая база накопилась огромная. Мне, как программисту, всегда было интересно как он работает под капотом. Но не про SQL пойдет речь, а про язык на котором он написан. Про C. 

С общей архитектурой можно ознакомиться здесь

Для начала поймем, что происходит до входа в главный цикл сервера.

Читать далее
Total votes 24: ↑24 and ↓0+24
Comments2

Алгоритмы быстрого умножения чисел: от столбика до Шенхаге-Штрассена

Level of difficultyMedium
Reading time26 min
Views38K

При написании высокоуровневого кода мы редко задумываемся о том, как реализованы те или иные инструменты, которые мы используем. Ради этого и строится каскад абстракций: находясь на одном его уровне, мы можем уместить задачу в голове целиком и сконцентрироваться на её решении.

И уж конечно, никогда при написании a * b мы не задумываемся о том, как реализовано умножение чисел a и b в нашем языке. Какие вообще есть алгоритмы умножения? Это какая-то нетривиальная задача?

В этой статье я разберу с нуля несколько основных алгоритмов быстрого умножения целых чисел вместе с математическими приёмами, делающими их возможными.

Скорее к формулам!
Total votes 173: ↑173 and ↓0+173
Comments28

Мультитул для управления Хранилищем Данных — кейс Wheely + dbt

Reading time18 min
Views5.6K

Уже более двух лет data build tool активно используется в компании Wheely для управления Хранилищем Данных. За это время накоплен немалый опыт, мы на тернистом пути проб и ошибок к совершенству в Analytics Engineering.

Несмотря на то, что в русскоязычном сегменте уже есть несколько публикаций, посвященных применению dbt, всё ещё нельзя говорить о широкой популярности и интересе, которые продукт стремительно обретает на Западе.

Поэтому сегодня я предлагаю вам экскурсию по Хранилищу Данных Wheely. В формат публикации я попытался уложить самые яркие моменты и впечатления от использования dbt, снабдив реальными примерами, практиками и опытом. Добро пожаловать под кат.

Читать далее
Total votes 8: ↑8 and ↓0+8
Comments2

Вредные советы при построении Аналитики (Data Lake / DWH / BI) – чего стоит избегать

Reading time5 min
Views6.4K

Всем привет! На связи Артемий, со-автор и преподаватель курсов Data Engineer, DWH Analyst.

Последние месяцы я много занимаюсь рефакторингом кодовой базы, оптимизацией процессов и расчетов в сфере Анализа Данных.

Появилось желание в формате “вредных советов” обратить внимание на набор практик и подходов, которые могут обернуться весьма неприятными последствиями, а порой и вовсе дорого обойтись Вашей компании.

В публикации Вас ожидает:

- Использование select * – всё и сразу

- Употребление чрезмерного количество CTEs (common table expressions)

- NOT DRY (Don’t repeat yourself) – повторение и калейдоскопический характер расчетов

Читать далее
Total votes 12: ↑12 and ↓0+12
Comments2

Как кастомизировать стандартные страницы ошибок

Level of difficultyEasy
Reading time6 min
Views5.9K

Данная статья описывает утилиту для генерации статических страниц ошибок, используемых в качестве замены стандартным страницам. В статье подробно описаны возможности утилиты, среди которых шаблонизация, стилизация, локализация, генерация сниппетов для настройки сервера. Проект является Open Source, и открыт для новых идей и запросов.

Читать далее
Total votes 4: ↑3 and ↓1+2
Comments17

ETL и ELT: ключевые различия, о которых должен знать каждый

Reading time10 min
Views33K
image

ETL и ELT — самые широко используемые способы доставки данных из одного или нескольких источников в централизованную систему для удобства доступа и анализа. Обе этих методики состоят из этапов extract (извлечения), transform (преобразования) и load (загрузки). Разница заключается в последовательности действий. Хотя можно подумать, что небольшое изменение в порядке этапов никак не влияет, на самом деле для потока интеграции это меняет всё.

В этом посте мы подробно рассмотрим процессы ETL и ELT, а также сравним их по важным критериям, чтобы вы могли понять, какой лучше подходит для вашего конвейера данных.
Читать дальше →
Total votes 9: ↑6 and ↓3+3
Comments9

Как и почему мы внедрили Greenplum в КХД

Reading time6 min
Views6.1K

Привет, Хабр! Меня зовут Максим Солопин, в Росбанке я работаю архитектором корпоративного хранилища данных. В этом посте я расскажу о том, как мы переезжали из data lake, куда ежедневно сваливались все сырые данные, в удобную систему на основе Greenplum. А по дороге немного затрону развитие моделей корпоративных хранилищ данных.

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments2

PostgreSQL под капотом. Часть 4. Цикл бэкэнда

Reading time21 min
Views4.6K

Приветствую!

В прошлой статье была исследована входная точка бэкэнда до главного цикла. В этой статье закончим ее обзор исследованием главного цикла.

Кроме нее будут рассмотрены:

— Модуль для работы с транзакциями.

— Исключения в С и их реализацию.

— Клиент‑серверный протокол.

Читать далее
Total votes 7: ↑7 and ↓0+7
Comments1

Как защищают компьютерные игры от пиратов: с 80-х по настоящее время

Level of difficultyEasy
Reading time12 min
Views18K

Пиратство в компьютерных играх было серьёзной проблемой для игровой индустрии с момента её зарождения. С появлением персональных компьютеров и игровых консолей в 1980-х и 1990-х годах несанкционированное копирование и распространение компьютерных игр становилось популярнее. Это приводило к потере доходов разработчиков и издателей игр. В ответ на это разработчики игр и ИТ-компании начали принимать меры по защите от пиратства.

Рост онлайн-игр в 2000-х годах привёл к появлению новых проблем с точки зрения защиты компьютерных игр от пиратства. Steam и развитие интернета облегчили пиратам незаконное распространение игр. В ответ на это IT-компании и разработчики игр продолжали создавать новые методы защиты своих игр, включая технологию управления цифровыми правами (DRM) и антипиратское программное обеспечение. Несмотря на эти усилия, проблема пиратства компьютерных игр остаётся актуальной для индустрии. Развитие технологий и новых игровых платформ требовало и от пиратов придумывать новые способы обхода ограничений.

Читать далее
Total votes 33: ↑28 and ↓5+23
Comments124

Дизайн уровней. Учимся у Atomic Heart

Reading time5 min
Views19K

Atomic Heart стала одной их тех игр, которую я полюбил за переданную разработчиками атмосферу. Советская эстетика, культура, вся эпоха переданы просто безупречно. Прекрасная музыка, которую можно услышать чуть ли не на каждой локации. Большое количество агитирующих плакатов, памятников отдельным личностям, например, Ленину. Можно встретить и советскую архитектуру, хоть и 90 процентов архитектуры выполнено в ретро-футуризме. Но при прохождении было замечено несколько ошибок, которые смогли допустить дизайнеры при работе. Рассмотрим все, что было замечено.

Читать далее
Total votes 36: ↑23 and ↓13+10
Comments97

Репликация ClickHouse без костылей: ожидание и реальность

Reading time8 min
Views20K


Про ClickHouse есть много разной информации, но мало про то, как готовить инфраструктуру с ним. Мы потратили примерно полгода вялого набивания шишек, чтобы это заработало именно так, как нас наконец-то устраивает. Нужно было найти конфигурацию эффективную и в плане денег, и в плане работы базы как таковой.

На момент написания статьи хранилищем и результатами его работы пользуются 16+ команд (11+ аналитиков и 2 data scientist, 70+ разработчиков, руководители и менеджерский состав).

Ежесуточно в хранилище поступает ~1,2 ТБ данных, пользователи и автоматика для построения отчётности генерируют ~35 000 запросов в сутки на выборки различной сложности. Подробнее про наше хранилище и то, какие задачи для бизнеса им решаем, можно почитать по ссылке.
Читать дальше →
Total votes 35: ↑34 and ↓1+33
Comments13

Создание Data Lake и Warehouse на GCP

Reading time9 min
Views3.8K

Эта статья не будет технически глубокой. Мы поговорим о Data Lake и Data Warehouse, важных принципах, которые следует учитывать, и о том, какие сервисы GCP можно использовать для создания такой системы. Мы коснёмся каждого из GCP сервисов и поймём почему они будут полезны при создании Data Lake и Warehouse.

Прежде чем перейти к своей версии Data Lake и Data Warehouse, я хотел бы привести несколько известных архитектур, с которыми вы, возможно, уже знакомы, если интересуетесь этой темой. Архитектура, которую я бы предложил, будет более общей, чем эти: Cloud Storage as a data lake и Architecture: Marketing Data Warehouse.

В своей более общей версии Data Lake и Data Warehouse я расскажу о таких сервисах GCP, как Data Transfer Service, Dataproc, Cloud Storage, Cloud Scheduler, BigQuery, и Cloud SQL.

Читать далее
Total votes 5: ↑5 and ↓0+5
Comments7

Своя альтернатива Google Maps: хостим сервер OpenStreetMap

Level of difficultyMedium
Reading time7 min
Views13K

Зачем? Это странно...


Нет, не странно! Google Maps — это, наверно, самый потрясающий сервис, который мы получаем бесплатно [в обмен на свои персональные данные].

Я пользуюсь им почти каждый день, он невероятно полезен для ориентирования на местности.

Но что, если бы нам вообще не нужен был Google?

OpenStreetMap бесплатно предоставляет всему миру данные карт, собранные при помощи краудсорсинга. Но я не имею в виду, что можно просто воспользоваться OSM. Эта организация предоставляет данные, однако политика использования стимулирует пользователей не полагаться на её серверы при личном пользовании, а брать на себя ответственность за хостинг. И глядя на этот проект, я понимаю, почему. Его аппаратные требования не для слабонервных.
Читать дальше →
Total votes 33: ↑33 and ↓0+33
Comments23

Реактивность в Vue

Reading time13 min
Views8.9K

Уверен, вы когда-нибудь задавались вопросом «Что за зверь эта реактивность и как она работает?». Думаю, что настало время закрыть этот вопрос и рассмотреть работу реактивности на примере Vue.

Дизайн превью: Марина Четвертакова

Читать далее
Total votes 12: ↑12 and ↓0+12
Comments9

Все, что вам нужно знать об Open RAN

Reading time17 min
Views16K

2020 стал годом Open RAN. Чуть ли не каждую неделю появлялись новости о технологии. В обилии информации было немало противоречивых, обрывочных сведений, полуправды и даже явной дезинформации. В этой статье мы структурировали сведения об Open RAN. 

Важно отметить, что Open RAN зародилось как движение, применимое ко всем технологиям мобильной связи (как это принято сейчас называть: ALL Gs или Any-G). То есть Open RAN применяется к 2G, 3G, 4G, 5G и всем будущим G.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments0

Руководство по Docker Compose для начинающих

Reading time9 min
Views787K
Автор статьи, перевод которой мы сегодня публикуем, говорит, что она предназначена для тех разработчиков, которые хотят изучить Docker Compose и идут к тому, чтобы создать своё первое клиент-серверное приложение с использованием Docker. Предполагается, что читатель этого материала знаком с основами Docker. Если это не так — можете взглянуть на эту серию материалов, на эту публикацию, где основы Docker рассмотрены вместе с основами Kubernetes, и на эту статью для начинающих.

image
Читать дальше →
Total votes 40: ↑37 and ↓3+34
Comments14

Как запускать поды как сервисы systemd в Podman

Reading time7 min
Views6.7K


Расширять традиционные практики администрирования Linux с помощью контейнеров — естественный путь развития. Podman без проблем интегрируется в Linux, но поддержка systemd — краеугольный камень этой интеграции. Команда VK Cloud Solutions перевела статью о том, как она работает.
Читать дальше →
Total votes 18: ↑18 and ↓0+18
Comments1

Парсинг для взрослых или Инфраструктура для промышленного парсинга

Reading time7 min
Views17K

В студенческие годы я написал на заказ много парсеров магазинов и социальных сетей. Со временем парсеры усложнялись и из скриптов превращались в полноценные веб-приложения c базой данных и Rest API. В статье описан шаблон веб-приложения, который использую для создания парсеров.

Читать далее
Total votes 13: ↑9 and ↓4+5
Comments12

Domain Fronting. версия 1.3

Reading time6 min
Views4.2K

В данной статье представляется новый взгляд на старую и знакомую заядлым пентестерам тему как DomainFronting. Тем более, что после недавних нововведений в протокол TLS v1.3 от компании Cloudflare эта избитая тема заиграла новыми красками.

Читать далее
Total votes 14: ↑13 and ↓1+12
Comments2

Information

Rating
Does not participate
Registered
Activity