Comments 15
Предоставляем к squid access.log файл свободный доступ по http
Чисто такой, сисадминский подход. Сурово
можно и по scp\ftp\..., но никому в компании, кроме сисадмина, этот файл даже за доплату не интересен
Многие удивляются, когда узнают, что я за ними не слежу по логам. Админу обычно и без этого есть чем заняться. Но у обывателя несколько другое представление. :)
Это хорошо, что на http обратили внимание, но смысл заметки вовсе не в этом. squid — всего-лишь какой-то генератор логов, не более. Это могла быть любая программа.
Админ сделал такой доступ к логу, значит счел приемлемым. Никто не мешал сделать ограничение на файрволе только на shiny сервер. Просто одно из возможных применений data science стека для оперативного решения сугубо утилитарных задач.
Когда смотришь на инженера, который всю ночь вручную (+ perl в лучшем случае) сводил логи и excel, чтобы получить хоть какой-нибудь видимый результат, становится грустно.
Сомнительный тезис и вот почему:
- Заметка началась с сисадминского западного доклада (USENIX) аж 14 года, где R предлагают использовать для решения сисадминских задач.
- R ничуть не сложнее чем применяемые сисадминами bash\perl\python, если использовать его для локальных задачек.
- Нет никакой проблемы вообще. Каждый может выбрать свой вариант — делать руками\мышкой или немного изучить нового и потом упростить себе жизнь. Заметка — для вторых. Цель — показать, что задача гораздо легче чем кажется.
Я с трудом себе представляю crontab, делающий бэкап и отсылающий результаты, написанный на однострочнике 'R'.
Пример некорректный. С бэкапом вполне справляется shell скрипт.
На западе специалисты вовсе не считают зазорным использовать разные подходы:
- R for Sysadmins
- Time for sysadmins to learn data science
- Measuring & Monitoring Internet Speed with R
- Reading PCAP Files with Apache Drill and the sergeant R Package
Опять же, я не ратую за огульное применение R, но показываю, что можно красиво решать типичные инженерные задачки по поддержке.
www.linux-magazin.de/ausgaben/2012/05/shell-scripting-with-type-safety-using-haskell
Люди играются с тем, что знают. Это не повод остальным бросаться и учить маргинальные технологии* по первому чиху.
* маргинальные для системного администрирования.
- Это не велосипед, это пример использования data science стека общего назначения (инструмент) на конкретной утилитарной задаче. 50 строчек кода не составляют продукт.
- Касательно squid, вторым шагом было разыменовывание ip в ФИО по внешнему справочнику и классификация сайтов по категориям, но это все не вошло в приложенный скрипт. Админа вебалайзер не устроил, почему, меня совершенно не интересовало. На каждый чих иметь отдельную программу слишком накладно. Если владеешь инструментом, проще потратить 3 часа и сделать ровно то, что надо.
- Второй пример приведён не случайно. Такой аццкий лог стандартные лог парсеры съесть не могут ни при каком раскладе. Они ожидают четкую структуру, а не хаос.
Оставлю ссылку. Анализ аксесслогов разных форматов + htop-like cli gui + web GUI = <3. Ставится из epel. Я узнал про него недавно так что и вам простительно.
Немного пришлось повозиться чтобы сделать реалтайм но все решаемо.
R прекрасен но для сисадмина не сильно перспективно. А уж надеятся что будут 2 сисадмина которые смогут это поддерживать в одном пространственно временном континууме- полная утопия.
- Ссылка интересная, наверно будет полезна администраторам.
- Иногда удается изменить мнение людей просто демонстрацией альтернативным способом решения их задач. Любопытство присуще человеку, поскольку является одним из проявлений высшей нервной деятельности.
- Истины здесь в спорах никто не найдет, все останутся при своем мнении, проверено неоднократно.
- Да и не в логах дело вовсе, это всего-лишь один из возможных источников данных. Если кто-нибудь увидел возможный способ решения каких-либо своих задач посредством DS стека и хочет попробовать — welcome.
R как спасательный круг для системного администратора