# Re: А то, что так тихо...
Peter(syscall,1) — around
2019-08-19 15:46:53
around> ...это нормально? Или у меня всё поломалось?
Ты же сам видел, сколько у нас узлов. :) Так что людей очень мало, соответственно, и разговоров обычно тоже. Даже в Фидо, где на пару порядков больше людей, уже тихие. Хотя и сломаться может что то :)
# Re: А то, что так тихо...
vit01(mira, 1) — around
2019-08-19 11:08:27
around> ...это нормально? Или у меня всё поломалось?
Это нормально.
Просто либо нет тем для разговора, либо нет времени на развёрнутые посты.
Но мы всё читаем
# Re: А то, что так тихо...
Peter(syscall,1) — around
2019-08-19 15:51:58
around> ...это нормально? Или у меня всё поломалось?
И все таки поломалось. Снова битые счётчики. Попробую понять в чем дело.... Первый раз за насколько лет. Какая то ерунда.
# Re: А то, что так тихо...
Peter(syscall,1) — Andrew Lobanov
2019-08-20 09:53:56
На самом деле, там не было try except вокруг блока чтения данных в pickle формате.
Почему возникает такая проблема (битый файл)? Вероятно, зависон одной копии фетчера (например, при проблемах с сетью) и запуск параллельно второй. Или мой "ручной" запуск, во время работы фетчера по крону. Других идей пока нет. Речь о файле count.lst
Я пока протсо обрамил try except и слежу за ситуацией. Возможно, пока твой сервак был в дауне это и произошло.
# Re: А то, что так тихо...
vmg(syscall,52) — Peter
2019-08-21 18:39:02
Peter> Место на диске кончилось. :(
Вчера из-за этого ломал голову. Не мог настроить caesium.
# Re: А то, что так тихо...
around(syscall,51) — vit01
2019-08-22 09:52:22
around>> ...это нормально? Или у меня всё поломалось?
vit01> Это нормально.
vit01> Просто либо нет тем для разговора, либо нет времени на развёрнутые посты.
vit01> Но мы всё читаем
ok =) а то я волнуюсь =)
# Re: А то, что так тихо...
around(syscall,51) — Peter
2019-08-22 09:52:22
around>> ...это нормально? Или у меня всё поломалось?
Peter> И все таки поломалось. Снова битые счётчики. Попробую понять в чем дело.... Первый раз за насколько лет. Какая то ерунда.
Я как чувствовал =)
# Re: А то, что так тихо...
around(syscall,51) — Peter
2019-08-22 09:52:22
>> Что было то?
Peter> Место на диске кончилось. :(
Я вчера на похожие грабли наступил.
Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
Вчера выяснилось, что с начала августа уже не транслирует =)
service udpxy restart ничего не дал. ps -aux | grep udpxy показывает, что всё запущено, netstat -tunlp - что всё слушает там, где ожидается. Но ничего не перегоняется.
Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
Ради интереса удалил несколько строк, чтобы стало 2047 - заработало, но ровно до момента, пока лог не достиг 2048.
# Re: А то, что так тихо...
Peter(syscall,1) — around
2019-08-22 10:01:05
> Я вчера на похожие грабли наступил.
Да, и главное каждый раз говоришь себе -- очевидная ситуация, в следующий раз проверь ее сразу. Но снова и снова происходит то же самое. :)
# Re: А то, что так тихо...
vit01(mira, 1) — around
2019-08-22 20:13:10
around> Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
around> Вчера выяснилось, что с начала августа уже не транслирует =)
around> Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
На такой случай нужно настраивать систему мониторинга. Это всегда избавляет от геморроя и всяких граблей по обслуживанию сервака.
Когда настроил Zabbix, жить стало спокойнее. И если так случается, что заканчивается место на диске, возрастает нагрузка на проц, система свопится или упал какой-то сервис, то мне сразу же в течение двух минут летит уведомление. И не надо ничего делать самому.
# Re: А то, что так тихо...
around(syscall,51) — vit01
2019-08-23 07:30:28
around>> Есть у нас сервачок, на котором стоит udpxy, который берёт из нашего мультикаста потоки и транслирует их в юникаст.
around>> Вчера выяснилось, что с начала августа уже не транслирует =)
around>> Причина даже не в том, что место кончилось, а в том, что udpxy.log достиг размера в 2048 Mb. После чего сама софтина запускается, но не работает.
vit01> На такой случай нужно настраивать систему мониторинга. Это всегда избавляет от геморроя и всяких граблей по обслуживанию сервака.
Повторюсь, места там полно было. А вот logrotate настроил после этого, да =(
vit01> Когда настроил Zabbix, жить стало спокойнее. И если так случается, что заканчивается место на диске, возрастает нагрузка на проц, система свопится или упал какой-то сервис, то мне сразу же в течение двух минут летит уведомление. И не надо ничего делать самому.
Да есть у меня zabbix, что ж я, совсем конченый? =)
# Re: мониторинг
vit01(mira, 1) — Difrex
2019-08-23 16:23:40
Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?
Да, как минимум, из-за красивого гуя
Мне, правда, zabbix не нравится сложностью в настройке и перегруженностью всякой фигнёй запутывающей, но в конце концов выглядит это всё приятно
Если у тебя есть что посоветовать удобнее и проще, то рассказывай давай
# Re: А то, что так тихо...
Andrew Lobanov(tavern,1) — Difrex
2019-08-27 11:04:47
Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?
Только поэтому у меня его нет. Но альтернативы особо я не искал. Гуй и графики мне ни к чему, а вот оповещалку в почту хотя бы было бы неплохо.
Если есть что по теме посоветовать, то буду рад, хотя на "новом" железе у меня больше мускул по OOM не падает %)
# Re: А то, что так тихо...
Difrex(dynamic,1) — Andrew Lobanov
2019-08-28 11:46:32
Так, я вернулся с лекции Столмена, теперь могу ответить сразу и тебе и Виктору :).
По поводу того, чем мониторить. Самый легкий вариант -- это Prometheus+Alertmanager.
Самый простой сетап для получения системных метрик: поднимаешь node exporter(он собирает все с линукса), прометеем собираешь метрики с него, по определенным условиям(например, free_memory_mb{host="f.q.d.n"} < 200) отправляется событие в алертменедржер, а у него из коробки есть почта, вебхуки и.т.д. При желание к этому наипростейше прикручивается Grafana, в которой делаешь дашборды с графиками; там тоже есть алертинг, кстати.
Свои метрики предоставлять тоже очень просто, т.к. формат простой и свободный можно писать на чем угодно.
Сама экспортируемая метрика выглядит так:
# HELP idec_messages example metric
# TYPE idec_messages gauge
idec_messages{echo="ii.test.14"} 0.0
Ну, т.к. это все написано на Go, то к ресурсам не требовательно.
Ссылки:
* Prometheus
https://github.com/prometheus/prometheus
* Alertmanager
https://github.com/prometheus/alertmanager
* Node exporter
https://github.com/prometheus/node_exporter
* Доки
https://prometheus.io/docs/introduction/first_steps/
Будут вопросы -- обращайтесь :)
# Re: А то, что так тихо...
Difrex(dynamic,1) — Peter
2019-08-28 13:32:21
> Что сказал дедушка Столлман? :)
То же что и всегда говорил: четыре основные свободы, проприетарщина -- плохо, ГНУ СЛЭШ ЛИНУКС, про то, что подписки(нетфликс, и.т.д)
это хрень, что DRM зло. Высказал свое отношение к Биткоину -- это свободный софт, значит, хорошо. Но пользоваться он им не хочет, т.к. он
недостаточно анонимен, как наличка. Говорит, что у ГНУ есть свой какой-то софт для анонимных платежей в любой валюте и это не блокчейн.
Что это, может знает кто?
Заполучил автограф на ноут ^_^
Хреновые фотки:
https://cloud2.difrex.ru/index.php/s/Qgt2rPv7t3ga2Pa
# Re: А то, что так тихо...
vit01(mira, 1) — Difrex
2019-08-28 21:46:49
Difrex> Будут вопросы -- обращайтесь :)
Почитал документацию, установил и потыкал, вещь крайне прикольная и интересная.
Но есть один большой и жирный минус - защита данных. Из коробки там не то что никакого https, даже опции "поставить пароль" нету. И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс, что, как по мне, просто дикость.
В доках говорится: "Мы считаем, что все метрики - это публичные данные, а если у вас как-то иначе, то это уже не наши проблемы".
Предлагают настраивать reverse proxy, глушить всё фаерволом или извращаться какими-нибудь другими способами. Что тут делать - пока хз
# Re: А то, что так тихо...
Difrex(dynamic,1) — vit01
2019-08-29 10:10:27
> И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс
Конфиг поправить не проблема
> Мы считаем, что все метрики - это публичные данные
Обычно там действительно нет никаких секретных данных.
> Предлагают настраивать reverse proxy
Ну дык, ставишь Nginx и закрываешь, как тебе нужно.
cat > /etc/default/prometheus <<EOF
ARGS="-web.listen-address=localhost:9090"
EOF
cat > /etc/default/prometheus-node-exporter <<EOF
ARGS="-web.listen-address=localhost:9100"
EOF
htpasswd -c /etc/nginx/.htpasswd my_user
chown www-data /etc/nginx/.htpasswd
chmod 400 /etc/nginx/.htpasswd
cat > /etc/nginx/sites-available/my_prom.conf <<EOF
upstream prom {
server localhost:9090;
}
server {
listen my-prom.example.com:443;
server_name my-prom.example.com;
ssl on;
ssl_certificate /etc/letsencrypt/live/my-prom.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/my-prom.example.com/privkey.pem;
location / {
proxy_pass http://prom;
auth_basic "My Prometheus server";
auth_basic_user_file /etc/nginx/.htpasswd;
}
}
cd /etc/nginx/sites-enabled
ln -s ../sites-available/my_prom.conf
systemctl restart nginx
5 минут на настройку =)
# Re: А то, что так тихо...
vit01(mira, 1) — Difrex
2019-08-30 17:52:37
>> И все сервисы Prometheus после установки сразу торчат на внешний сетевой интерфейс
Difrex> Конфиг поправить не проблема
Конфиг успел ещё после установки поправить, но просто обидно, что такой дефолт. В новостях то и дело проскакивает какой-нибудь скандал, что внутренние базы МВД утекают или мобильных операторов из-за открытого во внешнюю сеть и ненастроенного elasticsearch.
>> Предлагают настраивать reverse proxy
Difrex> Ну дык, ставишь Nginx и закрываешь, как тебе нужно.
Спасибо за подсказку, завёл кое-как с нужными настройками. И это было подольше 10 минут :)
Ещё в конфиге пришлось делать фетчинг по basic auth, чтобы уж совсем безопасно было.
Жаль, что в документации не сделали приличное разъяснение и уже готовые примеры (может быть, даже не на nginx, а на ещё более лёгком софте). А то желание "прикрыть зад" системе, наверное, самое первое, что приходит в голову
-----
Настроил Grafana с крутой панелью сразу для двух серваков и думаю, как теперь сделать оповещения нормально
Либо использовать alertmanager, либо внутренние оповещалки в Grafana. Что лучше, пока не знаю
В Zabbix были преднастроенные шаблоны для уведомлений, типа "если оперативка занята на 90% или больше, то это плохо". Там даже срабатывания были, когда /etc/passwd менялся на сервере, что мне лично не было нужно, но кому-то - вполне. Всё что оставалось - это просмотреть изкоробочные условия и подправить слегка под свои предпочтения. То есть чтобы, например, при 80% занятой ОЗУ срабатывало, а не 90.
Для node_exporter так и не нашёл какого-то общего стандартного набора правил, который покрывал бы максимум юзкейсов. Поэтому, вероятно, придётся писать свои с нуля.
Но если где-то завалялась уже готовая конфиг-портянка с правилами, то с удовольствием воспользовался бы ей.
# Re: А то, что так тихо...
around(syscall,51) — Difrex
2019-09-02 13:25:04
Difrex> Zabbix это такой трэш. Чтож все на нем сидят? Из-за мышкотыкательного гуя?
Альтернативы? Кактус? Нагиос? Обсервиум?
# Re: А то, что так тихо...
Peter(syscall,1) — Difrex
2019-09-02 15:01:31
> Про то, как устроен мониторинг у меня на проекте я затирал тут, если интересно: https://youtu.be/ouloiciOlqc?t=1210 :)
Забавно, развиртуализация. :)
А если серъезно, похоже в Беларуси WG -- неплохое место для айтишников.
# Re: А то, что так тихо...
libra(wonderland,1) — Difrex
2020-01-12 16:30:37
>> Что сказал дедушка Столлман? :)
Difrex> Заполучил автограф на ноут ^_^
Difrex> Хреновые фотки: https://cloud2.difrex.ru/index.php/s/Qgt2rPv7t3ga2Pa
А у вас ЛетсЭнкрипт убежало ))))