zabbix-proxyでout of memory発生

February 3, 2016 in technology

1秒あたりの監視項目数(Zabbixサーバーの要求パフォーマンス) 1703.18 というちょっとは規模大きいほうじゃないかなーというzabbix-serverを運用しています。
zabbix-server1台ではなく複数台のzabbix-proxyで構成しています。
そのうちのzabbix-proxy1台が次のようなエラーを吐いて停止。。

2068:20160203:051106.554 __mem_malloc: skipped 0 asked 136 skip_min 4294967295 skip_max 0
2068:20160203:051106.554 [file:dbconfig.c,line:446] zbx_mem_malloc(): out of memory (requested 136 bytes)
2068:20160203:051106.554 [file:dbconfig.c,line:446] zbx_mem_malloc(): please increase CacheSize configuration parameter
2066:20160203:051106.557 One child process died (PID:2068,exitcode/signal:255). Exiting ...
2066:20160203:051108.559 syncing history data...
2066:20160203:051108.562 syncing history data done
2066:20160203:051108.562 Zabbix Proxy stopped. Zabbix 2.2.9 (revision 52686).

please increase CacheSize configuration parameter 丁寧に対応内容まで書かれていて親切ですね :)

このzabbix-proxyはデフォルトの8MBで運用していたのでとりあえず128MBに増やしました。(その他cache関連の項目も増やしておいた)
数時間経ちましたが今のところ問題なく稼動中。

youyo

I’m cloud engineer and software engineer.
This is a daily memorandum.

Cloud engineer
Software engineer

Sendai in Japan

no post found

新しいブログ作りました

May 5, 2019

https://blog.youyo.io/

AWS Secrets Managerをちょっとだけ楽に使いたいのでgawsというコマンド作った

Feb 2, 2019

gaws というコマンドを作りました。
https://github.com/youyo/gaws

$ gaws secretsmanager
Usage:
  gaws secretsmanager [command]

Available Commands:
  add         Add key-value pair to secure-string
  export      Export secure string
  get         Get secure string (alias of 'export' command)
  import      Import secure-string
  list        List secrets
  put         Update key-value pair to secure-string or adding
  remove      Remove key from secure-string

Flags:
  -h, --help   help for secretsmanager

Use "gaws secretsmanager [command] --help" for more information about a command.

CodeDeployを使用したECS環境へのBlue/Green Deploymentは, ALB Listener rulesの認証アクションとの組み合わせをサポートしない (2018/12/28時点の情報)

Dec 12, 2018

!! 2018/12/28時点の情報です !!

今後いい感じに修正されると思います。

AWS SAMでCognito UserPoolsの認証付きAPIを作成する

Dec 12, 2018

AWS SAMでCognito UserPoolsの認証付きAPIを作ろうとしたときに, ググるとswaggerの設定書けという記事がたくさん出てきます.
めんどくさいです.
Serverless Frameworkならこんなに簡単にやれるのに.
Serverless FrameworkでCognito User Poolsの認証付きAPIを作る

でもいろいろ調べてたらちゃんと対応されてました.
AWS サーバーレスアプリケーションモデルが Amazon API Gateway オーソライザーをサポート

ということで動かしてみました. コード全体はこちら.
https://github.com/youyo/sam-apigateway-authorizer

MessagePack::UnknownExtTypeError unexpected extension type

Oct 10, 2018

centos6とcentos7にfluentdをインストールしたくて, ドキュメント通りに進めたところバージョンの異なるものがインストールされました. その状態でout_forward, in_forwardでログを送受信したところ, タイトルにあるエラーが発生しました.
docs: https://docs.fluentd.org/v0.12/articles/install-by-rpm#step-1:-install-from-rpm-repository

バージョン違いにより発生する可能性のあるエラーだというのはこちらを参照しました.
ref: https://qiita.com/kawashinji/items/ce416d13581d23ed11c7

fluent-plugin-postfix-parser作った

Oct 10, 2018

filterプラグイン作りました.
https://github.com/youyo/fluent-plugin-postfix-parser
https://rubygems.org/gems/fluent-plugin-postfix-parser

postfixのログをパースしてjsonで吐き出すツール作った

Oct 10, 2018

postfixのログをパースしてjsonで吐き出すツールを作りました.
https://github.com/youyo/postfix-log-parser

postfixのログってqueue-idをキーにして複数行を見ないと一連の流れが追えないっていうのがすごく面倒くさくて, それを解決するために作りました. 例えば, 下記のようなログを標準入力から渡してあげると次のようなjsonにして返してくれます.

Oct 10 15:59:28 mail postfix/smtpd[1830]: connect from example.com[127.0.0.1]
Oct 10 15:59:28 mail postfix/smtpd[1830]: C6E0DDB74006: client=example.com[127.0.0.1]
Oct 10 15:59:28 mail postfix/cleanup[1894]: C6E0DDB74006: message-id=<A40CF64D-7F2D-42E4-8A76-CBFFF64A6EB1@example.com>
Oct 10 15:59:28 mail postfix/qmgr[18719]: C6E0DDB74006: from=<test@example.com>, size=309891, nrcpt=1 (queue active)
Oct 10 15:59:28 mail postfix/smtpd[1830]: disconnect from example.com[127.0.0.1]
Oct 10 15:59:32 mail postfix/smtp[1874]: C6E0DDB74006: to=<test@example.ddd>, relay=example.ddd[192.168.0.30]:25, delay=3.4, delays=0.11/0/0.38/2.9, dsn=2.0.0, status=sent (250 2.0.0 OK 1539154772 az9-v6si5976496plb.190 - gsmtp)
Oct 10 15:59:32 mail postfix/qmgr[18719]: C6E0DDB74006: removed

# cat /path/to/log | ./postfix-log-parser
{
  "time": "0000-10-10T15:59:28+09:00",
  "hostname": "mail",
  "process": "postfix/smtpd[1830]",
  "queue_id": "C6E0DDB74006",
  "client_hostname": "example.com",
  "client_ip": "127.0.0.1",
  "message_id": "A40CF64D-7F2D-42E4-8A76-CBFFF64A6EB1@example.com",
  "from": "test@example.com",
  "messages": [
    {
      "time": "0000-10-10T15:59:32+09:00",
      "to": "test@example.ddd",
      "status": "sent",
      "message": "to=<test@example.ddd>, relay=example.ddd[192.168.0.30]:25, delay=3.4, delays=0.11/0/0.38/2.9, dsn=2.0.0, status=sent (250 2.0.0 OK 1539154772 az9-v6si5976496plb.190 - gsmtp)"
    }
  ]
}

cloud pub/sub経由で起動したcloud functionsで, event元となったmessageの削除の仕方がわからない

Oct 10, 2018

cloud functionsはtriggerとしてcloud pub/subを使用できます. cloud pub/subにmessageを入れると指定したcloud functionsが起動してきてmessageを受け取れます.
ここまでは問題ないのですが, messageを受け取って処理をしたあと, そのmessageって削除すると思うんですよ. 普通.

通常pub/subに対する処理としてsubscriberはmessageにackを返すことで処理完了とします. messageは下記のようなcallback()に渡されてそこで処理されます. message.ack() を呼べばいいわけです.

def callback(message):
    body = message.data.decode()
    print(body)
    message.ack()

zabbix-senderが使えない環境でもhttpでデータを送る

Oct 10, 2018

通常zabbix-serverに対してデータをpushするときはzabbix-senderを使用します. しかし環境によってはzabbix-senderをインストール出来ないこともあります.
そういった場合には直接クライアントがzabbix-serverとtcp接続を行い通信してもよいのですが, 今回はクライアント側の実装をシンプルにしたかったのでhttpでやり取りできるようにproxy-serverの参考実装を作ってみました. クライアントからhttpでjsonデータを送り, それを受け取ってzabbix-serverへtcp接続して受け渡すようにしています.

ディレクトリを切り替えたときに自動的にGCP Projectを設定する

Oct 10, 2018

gcloudコマンドが使用するprojectの設定は, 環境変数で設定することはできず gcloud config set project PROJECTID コマンドを使用する必要があります.