blog.youyo.info

新しいブログ作りました

Tue, 21 May 2019 00:00:00 +0000

https://blog.youyo.io/

AWS Secrets Managerをちょっとだけ楽に使いたいのでgawsというコマンド作った

Tue, 26 Feb 2019 00:00:00 +0000

gaws というコマンドを作りました。
https://github.com/youyo/gaws

$ gaws secretsmanager
Usage:
  gaws secretsmanager [command]

Available Commands:
  add         Add key-value pair to secure-string
  export      Export secure string
  get         Get secure string (alias of 'export' command)
  import      Import secure-string
  list        List secrets
  put         Update key-value pair to secure-string or adding
  remove      Remove key from secure-string

Flags:
  -h, --help   help for secretsmanager

Use "gaws secretsmanager [command] --help" for more information about a command.

CodeDeployを使用したECS環境へのBlue/Green Deploymentは, ALB Listener rulesの認証アクションとの組み合わせをサポートしない (2018/12/28時点の情報)

Fri, 28 Dec 2018 00:00:00 +0000

!! 2018/12/28時点の情報です !!

今後いい感じに修正されると思います。

AWS SAMでCognito UserPoolsの認証付きAPIを作成する

Wed, 05 Dec 2018 00:00:00 +0000

AWS SAMでCognito UserPoolsの認証付きAPIを作ろうとしたときに, ググるとswaggerの設定書けという記事がたくさん出てきます.
めんどくさいです.
Serverless Frameworkならこんなに簡単にやれるのに.
Serverless FrameworkでCognito User Poolsの認証付きAPIを作る

でもいろいろ調べてたらちゃんと対応されてました.
AWS サーバーレスアプリケーションモデルが Amazon API Gateway オーソライザーをサポート

ということで動かしてみました. コード全体はこちら.
https://github.com/youyo/sam-apigateway-authorizer

MessagePack::UnknownExtTypeError unexpected extension type

Fri, 12 Oct 2018 00:00:00 +0000

centos6とcentos7にfluentdをインストールしたくて, ドキュメント通りに進めたところバージョンの異なるものがインストールされました. その状態でout_forward, in_forwardでログを送受信したところ, タイトルにあるエラーが発生しました.
docs: https://docs.fluentd.org/v0.12/articles/install-by-rpm#step-1:-install-from-rpm-repository

バージョン違いにより発生する可能性のあるエラーだというのはこちらを参照しました.
ref: https://qiita.com/kawashinji/items/ce416d13581d23ed11c7

fluent-plugin-postfix-parser作った

Thu, 11 Oct 2018 00:00:00 +0000

filterプラグイン作りました.
https://github.com/youyo/fluent-plugin-postfix-parser
https://rubygems.org/gems/fluent-plugin-postfix-parser

postfixのログをパースしてjsonで吐き出すツール作った

Wed, 10 Oct 2018 00:00:00 +0000

postfixのログをパースしてjsonで吐き出すツールを作りました.
https://github.com/youyo/postfix-log-parser

postfixのログってqueue-idをキーにして複数行を見ないと一連の流れが追えないっていうのがすごく面倒くさくて, それを解決するために作りました. 例えば, 下記のようなログを標準入力から渡してあげると次のようなjsonにして返してくれます.

Oct 10 15:59:28 mail postfix/smtpd[1830]: connect from example.com[127.0.0.1]
Oct 10 15:59:28 mail postfix/smtpd[1830]: C6E0DDB74006: client=example.com[127.0.0.1]
Oct 10 15:59:28 mail postfix/cleanup[1894]: C6E0DDB74006: message-id=<A40CF64D-7F2D-42E4-8A76-CBFFF64A6EB1@example.com>
Oct 10 15:59:28 mail postfix/qmgr[18719]: C6E0DDB74006: from=<test@example.com>, size=309891, nrcpt=1 (queue active)
Oct 10 15:59:28 mail postfix/smtpd[1830]: disconnect from example.com[127.0.0.1]
Oct 10 15:59:32 mail postfix/smtp[1874]: C6E0DDB74006: to=<test@example.ddd>, relay=example.ddd[192.168.0.30]:25, delay=3.4, delays=0.11/0/0.38/2.9, dsn=2.0.0, status=sent (250 2.0.0 OK 1539154772 az9-v6si5976496plb.190 - gsmtp)
Oct 10 15:59:32 mail postfix/qmgr[18719]: C6E0DDB74006: removed

# cat /path/to/log | ./postfix-log-parser
{
  "time": "0000-10-10T15:59:28+09:00",
  "hostname": "mail",
  "process": "postfix/smtpd[1830]",
  "queue_id": "C6E0DDB74006",
  "client_hostname": "example.com",
  "client_ip": "127.0.0.1",
  "message_id": "A40CF64D-7F2D-42E4-8A76-CBFFF64A6EB1@example.com",
  "from": "test@example.com",
  "messages": [
    {
      "time": "0000-10-10T15:59:32+09:00",
      "to": "test@example.ddd",
      "status": "sent",
      "message": "to=<test@example.ddd>, relay=example.ddd[192.168.0.30]:25, delay=3.4, delays=0.11/0/0.38/2.9, dsn=2.0.0, status=sent (250 2.0.0 OK 1539154772 az9-v6si5976496plb.190 - gsmtp)"
    }
  ]
}

cloud pub/sub経由で起動したcloud functionsで, event元となったmessageの削除の仕方がわからない

Fri, 05 Oct 2018 00:00:00 +0000

cloud functionsはtriggerとしてcloud pub/subを使用できます. cloud pub/subにmessageを入れると指定したcloud functionsが起動してきてmessageを受け取れます.
ここまでは問題ないのですが, messageを受け取って処理をしたあと, そのmessageって削除すると思うんですよ. 普通.

通常pub/subに対する処理としてsubscriberはmessageにackを返すことで処理完了とします. messageは下記のようなcallback()に渡されてそこで処理されます. message.ack() を呼べばいいわけです.

def callback(message):
    body = message.data.decode()
    print(body)
    message.ack()

zabbix-senderが使えない環境でもhttpでデータを送る

Tue, 02 Oct 2018 00:00:00 +0000

通常zabbix-serverに対してデータをpushするときはzabbix-senderを使用します. しかし環境によってはzabbix-senderをインストール出来ないこともあります.
そういった場合には直接クライアントがzabbix-serverとtcp接続を行い通信してもよいのですが, 今回はクライアント側の実装をシンプルにしたかったのでhttpでやり取りできるようにproxy-serverの参考実装を作ってみました. クライアントからhttpでjsonデータを送り, それを受け取ってzabbix-serverへtcp接続して受け渡すようにしています.

ディレクトリを切り替えたときに自動的にGCP Projectを設定する

Tue, 02 Oct 2018 00:00:00 +0000

gcloudコマンドが使用するprojectの設定は, 環境変数で設定することはできず gcloud config set project PROJECTID コマンドを使用する必要があります.

システム運用に対する想いを語ってきた

Sat, 13 Jan 2018 00:00:00 +0000

OpsJAWSとJAWS-UG TOHOKUのコラボ企画でシステム運用について語ってきた.
お正月企画！OpsJAWSが東北でAWSの運用を叫ぶ！

資料はこちら.

システム運用について - slideship.com

JAWS-UG仙台でTerraformとWerckerとAWS Organizationsについて話してきた

Tue, 27 Jun 2017 00:00:00 +0000

こちらのイベントでterraformとwerckerとaws organizationsについて話させていただいた.
JAWS-UG 仙台勉強会 [6/23夜]

資料やサンプルコードはすべてgithubにアップしている.

https://github.com/youyo/jawsug-sendai-20170623

awsloginコマンドでMFAサポートした

Fri, 17 Mar 2017 00:00:00 +0000

以前 awslogin というコマンドを作った.
詳細についてはこちらを参照.(awsloginコマンド作った)

公開したところ「MFA対応は? 」というリアクションをいただいた.
すっかり忘れていたというのが正直なところ.

ということで対応した.

grl.i-o.shというサイトを作った

Wed, 08 Mar 2017 00:00:00 +0000

作った.

http://grl.i-o.sh/
https://github.com/youyo/grl.i-o.sh

terraform 0.8.8でEC2のインスタンスタイプ変更ができるようになったので試してみた

Mon, 06 Mar 2017 00:00:00 +0000

今までのterraformでは, EC2のインスタンスタイプ変更を行なった場合に強制的にインスタンスの再作成が行われてしまうため一手間必要だった.
Terraform で作ったEC2インスタンスのタイプを変更するには

それがterraform 0.8.8でようやくインスタンスタイプの変更に対応したようなので早速試してみた.
(対応するPR https://github.com/hashicorp/terraform/pull/11998)

AWS LambdaからElasticsearch Serviceに接続するときに、IAM Roleを使う

Sat, 25 Feb 2017 00:00:00 +0000

Amazon ElasticSearch Serviceに接続するとき、アクセスポリシーを使い許可してあげる必要がある。いくつかテンプレートが用意されているのだが、その中の選択肢としては

IAM Userによる認証
特定IPからの接続許可
フルオープン

となっている。

AWS Lambdaから接続するってのを考えたとき、特定のIPからの接続許可を与えるのは難しい。じゃあIAM User作ってアクセスキー、シークレットキーで認証するか？と言われれば、Lambdaに設定されているIAM Roleを使いたい、と考えるわけで。

AWSマネジメントコンソールのSwitchRoleのヒストリーの消し方

Fri, 24 Feb 2017 00:00:00 +0000

SwitchRoleをすると過去のヒストリーが残ると思います。

こんな感じのやつ。

awsloginコマンド作った

Mon, 20 Feb 2017 00:00:00 +0000

awslogin というコマンドを作りました.
https://github.com/youyo/awslogin

[update]
コマンドオプションやインストール方法など変更になっているので, 詳細は上記Github READMEを参照.

[update]
MFA対応した

これは何？

マネジメントコンソールにコマンド一発でログインできます.

カレントディレクトリにあるmy.cnfファイルから設定を読み込む

Mon, 26 Sep 2016 00:00:00 +0000

カレントディレクトリに置いてある my.cnf ファイルから設定読みこみたいなーと思って調べてみたら、どうやら普通にはできないようでした。
(参考:基礎MySQL ~その２~ my.cnf (設定ファイル))

GAE/Goで外部にhttpリクエスト送るには？

Tue, 05 Jul 2016 00:00:00 +0000

httpでGETリクエスト送るとそこからzabbixのapi叩いてアラートを停止するってのをGAE/Goの勉強がてら作り直してて、そのときいざzabbixにリクエスト送ろうとしたらエラー出て動きませんでした。

http.DefaultTransport and http.DefaultClient are not available in App Engine. See https://cloud.google.com/appengine/docs/go/urlfetch/

Amazon EFSがリリースされたので触ってみた

Wed, 29 Jun 2016 00:00:00 +0000

EFSが正式リリースされたけど、そろそろクラメソさんがブログアップしてくれる頃だと思って待機してる。
— 洋@豆腐 (@youyo_) 2016年6月29日

と思って待ってたけどこのときはまだ出てなかったので自分で触ってみることにした。

JAWS-UG青森開催してきた

Sun, 26 Jun 2016 00:00:00 +0000

ある日ふと思い立って、

という軽いノリでJAWS-UG青森開催することにしました。

当日の様子の写真はこちらです。あと詳細はトゥギャっときました。

go buildしたバイナリを実行したら'/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory'エラーが出た

Thu, 23 Jun 2016 00:00:00 +0000

alpine linuxでgo buildしたバイナリでこの現象に出くわした。 https://t.co/smbA3ONLiX
— 洋@豆腐 (@youyo_) 2016年6月23日

Werckerを使ってフェーズ間のパッケージの受け渡し周りでハマった

Sat, 18 Jun 2016 00:00:00 +0000

まとめ

パッケージを次のフェーズに渡すには ${WERCKER_OUTPUT_DIR} ディレクトリの中に入れる
${WERCKER_OUTPUT_DIR} の中にパッケージを入れると元のソースコード類はコピーされない
${WERCKER_OUTPUT_DIR} の中が空であれば元のソースコード類がコピーされ次のフェーズに渡される
今回のサンプルコード一式はこちら
https://github.com/youyo/wercker-test
https://app.wercker.com/#applications/5764c96dc961d9eb3f0f515e

werckerを使ってGAE/GOにデプロイしてFastlyでURLベースのルーティングをする

Wed, 15 Jun 2016 00:00:00 +0000

このブログは hugo で静的htmlを生成して GAE/GO にデプロイしています。(http://blog.youyo.info/)
旧ブログも Amazon S3 で同じドメインでホストしています。(http://blog.youyo.info/blog/archives/)

この２つを同じドメインで運用するにあたってURLベースでのルーティングを CloudFront で実現していて、 Circle CI を使って git push をトリガーにしてデプロイ/キャッシュクリアして いました。

先週あたりまでこの構成だったのですが、今は CloudFront => Fastly , CircleCI => Wercker へと変更しました。

RDS for MySQLを再起動したら文字化けした

Tue, 14 Jun 2016 00:00:00 +0000

まとめ

ZABBIXのデータベースとして使用しているRDS for MySQLを再起動してみた
アラート通知だけが文字化けした
skip-character-set-client-handshake 有効にしたら直った

NginxのTCP Load Balancing試してみた

Tue, 07 Jun 2016 00:00:00 +0000

公式サイトを参考にちょっとやってみた。
https://www.nginx.com/resources/admin-guide/tcp-load-balancing/

JAWS DAYS 2016で発表してきた

Sat, 12 Mar 2016 00:00:00 +0000

ということで発表してきました。資料作成は実質前日1日だけで、めちゃくちゃ焦りながら作ってました。。発表時間が15分だったですが、ちょっと資料不足な感があって10分くらいで終わっちゃうんじゃないかーって思ってましたが、実際やってみると13,4分くらいで終わったのでちょうどよかったかなと。そしてその発表資料はこちら。 Jawsdays2016 田舎とAWS Lambdaと私 from Naoto Ishizawa 緊張しまくって15分は結構あっという間に過ぎました。。笑いは狙わず真面目な感じで出来たと思います。他者の評価を見てみると… まだまだ頑張らねばなと感じました。でもなんだかんだですげー楽しかった！

SSL証明書のkeyとcrtがペアかどうか確認する

Fri, 19 Feb 2016 00:00:00 +0000

apache起動しなくなったよー
なんとかして！

とかいう雑な依頼が来たので調べてみたら下記エラーログが出ていた。

[Fri Feb 19 00:00:00 2016] [error] SSL Library Error: 185073780 error:0B080074:x509 certificate routines:X509_check_private_key:key values mismatch

php-fpmはrootで動かない

Mon, 15 Feb 2016 00:00:00 +0000

知らないサーバで php-fpm 止まってるよーなんとかしてー

っていう状況があってその時の対応メモ。

再起動してみると、

# service php-fpm start
Starting php-fpm: [15-Feb-2016 13:22:04] ERROR: [pool www] please specify user and group other than root
[15-Feb-2016 13:22:04] ERROR: FPM initialization failed
                                                           [FAILED]

こんなこと言われて起動できなかった。

CentOS7にphp5.2をインストール

Wed, 10 Feb 2016 00:00:00 +0000

今更php5.2とかやめてくれ！！！
— 洋@新婚 (@youyo_) 2016, 2月 10

そう叫びたかったけど、男には戦わなければいけない時もある。

$ wget https://t.co/nGLB8cfWD6
— 洋@新婚 (@youyo_) 2016, 2月 10

pip install でバージョン指定

Tue, 09 Feb 2016 00:00:00 +0000

久しぶりに ansible インストールしたらバージョンが2系入るようになってた。

$ pip install ansible
$ ansible --version
ansible 2.0.0.2

emptyportというGolangのライブラリを作った

Mon, 08 Feb 2016 00:00:00 +0000

現在使用されていないTCPポートを知りたくて簡単に見つけられないかなーと思ってライブラリ探してたんだけど、見つからなかったので作ってみた。
(探しきれてないだけな気はするけど)
なお、このライブラリは下記記事を大変参考にしています。

Goで適当に空いてるportをListenする

zabbix-proxyでout of memory発生

Wed, 03 Feb 2016 00:00:00 +0000

1秒あたりの監視項目数(Zabbixサーバーの要求パフォーマンス) 1703.18 というちょっとは規模大きいほうじゃないかなーというzabbix-serverを運用しています。
zabbix-server1台ではなく複数台のzabbix-proxyで構成しています。
そのうちのzabbix-proxy1台が次のようなエラーを吐いて停止。。

ウイルス性胃腸炎にかかった記録

Fri, 29 Jan 2016 00:00:00 +0000

先日ウイルス性胃腸炎に感染しました。
ものすごく辛かったので記録。

CloudFlareの無料SSL/httpsリダイレクトを使用しているサイトにwordpressを突っ込む

Thu, 14 Jan 2016 00:00:00 +0000

まずやりたいこととしてはタイトルの通り。
既に運用している https://test.youyo.info (仮)の直下に https://test.youyo.info/blog というwordpressサイトを突っ込みたい。
最初は何も考えず普通に設置してみてインストール画面をみたらcssやらjsが読み込まれなかった。
あれーと思ったらphpが吐くリンク先が http で出力されているためだった。

Error detected while processing vim_bootstrap_updater.vim

Sun, 10 Jan 2016 00:00:00 +0000

brew cask install hoge とかやったらインストールできなかった。
調べてみたら homebrew-cask が本家に入ったとかで移行が必要なようだった。
homebrew-caskがErrorになると思ったら本家に移行してた

んで brew update かけたら vim でファイル開いたときにエラー出るようになってた…

Hugoで作ったサイトをGoogle App Engineで公開した

Fri, 23 Oct 2015 00:00:00 +0000

ブログを作りなおすにあたってOctopressからHugoに移行しました。理由はなんとなくです。気分です。
で、OctopressのときはS3でホストしてたのですが同じじゃつまらないのでGoogle Cloud Storageでホストしてみました。でもデプロイ時にコンテンツのパーミッションを設定する方法がわからなかったり差分だけど持っていくやり方がわからなかったのでイマイチだと感じていました。

なんかないかなーと調べてたらGAEで静的ファイルを配信する方法が見つかったのでサクッと移してみました。

CentOS6にPostgreSQL7.3.1をソースインストール

Wed, 21 Oct 2015 00:00:00 +0000

備忘録です

環境

CentOS6.7 x86_64
PostgreSQL 7.3.1

ブログリニューアル

Sat, 10 Oct 2015 00:00:00 +0000

間違って前のブログのソースを消しちゃって更新できなくなったのでリニューアルしました。古いブログの自体はs3に残っているので見れるようにリンクしています。

リモートのdockerホストに接続する

Mon, 06 Jul 2015 00:00:00 +0000

インターネットの向こう側にあるDockerを使うを大いに参考にした。(丸パクリ

Xbuildでrubyセットアップメモ

Wed, 27 May 2015 00:00:00 +0000

yum install epel-release yum install make gcc kernel-devel zlib-devel openssl-devel readline-devel curl-devel sqlite-devel libyaml-devel libffi-devel cd /usr/local/ git clone https://github.com/tagomoris/xbuild.git /usr/local/xbuild/ruby-install 2.2.2 /usr/local/ruby-2.2.2 echo 'export PATH=/usr/local/ruby-2.2.2/bin:$PATH' > /etc/profile.d/ruby-2.2.2.sh exec $SHELL -l gem install bundler

2014年まとめ

Wed, 31 Dec 2014 00:00:00 +0000

2014年の出来事

1月から書き出していこうかと思いましたが全然覚えてませんでした。
なので覚えていることだけ。

CentOSのsystem領域にrubyの最新バージョンを手軽にインストールする

Fri, 05 Dec 2014 00:00:00 +0000

CentOS6系のパッケージでインストールされるrubyのバージョンは1.8.7です。さすがに低すぎるってことでもっと新しいバージョンを使おうってときに普通はrbenvやRVMを利用すると思います。でもdeamonからrubyを使おうとしたとき、rbenvで入れたrubyって少し使いづらいです。。

systemのrubyのバージョンを上げたいってとき、epelなどでもパッケージ提供されていないのでソースからインストールするしかないのかな〜って思ってます。
今回aws-sdkを使おうとしたらバージョン低すぎるよ！って言われたのでどうにかすることにしました。

Fluentdでsyslog受信しようとしたらハマった

Fri, 14 Nov 2014 00:00:00 +0000

スイッチとかのログを集めようと思って下記のような設定をしてテストしてみるも、エラーを吐いてうまくいかない。

#opst19に参加してきた

Mon, 27 Oct 2014 00:00:00 +0000

#opst19に参加してきました！
http://connpass.com/event/8638/
個人的にはかなりレベルの高いおもしろい内容でした！
ので、メモったものを公開します！

Opendkim設定

Tue, 21 Oct 2014 00:00:00 +0000

opendkimの設定したのでメモ。

JFT2014でAmazonS3の発表してきた

Mon, 08 Sep 2014 00:00:00 +0000

発表資料はこちら。

KVMでLiveMigrationしてみた

Mon, 18 Aug 2014 00:00:00 +0000

やってみました。
参考はこちら。

JTF2014行ってきた

Sun, 22 Jun 2014 00:00:00 +0000

JTF2014行ってきました。
朝起きれなかったので途中からの参加で、かつ夜仕事があったので途中で帰ったわけですが、とても貴重なお話が聞けました！
箇条書きですが自分がメモったことをざっと書きます。

Too Many Authentication Failures for User

Tue, 17 Jun 2014 00:00:00 +0000

macでsshしようとするとたまに出る。

[naoto@MBA ~] $ ssh root@192.168.5.222
Received disconnect from 192.168.5.222: 2: Too many authentication failures for root

hwclockのせいでOS起動しなくなった

Tue, 17 Jun 2014 00:00:00 +0000

CentOS 5系のサーバを何気なくrebootしたら上がってこなくなった。
慌ててリモートコンソール繋ぐと、

INIT: version 2.86 booting
Welcome to  CentOS release 5 (Final)
Press ‘I’ to enter interactive startup.

この画面で止まってた。。

Redmine構築

Fri, 06 Jun 2014 00:00:00 +0000

Redmine構築したのでメモ。(いつも忘れてググってるので。。)

環境

CentOS 6.5
Redmine 2.5.1
Ruby 2.0.0-p481
Nginx 1.6.0
MySQL 5.1.73

Apache Passengerは使わず、unicornで起動してproxyとしてnginxを使います。unicornはupstartで起動します。rubyはrbenvでお好きなものを。

インスタンスを複製してレプリケーション組んだら詰まった

Mon, 02 Jun 2014 00:00:00 +0000

ec2上にmysqlサーバ建てて、AMI作成してそこからインスタンスもう1台あげてレプリケーション組もうとしたら詰まったのでメモ。
いつも通り設定して start slave; して show slave status\G したらなんかエラー吐いてIOスレッド止まってた。。。

JAWS-UG青森#3でLTしてきた

Sun, 01 Jun 2014 00:00:00 +0000

JAWS-UG青森#3でLTしてきました。
資料はこちら。

Redis-Sentinelのclient-reconfig-scriptでVIPをつける

Sat, 24 May 2014 00:00:00 +0000

Redis-Sentinelを使って冗長化するとき、VIPの制御はどうしよっかな〜と思っていろいろ調べた結果、 client-reconfig-script を使うとVIP付けれそう！ってことがわかって、やってみたのでまとめ。

CentOS6でNAT設定

Tue, 20 May 2014 00:00:00 +0000

いつも忘れるのでメモ。

ローカルネットワークは192.168.10.0/24 とする。

sed -i "s|net.ipv4.ip_forward = 0|net.ipv4.ip_forward = 1|" /etc/sysctl.conf
sysctl -p
iptables -t nat -A POSTROUTING -s 192.168.10.0/255.255.255.0 -j MASQUERADE
service iptables save

KVMでconsole接続出来るようにするメモ

Thu, 15 May 2014 00:00:00 +0000

KVMでVM作成するとき、毎回console出来るようにする設定をググっていたので自分用にメモ。
+ ワンライナーにはならなかったけど、簡単なコマンドを。

参考元はこちら。
RHEL6/CentOS6/SL6 on KVM時のシリアルコンソール設定
 RHEL KVM (2) コンソール接続

Cake phpで作られたサイトのホスト名変えたときのエラー対応

Wed, 14 May 2014 00:00:00 +0000

cake phpで作られたサイトを別サーバに移して、ホスト名変更しました。
するとブラウザは真っ白。。ログにはこんなエラーが。。。

PHP Fatal error:  Class 'Dispatcher' not found in /PATH/TO/app/webroot/index.php on line 87