かなりながーいエントリになる予定なので,結論だけ最初に書くとこんな感じ. 最速配信研究会 - 「コネクションプーリング都市伝説」はほんとに都市伝説?（その1) この話題については自分も あとで書く と言って書いてなかったので書いてみますよ。2006年の下期にもなってコネクションプーリングかよというツッコミもありそうですが、あとで書くといったら書くの。あと読むと...
『 ルディコープ社のウェブ開発リーダー、カル・ヘンダーソン（CalHenderson）はFlickrのバックエンドを2005年のヴァンクーヴァーでのPHPAssociationでかなり明らかにした 』
世間では PHP が、Perl が、と盛り上がっているようですが空気を読まずまたカーネルの話です。今回はページキャッシュについて。 /dev/shm に参照系ＤＢを持っていくと I/O 負荷が激減した件（当たり前だけど） :: Drk7jp で、ディスク上にあったファイルを /dev/shm (tmpfs) に移したら I/O 待ちがなくなって負荷がさがった、ということなんですがおそらくこれは tmpfs に置く必要はないか...
MySQL の MyISAM テーブルの最大サイズは通常4GBです。(OSのファイルシステムの制限が影響する場合はその限りではありません。) あるテーブルの最大サイズを調べるには、show table status を使ってみることができます。 mysql> show table status like 'feed' \G *************************** 1. row *************************** Name: feed Type: MyISAM Row_format: Dynamic Rows: 201456 Avg_row_length: 189 Data_length: 38121168 Max_data_length: 429496...
さて、移行記も #3 となりました。今回は先日作業を終えたはてなブックマークの移転について。 旧サーバールームからさくらインターネットのiDCへのサーバー移転作業にもだいぶ慣れて来たところですが、これまでは比較的はてな内の他サービスとの連携が疎になっていたり、負荷がそこまで高くないものであったりと移行しやすいものから持っていってましたが、そろそろ難...
Perlネットワークプログラミング―ソケットの使い方からクライアント/サーバーシステムの開発まで を読んでたら Chatbot::Eliza を使った簡単なスクリプトを、inetd 経由で動かしてデーモンとして動かすみたいな話がありました。inetd はその中で、標準入力や標準出力をクライアントとのソケットへ再オープンして、指定されたコマンドをデーモンとして実行するので、標準入出力を...
にて「数十台のMySQLサーバーで月間2億ページビューを支える「はてな」のDB運用の裏側すべて見せます！」として、はてなの伊藤さんの記事が！！ 闇プロジェクトをやる上で課題である、システム構成の設計ですごーく勉強になりました！ isiもzoeもインフラとかシステム構成付近にあまり経験がないので、ネットサービスを立ち上げるときサーバどうするよ？というのが大きな問...
『 「実践ハイパフォーマンスMySQL」読んでたところでhttp://del.icio.us/tag/flickr+mysqlあたりで見つけました。ロードバランシング以降の話（portexhaustion,10kvs15kdrive,SQUID辺りの具体的な数値とか）は知らなかったので勉強になりました 』
Linux には tmpfs という便利なファイルシステムがあります。 $ mount -t tmpfs -o size=64m tmpfs /dev/shm $ mount -t tmpfs -o size=64m /dev/shm /var/tmp とすると、/var/tmp がディスク上ではなくメモリ上に作られたファイルシステムとして mount されます。なので、/var/tmp は I/O 時にディスクI/Oが一切発生しない高速なディスクとして使えると。いわゆる RAM ディスク。(もちろんサーバーの電源を落とすと保...
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計...
MySQL のレコード取り出しの際に、ソートをランダムにできないものかと調べていたら、あった。 SELECT * FROM table ORDER BY RAND() こんな感じで。ソートを RAND にすれば良いという… MySQL でランダム表示 - Ceekz Logs そうそう、僕もこれは最近知ったんですが。Haropy でエントリーをランダムに取り出すのにも order by rand() を使ってます。Class::DBI::mysql に retrieve_random というメソッドがあって...
ライブドアの技術の話について書いた、その記事のコメント欄。最初は感情的な批判などがあって話題とは別の方向で炎上し気味だったんでうーんと思ってたんですが、後半になってきて少し面白い議論が出てきました。 こんな反応があった。 アクセス数が増加している段階で、ApachやAppServerのスレッド数をいじろうが、ヒープサイズを増やそうが、DBのパラメータをいじろうが...
