Webサイト構築で面白いのは、つい先日までどう見ても小規模なユーザーベースで動作していたサイトが、瞬く間に数万人、数十万人のユーザーを抱えることになったりする*ことです。また、最初は小規模だったアプリケーションが、少しずつ改善していくうちに、大規模なアプリケーション*になることがあります。本稿では、徐々に大きくなるWebアプリケーションをスケーラブ...
六本木ヒルズで開催されたライブドア次世代テクノロジーセミナーに、会社の同僚の秋元さんと一緒に行って来ました。 当社は長い受託ビジネスやWEB開発から蓄積した、膨大な経験と実績を使い、現在UU14,336千人、月間約22億PVというポータルサイト 「livedoor」を構築するまでになりました。そこには飽くなきローコストへの挑戦と、多くの優秀なエンジニア、更には膨大なインフ...
かなりながーいエントリになる予定なので,結論だけ最初に書くとこんな感じ. 最速配信研究会 - 「コネクションプーリング都市伝説」はほんとに都市伝説?（その1) この話題については自分も あとで書く と言って書いてなかったので書いてみますよ。2006年の下期にもなってコネクションプーリングかよというツッコミもありそうですが、あとで書くといったら書くの。あと読むと...
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャの...
絨毯爆撃ブラウザという単語を目にしたのはこの記事が最初だった気がする。 このところはてなブックマークへの過度なアクセスがよく見られます。User-Agent などを見ていても特殊な bot などのものではなく、その多くが Internet Explorer や Firefox などの一般のブラウザのそれを名乗っています。 中には、目立たないようにそういった User-Agent を敢えて名乗っているリクエストもあり...
『 ActiveRecords、複数のデータベースに接続、←Twitter高負荷対策と関連（?）、←Rails 』
『 ルディコープ社のウェブ開発リーダー、カル・ヘンダーソン（CalHenderson）はFlickrのバックエンドを2005年のヴァンクーヴァーでのPHPAssociationでかなり明らかにした 』
世間では PHP が、Perl が、と盛り上がっているようですが空気を読まずまたカーネルの話です。今回はページキャッシュについて。 /dev/shm に参照系ＤＢを持っていくと I/O 負荷が激減した件（当たり前だけど） :: Drk7jp で、ディスク上にあったファイルを /dev/shm (tmpfs) に移したら I/O 待ちがなくなって負荷がさがった、ということなんですがおそらくこれは tmpfs に置く必要はないか...
原稿を書けと言われて、オープンソースマガジンを二号ほど続けて買ったのですが、オープンソースに明るくない僕にも意外と面白くて、夢中になって読みあさりました。 今日は先月号を重点的に読んだのですが、先月号のテーマは、ズバリ、負荷分散。 ライブドアとGREEの方がそれぞれの負荷分散メソッドをかなり詳細まで語っているのですが、結論から言うと、こういうこと...
MySQLサーバに限らず、大量のアクセスを処理するデータベースやアプリケーションサーバ群に対して、それぞれの環境に合わせたチューニングを行うことは企業システムにおいて必須の項目です。しかし「チューニングすべきパラメータとその最適値をどのように決定すればよいのか」、また「実際にチューニングを施すことによってどの程度効果があったのか」を...
『 in-memoryかーうーん 』
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッシ...
本連載はインプレスから10月5日発刊の書籍「仮想化技術完全攻略ガイド」から、一部抜粋し転載したものです。今回は、CentOSにおける不要なモノの削除方法について紹介していきます。 Xen管理ツールの現状 第３回：リファレンスを狙うVirtual Machine Manager 著者：びぎねっと 宮原 徹 2006/10/20 本連載では、現在注目されている仮想化ソフトウェアXenを取り上げ、そ...
http://d.hatena.ne.jp/naoya/20060407/1144376197 ではてなおやさんがYouTubeの負荷分散について語っておられる. mixiの負荷分散とは質が違うことについてはおおむね同意だけど, YouTube のシステムを見たときにその焦点になるのは、まず第一にネットワーク帯域。第二にストレージをどうしているかというところじゃないかなと思います。動画配信にリソースがいるポイントは、ネットワーク帯域...
『 スケーラリビリティについて。Diggの例。 』
『 Ｗｅｂサイト・パフォーマンスチューニングに関する情報まとめ。Apache、MySQL、IIS、ログ、モニタリング、JavaScript、HTMLなど。 』
さて、移行記も #3 となりました。今回は先日作業を終えたはてなブックマークの移転について。 旧サーバールームからさくらインターネットのiDCへのサーバー移転作業にもだいぶ慣れて来たところですが、これまでは比較的はてな内の他サービスとの連携が疎になっていたり、負荷がそこまで高くないものであったりと移行しやすいものから持っていってましたが、そろそろ難...
あくまで憶測で仮説でしかないんですが。 MySQL のストレージエンジンのうち代表的な二つ、MyISAM と InnoDB はよく MyISAM: Read は速いけどテーブルロックのため並行性が低い。運用が簡単。 InnoDB: MyISAM より Read は遅いけど並行性が高い 。行レベルロックなので。あとトランザクションや外部キー制約。運用が MyISAM よりちょっとめんどくさい。 という区別がされます。ここから転じ...
というわけで、ここが新サーバです。これで平日昼間の発狂したかのような重さが改善されればよいのですが……。次の段階は複数台による負荷分散ですね。 というわけで、やたら重い状況を多少改善してくれた各種設定などは以下から。
[http://d.hatena.ne.jp/yamaz/20061013:title=前回のシリアル/パラレル処理の視点]に立ってコネクションプールについて考えてみたい. コネクションプールが遅いとは [http://d.hatena.ne.jp/naoya/20060912:title=はてなおやさん]が考察しているように 普通にmod_perl でコネクションプールを素直に張るとコネクション数が爆発する. 図にすると図1のような感じで個々のapacheがコネクションを複数持つので,...
