六本木ヒルズで開催されたライブドア次世代テクノロジーセミナーに、会社の同僚の秋元さんと一緒に行って来ました。 当社は長い受託ビジネスやWEB開発から蓄積した、膨大な経験と実績を使い、現在UU14,336千人、月間約22億PVというポータルサイト 「livedoor」を構築するまでになりました。そこには飽くなきローコストへの挑戦と、多くの優秀なエンジニア、更には膨大なインフ...
『 OSSiPedia（オーエスエスアイペディア）は、OSS関連情報データベースです。OSSの利用促進を進めることを目的とし、OSSの活用事例、技術情報、またオープンソースに関する基本的な知識を整 』
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャの...
『 ActiveRecords、複数のデータベースに接続、←Twitter高負荷対策と関連（?）、←Rails 』
『 ルディコープ社のウェブ開発リーダー、カル・ヘンダーソン（CalHenderson）はFlickrのバックエンドを2005年のヴァンクーヴァーでのPHPAssociationでかなり明らかにした 』
データベースやアプリケーションサーバといったOSSミドルウェア適用における課題は、もはや性能ではない――。 独立行政法人情報処理推進機構（IPA）の委託で、大手SIベンダやハードウェアベンダなど9社が中心となって2004年から実施している「OSS（オープンソースソフトウェア）性能・信頼性評価プロジェクト」の第4回目の成果が発表された。PostgreSQLやMySQLといったOSSの...
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッシ...
http://d.hatena.ne.jp/naoya/20060407/1144376197 ではてなおやさんがYouTubeの負荷分散について語っておられる. mixiの負荷分散とは質が違うことについてはおおむね同意だけど, YouTube のシステムを見たときにその焦点になるのは、まず第一にネットワーク帯域。第二にストレージをどうしているかというところじゃないかなと思います。動画配信にリソースがいるポイントは、ネットワーク帯域...
ダイナミックWebサイトの構築ではPerlとPHPが広く使われている。では、mod_perlとmod_phpのパフォーマンスはどちらがよいのだろうか。ちょっとしたテストをしてみたので報告する。 2006年08月25日 14時05分 更新 ダイナミックWebサイトの構築ではPerlとPHPが広く使われている。なにしろ、LAMPスタック（Linux、Apache、MySQL、 Perl/PHP/Python）に含まれる「P」の3分の2なのだ。それでは、通常のWeb...
『 スケーラリビリティについて。Diggの例。 』
さて、移行記も #3 となりました。今回は先日作業を終えたはてなブックマークの移転について。 旧サーバールームからさくらインターネットのiDCへのサーバー移転作業にもだいぶ慣れて来たところですが、これまでは比較的はてな内の他サービスとの連携が疎になっていたり、負荷がそこまで高くないものであったりと移行しやすいものから持っていってましたが、そろそろ難...
『 id:teramako経由。ありがとうございます。MySQLiciousはLike検索かFulltext検索。ScuttlesolutionとToxisolutionはhaving句を使うのが目から鱗。データセットも小さいですし、MySQLiciousがベターでしょうな。 』
あくまで憶測で仮説でしかないんですが。 MySQL のストレージエンジンのうち代表的な二つ、MyISAM と InnoDB はよく MyISAM: Read は速いけどテーブルロックのため並行性が低い。運用が簡単。 InnoDB: MyISAM より Read は遅いけど並行性が高い 。行レベルロックなので。あとトランザクションや外部キー制約。運用が MyISAM よりちょっとめんどくさい。 という区別がされます。ここから転じ...
というわけで、ここが新サーバです。これで平日昼間の発狂したかのような重さが改善されればよいのですが……。次の段階は複数台による負荷分散ですね。 というわけで、やたら重い状況を多少改善してくれた各種設定などは以下から。
[http://d.hatena.ne.jp/yamaz/20061013:title=前回のシリアル/パラレル処理の視点]に立ってコネクションプールについて考えてみたい. コネクションプールが遅いとは [http://d.hatena.ne.jp/naoya/20060912:title=はてなおやさん]が考察しているように 普通にmod_perl でコネクションプールを素直に張るとコネクション数が爆発する. 図にすると図1のような感じで個々のapacheがコネクションを複数持つので,...
Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリ食い Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ...
こんにちは。mixi開発部のyouheiです。 今回は先日8月4日にリリースした「エコー」について書きたいと思います。 ■エコーとは まずはエコーとはどういう機能かのご紹介ですが、プロモーションページがございますのでそちらをご覧いただければ幸いでございます。 http://mixi.jp/guide_echo.pl いくつか抜粋しますと、 あなたの“今”を一言にしてみませんか？誰かに伝えたいこと、ひ...
先日「DSASのあれこれ」というタイトルでKLab主催の勉強会を開催しました。 そのときの発表資料と音声を公開します。 発表資料(PDF 1532KB) 音声(MP3 57350KB) ※音声はボリューム最大にしないと聞こえないかもしれません・・ごめんなさい ※資料はPDFに変換しているのでアニメーションがありません・・ごめんなさい 内容は DSASの設計思想 かたっぱしから冗長化 NICを冗長化してみよう ...
MySQLのネタ。 １台しかない環境でエセ負荷分散、マスター・スレーブの関係を作る。 MySQLで負荷分散を考えたとき、 １台目にマスターのＤＢサーバー、 ２台目以降をスレーブのＤＢサーバーとして用いる。 マスターは更新系のみのＳＱＬ文を、 スレーブは参照系のみのＳＱＬ文を投げる。 こんな負荷分散を１台のサーバーで行う必要が出てきた。 ※現在１台でやっていて、デ...
『 HighScalability｜Buildingbigger,faster,morereliablewebsites. 』
