GeekFactory

int128.hatenablog.com

2010-11-01から1ヶ月間の記事一覧

AppEngineで大量のエンティティを処理するパターン

App Engine上で大量のエンティティを処理するパターンをまとめてみました。 Concurrent Pattern 対象のエンティティをシャードに分割し、それぞれを並列に処理するパターンです。シャーディングを行うSplitterとエンティティを処理するMapperが並行して動き…

47,000件のbatch putを16秒で処理

以前に 大量のエンティティを処理するデザインパターン - GeekFactory を紹介しましたが、シングルスレッドのバッチ処理なのでスループットが頭打ちになる問題がありました。コンカレントに処理する方法を思いついたので実装してみました。シングルスレッド…

2010年度下期の自宅サーバ投資計画

Linux KVMのLive MigrationやDirect attachment to physical interfaceを使ってみたいため、自宅サーバの設備投資を計画しています。VMゲストに十分なメモリを割り当てたいというのもあります。開発環境はメモリ大食いですね。というか、メンテナンスでサー…

Linux KVMにWindows Server 2008 R2をインストールする

Linux KVMにWindows Server 2008 R2をインストールする際のポイントを紹介します。 virtioドライバを準備する QEMUはe1000などの各種のデバイスをエミュレートしてくれますが、余分なオーバーヘッドが発生します。virtioは仮想I/Oデバイスのフレームワークで…

appengine-mapreduce-javaにおけるShardingの制限事項

appengine-mapreduce-javaで並列度が上がらないから変だと思っていたら、ユーザガイドに以下の記述がありました。 Sharding is currently done by splitting the space of keys lexicographically. For instance, suppose you have the keys 'a', 'ab', 'ac'…

security-constraintによる認証と認可について

web.xml で security-constraint を記述すると、指定したURLパターンについてOpenID Providerによる認証が有効になります。認可の設定は role-name で指定します。 role-name=* すべてのユーザに対してアクセスを許可します。アプリケーションでは User#getF…

Webサーバ勉強会で発表しました

Webサーバ勉強会に参加しました。speakerdeck.com渋谷マークシティにあるきれいなオフィスにお邪魔しました。夜景がきれいでした。懇親会楽しかったです!皆様ありがとうございました。