appengine ja night #14に参加しました

appengine ja night#14にて、AppEngine MapReduceと大量データ処理についてお話しさせて頂きました。

speakerdeck.com

Task ChainやQuery Chainの基礎的な話、AppEngine Mapperの仕組みについて解説しました。事例紹介などの派手なお話はできませんでしたが、何かお役に立ちましたら幸いです。間違いなどありましたらご指摘頂ければと思います。

スライドの下部に関連するURLもしくはFQCNを貼り付けてありますので、参考にどうぞ。

• Scatterプロパティについて http://code.google.com/p/appengine-mapreduce/wiki/ScatterPropertyImplementation
  • 補足：Scatterプロパティは0.8%の割合で付加されると記述されていますが、いくつかのカインドで実測してみると0.5〜0.8%でした。
• AppEngine MapReduceの事始め http://code.google.com/p/appengine-mapreduce/wiki/GettingStartedInJava
• シャーディング com.google.appengine.tools.mapreduce.DatastoreInputFormat#getSplits(JobContext)

Task QueueやMapperの調査は泥臭い測定実験を繰り返していたのですが、id:knj77さんの goto-toolsやid:bluerabbitさんのGAE GQL Helperが大活躍でした。めっちゃ便利です。いいね！

今回もたくさん勉強させて頂きました。皆様ありがとうございました！