Python Developer Festa参加してきたので、そのメモ

Cloudera Impalaについて

@shiumachiさんより。

Impalaとは

  • Clouderaが開発した低レイテンシ・分析特化型のクエリ実行基盤
    • google Dremel, Google F1などにインスパイアされて開発された
  • データサイエンティストが使うことを想定している
  • Hadoopはクエリの内容がメモリーに乗っからなかった場合、HDDに逃げちゃう
  • Impalaはオンメモリー上で頑張ろうとする

Impala support状況

02時点
  • Trevni, RCFileのサポートは現状まだ、今後に対応予定
  • Hiveで出来ることは、基本的にImpalaでは出来ないと思ってよい

なぜ開発されたのか

Hadoop(Map Reduce)だと高レイテンシで、すぐに結果が欲しくても処理に時間がかかる。

Hiveのようで手軽に使えるSQLのインターフェイスをもち、かつ低レイテンシエンジンが欲しかったからです。

MapReduceとは

  • Apache MapReduceとは
    • バッチ処理を分散して行うシステム
  • Apache Hive
    • SQLライクに書ける
  • MapReduceの問題
    • レイテンシが高い
    • 小さいキューを出しても数十秒時間かかる

よくある質問

QもうHiveいらないんじゃない

  • 定期的に実行を行うクエリなどはHiveのほうが適しているのではないか

Qimpalaが落ちたらどうするの

  • クエリが全部こけます
  • JOINのサイズ制限あるの
    • あります

Python in Webkit

@omo2009さんより。

Third party Tools

  • WebKit
    • Buildbot
    • Trac

今回は webkit-patch について

# Submitting for review
webkit-patch post
# Commiting a reviewd patch
# Commit log は自動で書く
webkit-patch land
# Reverting specific version
webkit-patch rollout
#

プロジェクト特有の問題を解決するために使っている。

watchlist
suggest-reviewers
suggest-nominations
Bugzilla autocompletion
IRC
  • 誰にレビューしてもらえば良いかわからない
  • 誰にレビューしてもらったか忘れちゃう
  • 探すのに便利

IRCでレビューを頼むと断られにくい。

Connpassについて

@lanMLewis, @ae35 概要と技術について。

connpassとは

  • BePROUDで運営しているイベント支援サイト
    • 201008 django dash
    • djangoを使って48時間でサービスを作ろう
    • 既存のイベント支援サービス(ATND)使いにくいよね
    • 作ってみよう
    • 大事だと思ってること
    • 実生活のつながり
    • 共有・成長する
    • イベントから広がるコミュニティ

connpassで使われている技術

  • サーバーサイド
    • MySQL
    • Redis
    • Django
    • Unix
    • Nginx
    • Gunicorn
  • クライアントサイド
    • CoffeeScript
    • REQUIRE JS
    • JavaScript怖い

PHP Language Update

PHP 5.5の目玉

  • ジェネレートとコールーチン
    • yieldキーワードの追加
  • foreachで変数分解だ
  • empty()の括弧内に変数以外が指定可能に
  • finally
    • try-catch-finally
    • なぜ今までになかったのか
    • fatal errorが発生すると finaly が呼ばれない

Pythonでお仕事している人が日本にもたくさんいて嬉しいです。

発表者のみなさまおつかれさまでした。

python