先日、Web::ScraperというPerlモジュールを初体験したのですが、これが非常に便利です。「今日のCPANモジュール」で紹介されているように、対話式のコマンドラインインターフェースがあって、これで実験しながらスケルトンを作成できるのも便利。Web::ScraperはHTMLの解析に強いのですが、クローリングに強いWWW::Mechanizeと組み合わせるとその素晴らしさは筆舌に尽くし難いものがあります。
ちょっと感動したので、今まで自分が使ったことのある、PerlのWebクライアントライブラリの系譜をまとめてみました。これを、以下のように理解して、使い分けています。
- クローリングのトレンドはWWW::Mechanize、Plagger、Gungho辺りを使い分け
- クローリング系ライブラリの基本はLWPとHTTP::*、どのライブラリでもこれらの知識は必要(たぶん必須)
- HTMLパースのトレンドはHTML::TreeBuilder::XPathを中心に、使えるところではWeb::Scraper
- ほんのちょっとのHTMLパーシングや特定のコメントタグ間(たとえばgoogle_ad_section)を抜き出したい時はHTML::TokeParserかHTML::TokeParser::Simple
図のコメントは私の個人的な使用感、使い分けについても、多分こうだろうと思うのですが、最近のPerl界の動向を追いかけられてないので、もしかしたらもう違うかもしれません。ただまず間違いないところでは、本気でPerlでWebクライアントする気なら「HTTP::LiteとかLWP::Simpleいいよね、パースは正規表現で」とか言ってないで、LWPを使い始め、その先の世界に踏み込むのです。絶対便利だから。
余談だけど、Web::Scraperは一昨日使い始めたのだけど、コードを晒してWassrで突っ込みをもらって修正して、で一気に理解できました。「わからないことは、決して恥ずかしいことじゃない」の話そのまま。
Wassrで悲鳴をあげてはtokuhiromさんに「Web::Scraper::Filterのドキュメントなんて現存しないから」とコードを教えてもらい、コードを晒せば「Scraper入れ子でok」とotsuneさんに添削され、自分で調べてたらいつまでも「わかんねーよー」と悲鳴をあげ続けるところを3時間でマスターしました。しかしこういうことには、今使ってるTumblrとかVoXは、トラックバックやオープンなコメントのやり取りができない分、弱いな。
25日にβオープンしたソニーのライフログサービス「Life-X」、koyhogeさんからチケットを分けていただいて試用しています。
使い込んでいるということもなく、1日1回覗いて、ちょっといじってみてという感じ。試用日記...というか、試用中のWassrログを転載します。
- 2008-09-25 23:55:33
koyhogeさんにβアカウント登録パスワードをもらったlife-xに登録してみた。ブログを設定したのだけど、これでマイコンテンツに出てくる...わけでもないのかな?よく分からないけど、やっぱり今日は限界。週末にもっと見よう。登録した人、ニックネームtsukamotoをよろしくね! - 2008-09-26 12:48:51
Life-X、一晩たったらフィードが取り込まれたみたい。写真とWebクリップを一つずつ追加してみた。楽しむには、Flickr、Twitterを使うべきかな...。あとフレンド!フレンド!誰か使おうよ! - 2008-09-27 18:17:52
Life-X、まだ25日までのブログ記事しか表示されない。クローリングの実際「這って」るんじゃないのかと思う遅さがBoo! > tsukamoto - 2008-09-27 22:08:34
Life-Xに写真をあげると、リサイズされた後の画質がひどすぎる。試しにIrfan Viewでリサイズ(リサンプル)してみたけど、こんなガチャガチャした絵にならないよ! - 2008-09-28 12:36:50
Life-Xの「ホーム」に出てクラタイムラインは結構いい感じ。カーソルキーの左右でするするっと流れていくのもなかなかいい。Tumblrに正式対応して、Photoは画像として見せてくれると嬉しいんだけどな。
「キャズムを超えろ!」「め~んずスタジオ」に本格的な試用レポートエントリがあって、「キャズムを超えろ」で指摘されている画面の分かりやすさや、画面遷移の適切さといった面で不出来なのは同感。また上でぼやいているように、ブログクロールの頻度がひどく低いような気がする。Twitterの他にWassrに対応してもらいたいし、Tumblrに対応してPhotoやMovieを適切に扱ってほしい。画像縮小のひどさはクオリティのソニーとは思えない。
...と一通りぼやいてみますが、トップページのタイムラインはとてもいい感じなのです。これが。カーソルキーの左右でするするっと流れて行って、気持ちが良い。今の多種多量のコンテンツを抱えるUGCサイト、ソーシャルサイトのトップページデザインとして、このコンセプト実証をしてるのなら手放しで褒めたくなるんだけどな。
ちょっとおもしろいツール、常用するにはまだなんだけど、息抜き時間に眺めるにはイケる感じ、いまのところ、そんな感想です。使ってる人、ニックネーム「tsukamoto」をよろしくね!
Android携帯「T-Mobile G1」が米T-Mobileから発表された。公式サイトにはT-Mobile G1 Press Conferenceの様子なども掲載されている。いくつかの記事にざっと目を通したが、目を引いた特徴を列記しておく。
- T-Mobile社から発売、端末の開発は台湾のHTC社(ITpro)。
- 米国では10月発売、T-Mobile社との2年契約で端末価格179ドル(ITpro)。
- 11月には英国、2009年第1四半期にはドイツ、オーストリア、チェコ、オランダで発売(ITpro)。
- Google MapsやGoogle Street Viewを利用可能、GPSと連動(ITpro)。
- GmailやCalendarのプッシュ配信に対応(マイコミジャーナル)。
- 全検索機能「コンテキスチャルサーチ」、数文字のタップ入力で連絡先からインターネットまでで全情報を検索(ZDNet)。
- 音楽プレーヤーは全楽曲DRMフリーのAmazon MP3ストアへのアクセスも可能(ZDNet)。
- 「Android Market」からアプリケーションをダウンロード、購入可能(ZDNet)。
- 開発者は「Android Market」を通じてアプリケーションを配布、販売可能(Computerworld.jp)。
また、日本の携帯アプリケーション市場からいえば、次の指摘は(既に言い古されているけれど)Android携帯以前と以降で大きく変わる点だろう。
同社(Google)はかねてから、携帯電話業界では、ユーザーがダウンロードして使えるアプリケーションを携帯電話事業者が規制する場合が多いことに不満を表明してきた。また、携帯電話キャリアは、GPSやVoIPなど特定の電話機能を利用するアプリケーションの動作(キャリア各社の事業戦略上)を禁止することもある。Androidを利用することで、Googleは、ほぼあらゆるモバイル・アプリケーションの開発も可能になる。
【解説】初のAndroid携帯電話「HTC Dream」に、iPhoneほどのインパクトはなし : Googleウォッチ - Computerworld.jp
ファーストAndroid携帯、T-Mobile G1は、ずば抜けてではないにせよ、間違いなく高機能携帯端末だ。ハードウェア的にも、ソフトウェア的にも、携帯電話に望めるものの大半が揃っているように見える。
これらがキャリアの制限を受けず、各種ハードウェア機能から、GMailなどを介したプッシュ配信などとの連携まで、自由に触れられるなら...。そして開発したものを、Android Marketというアプリケーションストアで販売できるなら...。これは、Google内の開発者だけではなく、一般の開発者にも魅力的なことだろう。日本にも、ややこしい制限抜きで入って来るのだろうか?そうなるのであれば、とても魅力的な端末だと思う。
最後に、ここまでリンクしてきた記事を列記しておく。私が読み飛ばしているところは、あなたが読み込んでほしい。
- Android搭載の商用端末,米国で10月に発売開始:ITpro
- 【レポート】速報レポート - 初のAndroid端末「T-Mobile G1」がNYでお披露目 | 携帯 | マイコミジャーナル
- 米T-Mobile、Android搭載端末「G1」発表 - 背面にGoogleロゴ | 携帯 | マイコミジャーナル
- Android搭載の携帯電話「T-Mobile G1」が正式発表--「Android Market」もオープン - ネット - ZDNet Japan
- 【解説】初のAndroid携帯電話「HTC Dream」に、iPhoneほどのインパクトはなし : Googleウォッチ - Computerworld.jp
昨晩、帰宅してから話題のGoogle謹製ブラウザ「Google Chrome」をインストールしてみた。一昨晩は公開を待てずに寝てしまったし、昨日は会社からはプロキシが悪さするのかうまくインストールできなくて、ようやくだった。
感想を一言でいえば、速い。
本当に「○○より体感できるほど速くなった」なんてレベルじゃなくて、別次元で速いと思う。今日の私のタイムラインを見直せば、本当に自分が驚いていた、浮かれすらしたことが分かる。
2008-09-04(Thu) 22:38:10 「一日アクセスできないとwasrr追い切れない!購読増やし過ぎたか!」と弱音を吐きそうになったことを反省して、購読してくれている方をまた少し購読リストに追加。
(この間にGoogle Chromeをインストールし、使い始めた)
2008-09-04(Thu) 23:55:42 Google Chromeの速さって変。tumblrとか速すぎて嘘くさい。JSの実行速度とかレンダリングだけであれだけ早くなるの?てことは通信時間って、実はたいていのサイトですごい短い?
2008-09-05(Fri) 00:10:56 そしてあっという間に昨晩のところまでタイムラインたどれたGoogle Chromeの速さって変!Google Chromeの速さって変!てか、今までのWassrタイムって、ほとんどブラウザに待たされてる時間だったりする?
2008-09-05(Fri) 00:35:58 「この速度ならイけるっ」とか呟きつつ、さらに購読リストを追加してみた。明日の昼休みとかに、タイムラインを消化できるかチャレンジするのが楽しみ。
tumblrのdashboardや、wassrのタイムラインを次々にページを読み進んでいく時、Google Chromeの速さは本当に驚きだ。このレスポンスは、ある意味で麻薬的だとも思う。
もちろん、Google Chromeが完成されていると最高だとかいう気はない。
実際、tumblrへの投稿(share on tumblr)しようとしたら、スクリーンショットのようになった。なんだか、HTMLタグが直書きされているように見える部分は、本来はWYSIWYGエディタとして提示されるはずだ。そしてFirefox 3はもちろん、Internet Exploler 8β2+Sleipnirという私の環境でも、そうなる。
このエントリも、最初はGoogle Chrome上で書き始めた。voxでは本文部がWYSIWYGエディタになっているように見えた。しかし、例えば太字修飾アイコンを一度クリックしても太字にならず、再度クリックすると太字になるといったことが繰り返して、今はIE8β2+Sleipnir環境で編集の続きをしている。
だが、これにはGoogle Chromeエクスペリエンスと呼ぶに値するものがあると思わされる。
ちょっと前に「ユーザにこれまでと違う体験を実感させる、○○エクスペリエンス」といったキャッチがはやった。Google Chromeの現状は、これだと思う。「これは違うぞ?」「この速さは、ブラウジングの意味を変えるぞ?」そう思わせる。
例えば、俗にtwitter(マイクロブログ)は1000人の投稿を購読するようになると、タイムラインの意味が変わる、という。でも、ブラウザでtwitterにアクセスしていた僕には、50人の購読というのが現実的に追える上限だった。それは常時インスタントメッセンジャーを起動している(国内では一部の)人だけが知っている、僕から見れば「向こう側」の世界だった。しかし、Google chromeであれば、1000人はどうかわからないが、200か300人までは購読を増やしてもさばけそうな気がする。これは「向こう側」を覗ける数字だ。
「大量に購読できる・できない」で思い出したのは、RSSリーダサイトなどで配布されているRSSのセット(OPML)。「著名ブロガー○○氏のセット」といったものを取り込んで見ると、日に1000件以上の記事が流れ込んでくる。この記事数を流してでも読み、「情報の流れに浸る」と情報感覚が生まれてくるそうだ。しかし、以前に調べた頃で新聞主要紙の朝刊記事数は300~500ぐらい、これは二紙分にもなる量だ。現実には新聞のようなペースは流し読めず、未読が積み上がってギブアップした。しかし、Google chromeであれば、読み切れるかもしれないと思える。「情報の奔流に浸る」の感覚を得られるかもしれない。
Google chromeは、これまでと違う速さを体験させてくれる。今のところ、不完全さ(あるいは現在のWebサイト群、Webライブラリ群とのミスマッチ)がたしかにある。しかし、これまでの「いろんな情報を得られる」ブラウジングとは別の、「情報の流れに浸る」ブラウジングを体験させてくれる。それが、Google Chromeを試してみる価値じゃないかと思う。
「読みたかったのに今まで読み切れなかった」サイトなどがあれば、この体験ができるかもしれない。できれば、BBS、SNS、ブログ、マイクロブログなど、ある程度フィルタされた情報が大量に流れているサイトがいい。もしあれば、一度試してみると良いと思う。