メモ

FastladderをCentOS on VMwareにインストールし、LDRからフィードを適当に50個位ピックアップしてインポート後、暫くcrawler走らせてたら、

VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
1862m 1.4g  664 D  3.0 92.5   8:01.60 ruby

なんだこりゃと思ったら、

• shunirr.org - Fastladderクローラのメモリ使用量を10分の1以下にするハック

これらしい。favicon如きでそんなになるのか?と半信半疑で上記の通りやったら、一発で改善して何時間走らせても38Mのままになった。

• shunirr.org - Fastladderのクローラが重かったり重くなかったりする件
• Fastladderのcrawlerのメモリ消費量 - 浅学少識日記帳

あと上記とは別に、最初crawler走らせてたらMySqlの設定が悪くて知らない内に落ちてたみたいで、その状態で知らずに放っておいたら、crawlerが大量にログを吐きまくって数時間で数Gを食いつぶし、ディスク使用量100%になって酷いことになった。

Rails部分のソースだけざっくり眺めたけど、基本的にはほぼ単純なCRUDに徹していて、さくっとバリデートして保存したり、JSONでデータを返したりしてるだけのようだった。元のLDR/FastladderのサーバサイドはCatalyst+Sledgeで出来ているとのことで、そちらはもっと複雑なのだろうけど、やはりJavaScript部分こそがLDR/Fastladderのポイント、という事かな。(膨大なJavaScriptのコードは、自分には相当難易度がが高そう。)