とりあえずsnoopy問題は解決なので、
phpと格闘中。
サイト構造をリンク先を全て辿って、取得するphpを書いてます。
一つのページのリンクから重複するものと、別フォルダのものを削除して、
取得するのはできた。
次はその取得したページ全てで同じ挙動をして、
なおかつそれの繰り返しをできるようにしなくちゃ。
ただ取得したURLを今のところ配列で保存してるんだけど、
これ、どのくらいの規模までいいんだろ？
おとなしくデータベース使ったほうがいいのかな？
でも一時的に使うだけだしなぁ。
とりあえずは配列でやろ。
