検索結果のURL先のテキストをすべて読み込む(修正版)[Perl]
というわけで、修正版です。
これで、「静岡」という検索結果のURL先のテキストをすべて抜き出せます。
スパゲッティ的ではありますが、実現が第一ということで・・・。
#!/usr/bin/perluse s ...
HTML::TreeBuilderでの文字化け対策
サンプルを作り特殊文字を含めてみて検証を行いました。
テストページ
そのままでテキストデータを取得します。
テストページ これはテストコンテンツです。 テストとは、英語のtestのカタカナ表記です。 ...
HTML::TreeBuilderで文字化けしたので検証した
をHTML::TreeBuilderで解析しようとすると文字化けしてしまう。
headタグのみ
titleタグのみ
など絞るとOKなのですが、
html全体
bodyタグ内
を ...
検索結果のURL先のテキストをすべて読み込む[Perl]
今まで作ったものをつなげただけです。
#!/usr/bin/perluse strict;use warnings;use LWP::UserAgent;use HTML::TreeBuilder;use Jcode;# url ...
文字コードを自動的にチェックしてテキストを取得する[perl編]
実は文字コードは、かなり色々あるのですが、基本的には3つです。
ShiftJISUTF-8
EUC-JP
ですね。
個人的にはEUC-JPが好みですが、
世の中のUTF-8化の流れには逆 ...