開発

静岡、でグーグル検索した結果は以下の様なものです。

静岡県公式ホームページ ふじのくに総合トップページ
静岡の観光スポットランキングTOP10 – じゃらんnet
静岡県 &

というわけで、修正版です。

これで、「静岡」という検索結果のURL先のテキストをすべて抜き出せます。

スパゲッティ的ではありますが、実現が第一ということで・・・。

#!/usr/bin/perluse s ...

サンプルを作り特殊文字を含めてみて検証を行いました。

テストページ

そのままでテキストデータを取得します。

テストページ これはテストコンテンツです。 テストとは、英語のtestのカタカナ表記です。 ...

をHTML::TreeBuilderで解析しようとすると文字化けしてしまう。
headタグのみ
titleタグのみ
など絞るとOKなのですが、
html全体
bodyタグ内
を ...

今まで作ったものをつなげただけです。

#!/usr/bin/perluse strict;use warnings;use LWP::UserAgent;use HTML::TreeBuilder;use Jcode;# url ...

実は文字コードは、かなり色々あるのですが、基本的には3つです。

ShiftJIS
UTF-8
EUC-JP

ですね。
個人的にはEUC-JPが好みですが、
世の中のUTF-8化の流れには逆 ...

URLを抽出できるようになったので、次にそのURLのテキストを抜き出してみます。
実際には無駄な部分も取得されてしまうと思いますが・・・。

まずはこんな感じにして取得してみました。

#!/usr/bin/pe ...

url=&rct
の　ここ　のみを取得します。

というわけでこんなサブルーチンを作ってみました。

sub urlget{ my $url=shift; if ( $url=~/\?url\=(.*)\ ...

perlで取得した結果がなんか変だったので確かめてみます。

 

改めまして、「静岡」で検索しました。

静岡県公式ホームページ ふじのくに総合トップページ/url?url=静岡の観光スポットランキ ...

google検索結果を取得するにはAPIを使う方法がありますが、
無料分は100クエリまでということですので、普通に検索結果から取得してみます。

#!/usr/bin/perluse strict;use warning ...