URL内のテキストをすべて抜き出すには[Perl編]

2017年6月10日

URLを抽出できるようになったので、次にそのURLのテキストを抜き出してみます。
実際には無駄な部分も取得されてしまうと思いますが・・・。

まずはこんな感じにして取得してみました。

#!/usr/bin/perl

use strict;
use warnings;
use LWP::UserAgent;
use HTML::TreeBuilder;
use Jcode;

# urlを指定する
my $url = 'https://www.pref.shizuoka.jp/';
# my $url = 'http://www.jalan.net/kankou/210000/';
print $url."\n";
# IE8
my $user_agent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)";

# LWPを使ってサイトにアクセスし、HTMLの内容を取得する
my $ua = LWP::UserAgent->new('agent' => $user_agent);
my $res = $ua->get($url);
my $content = $res->content;

# HTML::TreeBuilderで解析
my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

# DOM操作
my @items =  $tree->find('html');
print $_->as_text."\n" for @items;

このように取得できました。

静岡県公式ホームページふじのくに総合トップページこのサイトではJavaScriptを使用したコンテンツ・機能を提供しています。JavaScriptを有効にするとご利用いただけます。本文へスキップします。静岡県文字サイズ・色合い変更音声読み上げふりがなふりがな非表示Other languageサイトマップメニューここから本文です。緊急情報水難事故注意報の発令（6月1日～6月30日）北朝鮮の「弾道ミサイル」に係る本県の対応県政情報総合案内、電子行政サービス、ようこそ知事室へ、県へのご意見、県の広報、採用情報、入札情報などふじのくに魅力情報観光情報、グルメ、食材、静岡に暮らす、富士山ガイド、富士山静岡空港などライブカメラ富士山ビュー県庁へのアクセス各種お問い合わせ著作権・リンクについて個人情報保護についてユニバーサルデザインに配慮したページ〒420-8601 静岡県静岡市葵区追手町9番6号電話番号(県庁案内)：054-221-2455 Copyright ・hizuoka Prefecture. All Rights Reserved.

割と良いかも？と思いましたが
JavaScriptを有効にするとご利用いただけます。
てなっていますね。これは仕方ないですかね・・・

JavaScriptの部分はグーグルでも拾えていないとおもいますし。

次に、2件目の
http://www.jalan.net/kankou/210000/
をやりますと、盛大に文字化け・・・。
見てみると、「ShiftJIS」ですね。

とりあえず、取得の部分を以下のように変更ました。

my $content = Jcode::convert( $res->content ,"utf8" , "sjis");

この書き方で「ShiftJIS　から　UTF8　に」となります。
感覚的には逆ですよね。。。

静岡の観光スポットランキングTOP10 – じゃらんnet 国内の観光スポット・イベント情報はじゃらんnetじゃらん PRODUCED BY RECRUIT 日本最大級の宿・ホテル予約サイト予約照会・変更・キャンセルマイページ宿・ホテル予約出張ビジネス温泉・露天高級宿日帰り・デイユースじゃらんパック（交通＋宿泊）遊び・体験予約観光ガイド旅行ガイド観光ガイドご当地グルメガイドイベントガイドお土産ガイドみんなの旅行記ツアーレンタカー高速バス航空券海外ホテル海外航空券航空券＋ホテル観光ガイド旅行ガイド観光ガイドご当地グルメガイドイベントガイドお土産ガイドみんなの旅行記海外ツアーはエイビーロードサイトのご利用方法ヘルプ/問い合わせ観光ガイド＞静岡の観光ようこそ、ゲストさん（ログイン）新規会員登録静岡の観光スポット静岡県での観光となると誰もが真っ先に思いつくスポットが霊峰富士山だろう。世界遺産にも指定されている富士山近隣には村山浅間神社や須山浅間神社など所縁ある寺社も多く、富士信仰の歴史文化も垣間見ることができる。熱海市や伊豆市は国内屈指の温泉街のため年間を通して多くの旅行者が足を運んでいる。また、天下を統一した徳川家康の居城としても知られる駿府城や浜松城などの城郭も目にすることができる。・・・・・・・

今度はかなり長く取れました。
実はもっともっと長いです。

次はエンコードチェックを自動にして、10件のURLを一気に処理するようにしてみます。

開発

文字コードを自動的にチェックしてテキストを取得する[perl編]