目処がたったのでポスト。
2週間ほど前から地元ホールのデータサイトがGoogleのreCAPTCHAを採用、スクレイピングが弾かれるようになった(´・ω・`)
Googleの最新版は人の操作がない。文字の認識とかしなくて良い。プログラムが自動判定、人かbotか見分けてる模様。そもそも私のスクレイピングはhttpsのAPIリクエストを呼ぶだけで、GoogleのreCAPTCHAを実行してないからAPIが通らない(そりゃそーだ)。
で、自動化できる奴。
WebDriver | MDN https://developer.mozilla.org/ja/docs/Web/WebDriver
WebDriverをPerlから操作できるモジュール。
WebDriver::Tiny - Selenium 2.0 bindings for Perl - metacpan.org https://metacpan.org/dist/WebDriver-Tiny/view/lib/WebDriver/Tiny.pod
VPSのほうはすっかり諦めてお試し期間中に解約しちゃった。この「お試し期間2週間」はホントに助かる(ほっ)。
さくらのVPS for Windows Server https://vps.sakura.ad.jp/windows/
VPSでのスクレイピングを諦めて、自宅PCのブラウザからアクセスする分には問題ない。ブラウザでの閲覧を自動化しその中でAPIを呼ぶのは本物と同じだからね。