新しいものを表示
ルモーリン さんがブースト

The Seiun Award for “Solidity” just arrived in the mail! Thanks again to my wonderful translator Makoto Yamagishi.

The Seiun’s trophies are always very cool, but I hope this one doesn’t wake up in the night and tap me on the shoulder. It’s a replica of:

en.wikipedia.org/wiki/Masked_G

プロキシの説明(契約先)を読むうちに、指定のIPアドレスからならフリーパスで使える設定を見つけた。しかもプロキシの会社のAPIを使えば「プログラムから設定変更できる」←重要
自宅PCからAPIを呼んでIPアドレス教えてくれる奴まであり、至れり尽くせり状態。起動時に自宅のIPアドレスを取得して、プロキシの設定へ自宅IPを入れてフリーパス状態に。それからWebDriverを使うとユーザ/パスワード設定画面が表示されない♪

スレッドを表示

ブラウザからアクセスするのにもう一つ課題がある。VPSではプロキシ経由でAPIを呼んでました。ブラウザではどうする?契約してる有償プロキシはユーザー名とパスワードの設定があり、ブラウザでアクセスする際に入力画面が出てくる。この入力画面へのキー入力方法がない。というのもアクセスの延長でプロキシのユーザー/パスワード画面が表示される。つまりアクセスが未完了でキー入力の余地がない。

スレッドを表示

WebDriverをPerlから操作できるモジュール。
WebDriver::Tiny - Selenium 2.0 bindings for Perl - metacpan.org metacpan.org/dist/WebDriver-Ti

スレッドを表示

で、自動化できる奴がWebDriverと分かりFireFox版はgeckodriver(geckoはFireFoxの中身?の名前)を使えば良いことも分かった。これは小さなAPI受付サーバーになっていてブラウザの起動、URLの呼び出し、コンテンツの把握、キー入力諸々やれる。

スレッドを表示

VPSでのスクレイピングを諦めて、自宅PCのブラウザからアクセスする分には問題ない。ブラウザでの閲覧を自動化しその中でAPIを呼ぶのは本物と同じだからね。

スレッドを表示

目処がたったのでポスト。
2週間ほど前から地元ホールのデータサイトがGoogleのreCAPTCHAを採用、スクレイピングが弾かれるようになった(´・ω・`)
Googleの最新版は人の操作がない。文字の認識とかしなくて良い。プログラムが自動判定、人かbotか見分けてる模様。そもそも私のスクレイピングはhttpsのAPIリクエストを呼ぶだけで、GoogleのreCAPTCHAを実行してないからAPIが通らない(そりゃそーだ)。

そ、そんなに!?
※手取りの9分の1(管理費込み)

ルモーリン さんがブースト

スポーツイベントの都合でアニメ配信が一週遅れになるディストピアが今の日本です(´・ω・`)

ルモーリン さんがブースト

先生「リピートアフタミー」

生徒「イエス」

先生「プライム無料体験を試さないで注文を続ける」

生徒「プライム無料体験を試さないで注文を続ける」

ボーズの最新ノイズキャンセリングイヤホンを使っています。この動画を見ると出演者の腕が机に当たる音がズン♪ズン♪聞こえます。
youtube.com/watch?si=yNroBzc6a

古いものを表示
Fedibird

様々な目的に使える、日本の汎用マストドンサーバーです。安定した利用環境と、多数の独自機能を提供しています。