Wizard mode

オンラインサービス に関するメモランダム

→ → → Entries ← ← ←
カテゴリー: Webスクレイピング 　閲覧数:504　配信日:2017-09-27 16:57


単一ページ上のデータを抽出する



List or Table Extraction


リンク遷移先のデータを取得
・リストのリンク先もたどって取得する
・ページネーションを移動しながらリストデータを取得する
・同一ページ内のデータは取得不可

対象テーブル例
・それぞれのリンク先ページに掲載している情報を取得
・Octoparseがユーザの代わりに、実際に「リンク先ページ」へアクセスしてデータを取得してくる
- リンク
1 コピー履歴
2 ハードディスク管理表



URLを複数指定して全てのページから指定したデータを取得する

週間人気ページランキング ／ 11-16 → 11-22
順位 ページタイトル抜粋 アクセス数
1 Xの「矢印を使い、指示された席に人物を移動させてください。」は縦横アイコンを合わせる方式 | X 82
2 「mmpx12 / twitter-media-downloader」は 52 件しか一括ダウンロードできません | X 27
3 ソフトバンクの携帯電話番号は「My SoftBank」から無料で変更できます。※My SoftBankから電話番号の変更手続きをする場合には、料金(事務手数料)の発生はありません | ソフトバンク(通信) 12
4 「楽天トラベル」の宿泊履歴は 3 年経過すると削除されるため、注意が必要です。 | 旅行 10
5 オンラインサービス 0 8
6 ビックカメラへの苦情連絡先 | ビックカメラ(EC) 6
7 このエントリーの結論 ／ Xから一括ダウンロードするまでの手順 ／ 52 件しかダウンロードされない 5
8 Xの「ネズミが左の画像と同じ量のチーズにたどり着ける画像を探しましょう」は、ネズミが確保できるチーズの数を合わせる認証方式 | X 4
9 「NTT東日本機器(レンタル)」返却先は「東日本電信電話株式会社」です。「機器が未返却」である旨の連絡は「東日本電信電話株式会社」から来ますが、この件に対してuserが問い合わせることができる相手は契約先により異なります。 | インターネットサービスプロバイダ 3
9 「WebサイトにIPアドレス制限」設定していることを確認できるオンラインサービス | プログラミング 3
9 身に覚えがない「下書きメール」と「受信メール」があったので、「Yahoo!メール」のパスワードを変更しました。 | Yahoo!メール(メール) 3
10 「0120-3244-77」は「みずほ銀行コールセンター」の電話番号。「0120-3242-99」は「みずほダイレクトヘルプデスク」の電話番号 | 銀行 2
10 「Twitterデータ」をダウンロード出来ない。途中で失敗する。ネットワークエラーが発生する | Twitter 2
10 ログアウトが面倒なWebサービスは、「Google Chrome」ブラウザのゲストモードを使用して、ログインします | Gmail(メール) 2
10 試してみたが、私の環境では「IMEが無効です」を解決できなかった内容 ／ ctfmon.exe。スタック ベースのバッファーのオーバーランが検出されました。 ／ Windows システム ファイル チェッカー 2
11 「NURO 光回線」を検討した際に調査した内容 | インターネットサービスプロバイダ 1
11 2019/11/28より「AGPtEK M20」を再度使用することにしたため、基本的な操作方法を再確認 | AGPtEK M20(MP3プレーヤー) 1
11 アカウント作成 1
11 Twitter メディアダウンローダ | Chrome 拡張機能 1
11 Yahoo!知恵袋 で質問投稿者が後から(パソコン経由で返信する際)画像アップロードするためには、左下の風景アイコンをクリックする | Yahoo!知恵袋(Q&Aサイト) 1
2024/11/23 1:02 更新
指定期間人気ページランキング ／ 2020-5-27 → 2024-11-22
順位 ページタイトル抜粋 アクセス数
1 ビックカメラへの苦情連絡先 | ビックカメラ(EC) 7821
2 Twitter全ツイート履歴は、2019年7月以降、ツールを使用しなければ取得不可能(index.htmlはダウンロードファイルに含まれないよう仕様変更されている) | Twitter(social networking service) 3944
3 Twitter動画ダウンロード | Twitter(social networking service) 3754
4 Yahoo!メールで[SendMessageFailed]が表示される場合は、しばらく待ってから再度試す | Yahoo!メール(メール) 3424
5 「Twitterデータ」をダウンロード出来ない。途中で失敗する。ネットワークエラーが発生する | Twitter(social networking service) 3078
6 Twitterモーメント作成しようと思い、自分の過去のツイートを遡る。途中までしか遡れない。面倒くさくなって止める | Twitter(social networking service) 2088
7 Twitter 画像サイズの問題 | Twitter(social networking service) 1440
8 オンラインサービス 0 1307
9 お使いのアカウントに不自然なアクティビティを検出しました。安全のため、パスワードが変更されるまでアカウントはロックしました。 | Twitter(social networking service) 1198
10 ソフトバンクの携帯電話番号は「My SoftBank」から無料で変更できます。※My SoftBankから電話番号の変更手続きをする場合には、料金(事務手数料)の発生はありません | ソフトバンク(通信) 1162
11 Amazon Music「まだ再生中ですか？」問題 | Amazon Music(Amazon) 1056
12 Windows10で、Twitterタイムラインを一番下(最後)まで自動でスクロールする無料ソフトウェア「Twitterオートスクローラー」 | Twitter(social networking service) 970
13 Amazonの「カスタマー Q＆A」より製品に関する質問を行っても、回答がつくまで、投稿者自身も確認することは出来ない | Amazon(EC) 946
14 3 種類ある「楽天カード」利用明細確認方法の内、「楽天e-NAVI」の「Web明細サービス」だけは、過去 15 カ月以前の情報が表示されないため注意が必要です。 | カード 807
15 「Google Chrome」ブラウザで「Yahoo!メール」を開くと「読み込み中」が耐え切れないほど長いです。検索してみましたが、解決する方法が分かりません。 | Yahoo!メール(メール) 738
16 Xの「矢印を使い、指示された席に人物を移動させてください。」は縦横アイコンを合わせる方式 | X 735
17 インターネットへ突然接続できなくなった理由は、NTTぷららのマイページのパスワードを変更したから | NTTぷらら(インターネットサービスプロバイダ) 681
18 「mmpx12 / twitter-media-downloader」は 52 件しか一括ダウンロードできません | X 657
19 故障した小型冷蔵庫(46L)をどうするの？ | 冷蔵庫(購入履歴) 629
20 衆議院インターネット審議中継 ダウンロード | 動画 618
2024/11/23 1:02 更新