Twitterから思うようにデータを取得できないためツラい

Twitter

目次一覧

 状態:-  閲覧数:2,675  投稿日:2019-10-11  更新日:2019-10-12
Twitter使用するまで / Twitter使用するようになった経緯 / 私のTwitterの使い方

問題発生 / 遭遇した具体例 / Twitter仕様は分かりにくいねん!

2019年10月11日時点で困っていること / 2019年10月11日時点の運用案 / Twitterで出来ないこと

Twitterで出来ないこと / 私が取得したいデータだけを返すAPIは用意されていない


Twitter使用するまで / Twitter使用するようになった経緯 / 私のTwitterの使い方

 閲覧数:605 投稿日:2019-10-11 更新日:2019-10-12

Twitter使用するまで


Twitter使用したら負けだと思っていた
・サービス提供を目指していた
・「Twitterを活用したサービス開発」に取り組むのではなく、「Twitterに代わるようなサービス開発」を目指すべきだと考えていた

Twitter使用するようになった経緯


NHKのWebサイトにTwitterボタンが表示されていることに気が付いたため
・Twitterは既に情報インフラの一つとなっていることを認識した
・これはもう適わないな、と思った
・この件をきっかけに、Twitterを使用することになった

私のTwitterの使い方


ブックマーク代わりに使用
・気になるWebサイトやツイートがあった場合は、取り敢えず(引用0文字で)RTしていた
・後で活用しようと考えていた

問題発生 / 遭遇した具体例 / Twitter仕様は分かりにくいねん!

 閲覧数:542 投稿日:2019-10-11 更新日:2019-10-12

問題発生


ツイートが1.4万件に達したところで、
自分が発信したツイートが思うように取得できないことに気が付いた

従来の認識
自分が発信したツイートは(RT含め)、簡単に取得できるものと考えていた

実際には?
・自分が発信したツイートでも、取得が非常に面倒なことがある
・あるいは、意図した通りには取得できない(こともある)

遭遇した具体例


Twitter仕様は(割と頻繁に)変更される
それに関する日本語情報は、(公式も含め)極端に少ない

全データ履歴取得が難しくなったため、取得方法を変更した
Twitter全ツイート履歴は、2019年7月以降、ツールを使用しなければ取得不可能(index.htmlはダウンロードファイルに含まれないよう仕様変更されている)

具体的には?
公式検索を活用するようにした
from:hoge since:2018-01-01 until:2018-01-03

この方法の問題点
リツイートを取得できない

Twitter仕様は分かりにくいねん!


一番基本的なURL
「ツイート」「リツイート済み」が含まれる
https://twitter.com/hoge/

上記内容で期間指定できれば良いのだが、URLなのでそれは出来ない

since:2017-11-01 until:2017-11-30

(複合検索したいと思い、)検索キーワード欄に下記を入力しても、結果は上記とは異なる
twitter.com/hoge/

リツイートについてのよくある質問
Twitterに表示される公開ツイートのリツイートは、最新の投稿100件まで


2019年10月11日時点で困っていること / 2019年10月11日時点の運用案 / Twitterで出来ないこと

 閲覧数:550 投稿日:2019-10-11 更新日:2019-10-12

2019年10月11日時点で困っていること


自分の「リツイート済み」だけを検索することが出来ない
他人のツイートをhogeユーザ(自分)が「(0文字引用)リツイート」したツイートを検索したい

試してみたがリツイート取得できない
from:hoge
from:hoge include:nativeretweets
include:nativeretweets from:hoge

試してみたが0文字リツイート取得できない
twitter.com/hoge/ -from:hoge  since:2019-06-01 until:2019-06-30

リツイートが、さらにRTされていなければ取得できない
from:hoge filter:nativeretweets

動作的には下記で良いのだが、(リツイートを後から削除しようと思っても)削除できない
2019/6/25
RTだけ表示するやつ
RTだけ表示するやつ
「リツイートした日付の上限」指定する場合、古い日付だと結果を取得できない
・理由不明

2019年10月11日時点の運用案


A.公式表示(ある程度以上は遡れない)
・古い順から並べられないことが苦痛
・データ移行
・移行したデータは随時削除していく

B.Twitterデータ
tweet.js Web
・削除できない

Twitterで出来ること


hogeユーザ(自分)のツイートを、(他人が)「引用リツイート」しているツイートを検索する
※「-from:hoge」で自分を除外している
twitter.com/hoge/ -from:hoge

※私がやりたいことは、上記の逆

「引用元ツイート」から「引用したユーザー名一覧」を表示させることができる

Twitterで出来ないこと / 私が取得したいデータだけを返すAPIは用意されていない

 閲覧数:581 投稿日:2019-10-12 更新日:2020-01-15

Twitterで出来ないこと


「(任意の)引用元ツイート」から「引用リツイート」を表示させることは出来ない
・「url:xxxx」は全てのRTを取得できるわけではない(取得できるのは恐らく、更にRTされたRTのみ)

私が取得したいデータだけを返すAPIは用意されていない


関係しているかと思ったが、違ったGETメソッド
statuses/retweeters/ids
対象ツイートをリツイートしたユーザーを、ユーザーIDの一覧で取得するエンドポイント
statuses/retweets/:id
対象ツイートをリツイートしたユーザーを、オブジェクトの一覧で取得するエンドポイント
statuses/retweets_of_me
「自分のツイート」をリツイートしたオブジェクトを一覧で取得するエンドポイント


RTだけ取得に挑戦


Twitter全ツイート履歴は、2019年7月以降、ツールを使用しなければ取得不可能(index.htmlはダウンロードファイルに含まれないよう仕様変更されている)

Twitterが長期的な備忘録用途には向かないと考える3つの理由



類似度ページランキング
順位 ページタイトル抜粋
1 Twitterから思うようにデータを取得できないためツラい 90
2 Twitterモーメント作成しようと思い、自分の過去のツイートを遡る。途中までしか遡れない。面倒くさくなって止める 40
3 6 か月ぶりにようやく凍結解除され、「自分が作成したTwitterリスト」を閲覧できるようになりました 38
4 「Twitterデータ」をダウンロード出来ない。途中で失敗する。ネットワークエラーが発生する 37
5 TwitterでDM送信しようとするも、このアカウントにメッセージを送ることはできません。 35
6 Twitter動画を無料でダウンロードする方法 35
7 Twitter メディアダウンローダ 34
8 Twitrerで自分のリツイートが特定期間(3~5日前)だけ表示されない 34
9 Twitterカード 対応 33
10 2020年2月に実行されたTwitter仕様変更に伴い、過去3,200件以前の「(0文字引用)リツイート」を削除できなくなる 33
11 ラジオを新規購入しようと思ったが、既存環境で目的を達成できたため、最終的に購入しなかった 33
12 Twitterが長期的な備忘録用途には向かないと考える3つの理由 33
13 H:\Mftのためのデータを一部保存できませんでした 33
14 Twitterへパソコンのブラウザからアクセスしたら、画面UIが変更されていた 32
15 インターネットで 9V 充電池 を購入しようと思ったが、どの商品を購入すれば良いか分からない 32
16 Twitterカード設定を正しく行っていても、画像投稿したツイートには、Twitterカードが表示されない 32
17 Twitter 「通知」と「メッセージ」の違い 31
18 Twitter メディアダウンローダ 使用履歴 31
19 ラジオ(radikoのタイムフリー)を「Windows10」で録音するために、「らじれこ」を使用した 30
20 Twitterで一番安くSMS認証を行う方法(「SMS受信可能な携帯電話番号」を一番安く取得する方法) 30
2025/4/03 11:38 更新
週間人気ページランキング / 3-27 → 4-2
順位 ページタイトル抜粋 アクセス数
1 「mmpx12 / twitter-media-downloader」は 52 件しか一括ダウンロードできません | X 41
2 Xの「矢印を使い、指示された席に人物を移動させてください。」は縦横アイコンを合わせる方式 | X 40
3 「楽天トラベル」の宿泊履歴は 3 年経過すると削除されるため、注意が必要です。 | 旅行 13
4 このエントリーの結論 / Xから一括ダウンロードするまでの手順 / 52 件しかダウンロードされない 8
5 ソフトバンクの携帯電話番号は「My SoftBank」から無料で変更できます。※My SoftBankから電話番号の変更手続きをする場合には、料金(事務手数料)の発生はありません | ソフトバンク(通信) 4
5 ビックカメラへの苦情連絡先 | ビックカメラ(EC) 4
6 私たちはあなたの Apple ID アカウントを無効にしました | メール 2
6 TwitterMediaHarvest v4.2.3 (chrome) | X 2
6 e発送サービスには、QRコードが必ず必要ですか? | 郵便局(荷物) 2
6 Amazon Music「まだ再生中ですか?」問題 | Amazon Music(Amazon) 2
6 3 種類ある「楽天カード」利用明細確認方法の内、「楽天e-NAVI」の「Web明細サービス」だけは、過去 15 カ月以前の情報が表示されないため注意が必要です。 | カード 2
6 楽天市場における「39ショップ」とは、【送料無料ライン】を 3,980 円以下(特定商品、一部地域を除く)に設定しているショップの総称 | 楽天市場(EC) 2
6 Twitter Image Downloader バージョン 2.2.10 | X 2
6 「LINEヤフー共通利用規約に反する行為を確認したため、この携帯電話番号は利用できません」と表示される | Yahoo!メール(メール) 2
6 Twitterで事件(事故)に巻き込まれた当事者(中の人)のツイートを探すためには、出来るだけ早くTwitterへアクセスする方法がベスト | Twitter 2
6 Chromeで「Yahoo!メール」閲覧中に「移動に失敗しました。 しばらく時間をおいてから再度お試しください。」と表示された場合には、F5ショートカットで「現在のページを再読み込みする」を実行してみます。 | Yahoo!メール(メール) 2
6 ID登録したメールアドレス「m3861064336@gomen-da.com」でログインしようとするとどうなるの? /「メールアドレスでID登録」した場合のログイン挙動を要約すると? 2
7 デジタルオーディオプレーヤーを探した(2019/1/23)けれども欲しい商品が見当たらなかった | MP3プレーヤー 1
7 「NTT東日本機器(レンタル)」返却先は「東日本電信電話株式会社」です。「機器が未返却」である旨の連絡は「東日本電信電話株式会社」から来ますが、この件に対してuserが問い合わせることができる相手は契約先により異なります。 | インターネットサービスプロバイダ 1
7 らじれこで録音予約で存在しないフォルダを指定するとどうなるの? → 自動作成される | らじれこ(ラジオ) 1
2025/4/3 1:02 更新