Twitterから思うようにデータを取得できないためツラい

social networking serviceTwitter

目次一覧

 状態:-  閲覧数:358  投稿日:2019-10-11  更新日:2019-10-12
Twitter使用するまで / Twitter使用するようになった経緯 / 私のTwitterの使い方

問題発生 / 遭遇した具体例 / Twitter仕様は分かりにくいねん!

2019年10月11日時点で困っていること / 2019年10月11日時点の運用案 / Twitterで出来ないこと

Twitterで出来ないこと / 私が取得したいデータだけを返すAPIは用意されていない


Twitter使用するまで / Twitter使用するようになった経緯 / 私のTwitterの使い方

 閲覧数:49 投稿日:2019-10-11 更新日:2019-10-12 

Twitter使用するまで


Twitter使用したら負けだと思っていた
・サービス提供を目指していた
・「Twitterを活用したサービス開発」に取り組むのではなく、「Twitterに代わるようなサービス開発」を目指すべきだと考えていた

Twitter使用するようになった経緯


NHKのWebサイトにTwitterボタンが表示されていることに気が付いたため
・Twitterは既に情報インフラの一つとなっていることを認識した
・これはもう適わないな、と思った
・この件をきっかけに、Twitterを使用することになった

私のTwitterの使い方


ブックマーク代わりに使用
・気になるWebサイトやツイートがあった場合は、取り敢えず(引用0文字で)RTしていた
・後で活用しようと考えていた

問題発生 / 遭遇した具体例 / Twitter仕様は分かりにくいねん!

 閲覧数:47 投稿日:2019-10-11 更新日:2019-10-12 

問題発生


ツイートが1.4万件に達したところで、
自分が発信したツイートが思うように取得できないことに気が付いた

従来の認識
自分が発信したツイートは(RT含め)、簡単に取得できるものと考えていた

実際には?
・自分が発信したツイートでも、取得が非常に面倒なことがある
・あるいは、意図した通りには取得できない(こともある)

遭遇した具体例


Twitter仕様は(割と頻繁に)変更される
それに関する日本語情報は、(公式も含め)極端に少ない

全データ履歴取得が難しくなったため、取得方法を変更した
Twitter全ツイート履歴は、2019年7月以降、ツールを使用しなければ取得不可能(index.htmlはダウンロードファイルに含まれないよう仕様変更されている)

具体的には?
公式検索を活用するようにした
from:hoge since:2018-01-01 until:2018-01-03

この方法の問題点
リツイートを取得できない

Twitter仕様は分かりにくいねん!


一番基本的なURL
「ツイート」「リツイート済み」が含まれる
https://twitter.com/hoge/

上記内容で期間指定できれば良いのだが、URLなのでそれは出来ない

since:2017-11-01 until:2017-11-30

(複合検索したいと思い、)検索キーワード欄に下記を入力しても、結果は上記とは異なる
twitter.com/hoge/

リツイートについてのよくある質問
Twitterに表示される公開ツイートのリツイートは、最新の投稿100件まで


2019年10月11日時点で困っていること / 2019年10月11日時点の運用案 / Twitterで出来ないこと

 閲覧数:49 投稿日:2019-10-11 更新日:2019-10-12 

2019年10月11日時点で困っていること


自分の「リツイート済み」だけを検索することが出来ない
他人のツイートをhogeユーザ(自分)が「(0文字引用)リツイート」したツイートを検索したい

試してみたがリツイート取得できない
from:hoge
from:hoge include:nativeretweets
include:nativeretweets from:hoge

試してみたが0文字リツイート取得できない
twitter.com/hoge/ -from:hoge  since:2019-06-01 until:2019-06-30

リツイートが、さらにRTされていなければ取得できない
from:hoge filter:nativeretweets

動作的には下記で良いのだが、(リツイートを後から削除しようと思っても)削除できない
2019/6/25
RTだけ表示するやつ
RTだけ表示するやつ
「リツイートした日付の上限」指定する場合、古い日付だと結果を取得できない
・理由不明

2019年10月11日時点の運用案


A.公式表示(ある程度以上は遡れない)
・古い順から並べられないことが苦痛
・データ移行
・移行したデータは随時削除していく

B.Twitterデータ
tweet.js Web
・削除できない

Twitterで出来ること


hogeユーザ(自分)のツイートを、(他人が)「引用リツイート」しているツイートを検索する
※「-from:hoge」で自分を除外している
twitter.com/hoge/ -from:hoge

※私がやりたいことは、上記の逆

「引用元ツイート」から「引用したユーザー名一覧」を表示させることができる

Twitterで出来ないこと / 私が取得したいデータだけを返すAPIは用意されていない

 閲覧数:48 投稿日:2019-10-12 更新日:2020-01-15 

Twitterで出来ないこと


「(任意の)引用元ツイート」から「引用リツイート」を表示させることは出来ない
・「url:xxxx」は全てのRTを取得できるわけではない(取得できるのは恐らく、更にRTされたRTのみ)

私が取得したいデータだけを返すAPIは用意されていない


関係しているかと思ったが、違ったGETメソッド
statuses/retweeters/ids
対象ツイートをリツイートしたユーザーを、ユーザーIDの一覧で取得するエンドポイント
statuses/retweets/:id
対象ツイートをリツイートしたユーザーを、オブジェクトの一覧で取得するエンドポイント
statuses/retweets_of_me
「自分のツイート」をリツイートしたオブジェクトを一覧で取得するエンドポイント


RTだけ取得に挑戦


Twitter全ツイート履歴は、2019年7月以降、ツールを使用しなければ取得不可能(index.htmlはダウンロードファイルに含まれないよう仕様変更されている)

Twitterが長期的な備忘録用途には向かないと考える3つの理由



類似度ページランキング
順位 ページタイトル抜粋
1 Twitterモーメント作成しようと思い、自分の過去のツイートを遡る。途中までしか遡れない。面倒くさくなって止める 40
2 「Twitterデータ」をダウンロード出来ない。途中で失敗する。ネットワークエラーが発生する 37
3 TwitterでDM送信しようとするも、このアカウントにメッセージを送ることはできません。 35
4 Twitrerで自分のリツイートが特定期間(3~5日前)だけ表示されない 34
5 Twitterカード 対応 33
6 2020年2月に実行されたTwitter仕様変更に伴い、過去3,200件以前の「(0文字引用)リツイート」を削除できなくなる 33
7 ラジオを新規購入しようと思ったが、既存環境で目的を達成できたため、最終的に購入しなかった 33
8 Twitterが長期的な備忘録用途には向かないと考える3つの理由 33
9 H:\Mftのためのデータを一部保存できませんでした 33
10 Twitterへパソコンのブラウザからアクセスしたら、画面UIが変更されていた 32
11 インターネットで 9V 充電池 を購入しようと思ったが、どの商品を購入すれば良いか分からない 32
12 Twitter動画ダウンロード 32
13 Twitterカード設定を正しく行っていても、画像投稿したツイートには、Twitterカードが表示されない 32
14 Twitter 「通知」と「メッセージ」の違い 31
15 ラジオ(radikoのタイムフリー)を「Windows10」で録音するために、「らじれこ」を使用した 30
16 Twitterで一番安くSMS認証を行う方法(「SMS受信可能な携帯電話番号」を一番安く取得する方法) 30
17 電話番号を複数のTwitterアカウントに追加する 30
18 Twitter 利用規約 29
19 非公開設定のTwitterアカウントを作成しても、画像ファイル保管目的では使用できない。アップロードされたファイルはオリジナルサイズとは限らないから 29
20 Twitter改善して欲しい仕様ランキングTOP2 29
2020/11/26 12:57 更新
週間人気ページランキング / 11-19 → 11-25
順位 ページタイトル抜粋 アクセス数
1 Yahoo!メールで[SendMessageFailed]が表示される場合は、しばらく待ってから再度試す | Yahoo!メール(メール) 52
2 ビックカメラへの苦情連絡先 | ビックカメラ(EC) 44
3 Twitter全ツイート履歴は、2019年7月以降、ツールを使用しなければ取得不可能(index.htmlはダウンロードファイルに含まれないよう仕様変更されている) | Twitter(social networking service) 43
4 Twitterモーメント作成しようと思い、自分の過去のツイートを遡る。途中までしか遡れない。面倒くさくなって止める | Twitter(social networking service) 40
5 FLAC → MP3変換 | オンラインオーディオコンバーター(音) 10
6 お使いのアカウントに不自然なアクティビティを検出しました。安全のため、パスワードが変更されるまでアカウントはロックしました。 | Twitter(social networking service) 7
7 Unsupported phone number. | Twitter(social networking service) 6
8 ビックカメラの配達受け取りは、「郵便ポスト投函」を指定できない | ビックカメラ(EC) 5
9 AGPTEK A01TM / 気になる点。まだ良く分かっていない点 | AGPTEK A01TM(MP3プレーヤー) 4
9 2019/11/29 11:46、AGPtEK C8-JP を受け取る  | AGPtEK C8-JP(MP3プレーヤー) 4
9 デリバリープロバイダ / 荷物届かない & 不在票入っていないのに → 配達完了しました / Amazonプライム会員の意味ないかも… | Amazon(EC) 4
9 Twitter 画像サイズの問題 | Twitter(social networking service) 4
9 social networking service カテゴリー 4
10 Skypeで相手に自分を見つけてもらうためには、「発信者ID」ではなく「 Skype 名」を伝える。「発信者ID」を日本では取得できない | コミュニケーション ツール(social networking service) 3
10 AGPTEK A01TM と A01TG の違い | AGPTEK A01TM(MP3プレーヤー) 3
10 このたび、ご利用のアカウントが凍結されましたのでお知らせしております | Twitter(social networking service) 3
11 Twitrerで自分のリツイートが特定期間(3~5日前)だけ表示されない | Twitter(social networking service) 2
11 荷物 カテゴリー 2
11 郵便局(荷物) カテゴリー 2
11 バリカン購入履歴 | バリカン(購入履歴) 2
2020/11/26 1:04 更新