社交网站上进行新闻收集和监视的基本指南
【2020年9月2日存档】精准且全面地收集信息是调查研究和监视热点的关键。社交媒体这个信息金矿应该被充分利用。本文将总结针对社交媒体的信息收集的基本技巧和方法。
社交媒体很好,使您可以查找信息源、监视对话、了解行为、跟踪事件、以及发现影响社区的问题。
但是,您必须首先知道想要的东西在哪里能找到,何时以及如何在线观看。
本文将重点介绍新闻采集(主动搜索)和监视跟踪(被动搜索)中最好的 *免费* 工具和技术;还将研究跨平台的最佳实践和应用程序,以便您可以有效地展示最有用的内容以进行报告和研究。
验证找到的信息和来源是否真实也非常关键,您可以参见我们的 列表-3 “让它民主” 版块中介绍的验证技巧。
如今每个人都可以收听实时发生的数百万次对话,这就是搜索关键字最重要的地方 — — 用于讨论主题或事件的术语、短语或标签,可以帮助您确定哪些内容可能是报道的好来源。
对于硬新闻,相关的来源和关键字可能更明显。调查者需要了解社区领袖、领域专家、政治家、慈善机构、学者、影响力人物、活动家团体、目击者、名人,商业领袖和紧急服务等。
关键词构成了在线新闻采集的核心,是否能准确抓住关键词,将意味着您是否可以获得想要的内容。
当谈到小众话题时,可能更难获得关键词。但确定一些更具体的关键词可以帮助您确定更多的来源,创造一个新来源和新关键词的反馈循环,跨平台捕捉,可以让您在短时间内迅速上手。
来源的类型和相关的关键词在每个主题中都是不一样的,但基本的办法不变。
👌不要错过:关键字查询工具
keywordtool.io
keyword.io
semscoop.com
keywordtool.net
app.kparser.com
mykeyworder.com
serpstat.com
keywordsheeter.com
— — 搜索 — —
说到搜索,人们会首先想到谷歌。它的确是全球范围内使用最广泛的搜索引擎:占市场份额90%,但它仍不是全部,作为调查人员您应该知道,您说需求的信息最有可能从哪里获得。
1、汇总消息
新技术经常令人兴奋,但是,有一些非常古老的技术由于高度实用,生命力非常顽强;当这些古老的技术与现代技术相结合时,它们是任何开源情报调查武器库中的有用部分。
👌首先必须强调布尔运算符。因为它是最简单的且最强大的工具之一 —— 使用逻辑。在下面看到我们曾经对布尔搜索的演示和介绍:
布尔搜索非常简单,就是以下5种:
AND:返回包含所有指定关键词的结果
OR:返回带有任何指定关键词的结果
NOT:返回没有指定关键词的结果
“ ” : 返回具有引号内包含的确切短语的结果
( ):将括号内的术语分组以使用多个运算符阐明搜索字符串
记住并熟练使用上述5种操作方法是您在网络上寻求信息的基础。
比如您搜索 disinformation OR misinformation OR “fake news”,这将返回上述3个词中任何一个相关内容的列表;用 AND 替代它们(必须总是大写)搜索引擎只会返回包含所有这些搜索词的结果。
在查询过程中您可以组合任意数量的布尔运算符。
如果您正在查找气候变化否认者背后的资金来源的报告,可以这样 “climate change deniers” OR “climate change denial” OR “climate denial”) AND (lobbying OR “dark money” OR funding。
如果在谷歌上搜索您还可以多用一些额外的选项,以进一步缩减结果范围。其中最强大的却总是被忽略的工具就是日期搜索。
在下拉菜单中选择自定义范围,您可以按照时间过滤返回的内容:只包括一天、某周、某个月的页面,或者任何您想要的时间窗口。
利用谷歌高级搜索的力量,将显著细化您的搜索结果,更容易找到精准的信息。
比如您正在寻找不受监管的比特币交易所的信息,您可以选择确定一系列专门报道加密货币的网站,将这些网站的域名和搜索一起使用。例如 您知道 coindesk.com 报道数字货币,下面这样就可以得到一个报道数字货币的类似网站清单:
related:coindesk.com
高级谷歌搜索的真正力量来自多个搜索运算符的组合。比如 site:
site:coindesk.com “unregulated exchange” OR bitcoin
还是比特币的例子,如果您想从 related:coindesk.com 找到的多个网站上查找内容,那么就这样:
“unregulated exchange” AND bitcoin site:coindesk.com OR site:bitcointalk.org
👌这些仅仅是最简单的样本,尽管如此它们已经足够能说明白关键词和逻辑的创造力如何帮助您寻求到最需要的内容。您可以更快速地精简您的在线研究和信息追踪。
不要错过,这里是基本运算符汇总《攻防皆可用:GoogleDorking 高级运算符完整列表》
但请一直记得,谷歌不是能找到一切的地方,对于您的调查内容来说,您需要及时想到最佳的搜索引擎。比如对于中国的国内信息,百度也许更丰富;对于东欧和俄罗斯的信息,Yandex 是最佳选择。如果您的调查内容比较敏感,您应该选取那些不会追踪您的私密搜索引擎。
2、跟踪信息流
建立监测系统是个好主意。是研究或调查操作的重要组成部分,帮助您随时了解网络和社交媒体上出现的新内容和相关内容。
Google有多种选择 —— GoogleAlerts 会在网络上发现的新内容(每天一次或每周一次)滚动发送通知。您可以使用布尔运算符和高级搜索功能的结合来构建和完善您的 Alerts。
例如,如果您想跟踪与英国退欧或鲍里斯·约翰逊有关的新内容,但仅跟踪特定英国新闻机构发布的信息,则可以设置成以下这样:
GoogleTrends 也能做到这点,比较少有人知道,该服务隐藏在其订阅功能中。尽管它不如 GoogleAlerts 更及时,它仅允许您每周或每月一次接收关键字搜索的更新,但该服务仍会为您可能正在调查或报告的主题提供趋势反馈。
—— Twitter ——
Twitter 是供记者探索的最简单的社交媒体平台之一,它使用多种工具来扫描持续不断的信息流。
它的易用性也是新闻记者过分依赖该平台的原因,因此请确保它是您监视重大新闻或相关对话的众多社交网络之一。
👌 不要错过我们对 Twitter 情报挖掘技巧和工具的介绍:
1、信息汇总
Twitter 是众所周知的以多种语言发布新闻的首选平台。尽管普通用户的数量少于 Facebook 和 Instagram,但其简单的界面、角色限制以及按时间顺序组织时间线的选项使它非常适合实时的突发信息。
关键词一定要尽可能准确。作为调查人员,他们往往会最先想到自己准备在报告标题中使用的词语,但那可能不容易帮您找到详尽内容。请记住,在社交媒体上人们通常使用口语、宣泄式的、咒骂的,而非书面语言。
这里有一个指南,是在突发新闻情况下选择关键字的最佳方法,但是要记住的最重要的事情之一是,第一人称。受事件影响的人更可能自我介绍。旁观的评论者则不是。
👌牢记这一点,对参加抗议活动或其他政治事件的人的有效搜索大概是这样:
(I OR me OR my OR we OR our OR us OR “just saw” OR just seen) AND (coup OR demonstration OR protests OR enough)
不要忘了推特的高级搜索选项,它为您提供了一个简单的界面,可以进行非常具体的查询,例如在特定时间段内仅搜索来自特定帐户的推文,或者包含特定类型的内容,例如视频或链接。
👉 我们介绍过 TweetDeck 是最简单最有效的导航方式之一,您可以并排显示无限数量的列,其中包含来自 Twitter 列表的推文、搜索字符串、特点地理位置和特定帐户或活动,并实时更新。
您可以按任何方式组织这些列,并且可以使用许多高级搜索选项作为过滤器包含在每个列中,以更好地缩小搜索结果的范围。
例如,如果您要跟踪加利福尼亚州的大麻法规,则可以创建一个单独的列来搜索 #californiacannabis 标签,而另一列可能包含更高级的搜索,比如:
(marijuana OR cannabis) AND (california OR cali OR ca) AND (government OR legislature OR law OR laws)
单击搜索列右上角的过滤器图标将打开一组新的下拉菜单,以更好地优化搜索结果。
👌 Tweetbeaver是另一个动态研究工具,有效地为您提供了广泛的 Twitter 功能,例如在两个帐户之间查找共同的朋友或共同话题的能力,以及下载用户的关注者列表的能力等。
您可以创建新的 Twitter 列表,也可以订阅其他人创建的公共列表。
因此,如果您涉及南美的气候变化,则可以决定创建一份涵盖该地区主题的非政府组织、活动家和新闻工作者的列表,以确保您掌握相关的最新信息。
您可以将它们设为公开或私有。如果是公开的,其他人(例如您的合作者)也可以关注您的列表。
👉 不要错过 Twitter List 搜索引擎(当然这个搜不到那种被设置为私密的 lists):
jump.sh
bit.ly/2rutgq2
⚠️ 请记得,如果您的lists是设置为公开的,那么被添加进入的人将收到通知。因此,如果您希望在监视过程中保持匿名或不希望您的消息源知道您正在关注他们,建议将列表设为私有。
不幸的是,Twitter 没有 Twitter 列表目录,但是查找相关列表的最简单方法之一就是使用Google的高级搜索运算符。
输入您的关键字,然后 site:twitter.com/*/lists
结果将显示标题中具有所选关键字的所有公开列表,然后您可以订阅这些列表。
查找 Twitter 列表的另一个有用技巧是识别一个好的来源,然后查看它们放置在哪些列表上。只需将 “ / memberships” 添加到特定用户的URL即可。
例如,如果您想要一个有关纽约紧急服务的 Twitter 列表,可以从纽约消防局开始:
twitter.com/FDNY/memberships
👌 另一个工具是 Scoutzen。您可以搜索列表,并按订户号和成员(列表中有多少个帐户)显示最受欢迎的结果,这可以很好地了解列表的有用性,然后扫描结果以查找要订阅的列表。
2、跟踪信息流
在 TweetDeck 建立搜索和列表之后,就可以跟踪目标的活动了。
例如,如果您要跟踪大选,则可以在 TweetDeck 中设置一系列不同的列,不仅跟踪官员和权威人士,而且还跟踪整个频谱中的激进主义者和选民,从而使您在一个屏幕上就能对一个国家的政治前景有一个全面的了解。
TweetDeck 提供了多种方法来简化您的提要,包括一系列过滤器。您可以将 Feed 设置为仅包含具有一定数量的转发或点赞的内容。您还可以按地理位置或语言过滤信息流。或者,您也许可能想查看包含图像或视频的推文。
您还可以设置通知,以便新出现的每条相关新推文都会发出声音或弹出桌面,这取决于您如何配置提示。
—— Facebook and Instagram ——
在2019年6月,Facebook 杀死了图谱搜索,并有效地杀死了所有涌现出来的利用它的开源情报工具,从而否认了所有将其用于调查工作的人的输出。
而且,Facebook 继续改变 Graph Search 的工作方式,阻碍了许多工具和了解新系统的工作方式的途径。在下面看到具体介绍。
这是一个最近出现的重大案例。👌由此您应该意识到,尽管某些工具仍然存在,但它们的位置可能比较脆弱,并且完全取决于构建它们的社区的辛勤工作。
这就是为什么我们采取了 “新生情报工具” 系列,目前已有18集,目标是将当前最有效的工具和技巧提供给您,一切都是动态的,调查人员应该随机应变。在下面回顾过往内容:
《搜电影、书、开放课程、Twitterlists、GPS、挖Skype、开源情报虚拟机、挖抖音、双语搜索 ……:新生情报工具(16)》
《深挖推特工具超长列表、寻找独立新闻源、物联网Dorks、泄漏数据、挖 Telegram、机器学习数据集、大牌流媒体资源 …… 新生情报工具(18)》
目前 Facebook 依旧有很多过滤器,您可以按日期和标记位置以及媒体类型(例如帖子、照片、视频、直播等)来缩小搜索过滤范围。
您还可以使用高级 Google 搜索来增强搜索 Facebook 的结果。
假设您正在调查反移民团体,并想找到反对移民的 Facebook 页面和组织,可以设置以下搜索:
site:facebook.com/pages “stop immigration”
如果您想显示 Facebook 群组而不是页面,那么就这样:
site:facebook.com/groups “stop immigration”
Instagram 的搜索功能可能很杂乱,不按特定顺序返回帐户和主题标签,因此最好根据现有任务使用高级 Google 搜索、和 Picpanzee.com 之类的第三方应用程序或两者的某种组合。
👌 Picpanzee 提供了一种更简洁更清晰的方式在 Instagram 上搜索目标人,并在单独的列中提供了相关主题标签的内容。
例如,搜索颇具影响力的阿根廷记者和评论员 Jorge Lanata,将返回以下内容:
👌 如果您要搜索特定种类的人或帐户,则可以使用诸如 searchmybio 之类的工具,该工具可让您在帐户简介中搜索关键字。对于关键字,建议您使用 Google 高级搜索。例如,如果您正在寻找英国退欧党账户,那么就这样:
inurl:instagram.com/p/ “brexit party
跟踪信息流
👌 跟踪 Facebook 和 Instagram 帐户列表的最佳工具是 CrowdTangle,它是 Facebook 拥有的一个平台,对记者免费。
您将被要求通过 Facebook 进行访问,但是您可以在它支持的三个平台(Facebook,Instagram 和 Reddit)中设置仪表板,并在 Facebook 中构建相关页面和群组的列表,Instagram 的公共帐户以及 Reddit 的子书签。
您可以从CSV文件手动导入列表,如果知道 URL,可以添加单个页面,或者在 CrowdTangle 中搜索已经在其数据库中登录的页面。
无论您是在跟踪选举还是在挖掘关于热点问题的虚假信息,CrowdTangle 的 “保存搜索” 功能都可以方便您在 Facebook 和 Instagram 上查找页面、群组和帐户,其中出现了您的特定关键字、关键短语和主题标签。
所有相关结果都将显示在摘要中,唯一的警告是它将仅返回数据库中已有页面的结果。
CrowdTangle 中的列表会产生大量的信息,因此 CrowdTangle 根据时间、互动总数以及帖子的执行情况(相比该页面的平均水平),为用户提供了许多导航的选项。
对于 Facebook,您可以使用 Facebook 用户与帖子互动时可以采取的不同反应类型,进一步优化结果。
如果您要监视虚假信息,那些信息通常很容易让人动容,那么就从列表中查看 ‘angry’ or ‘love’ 反应最多的帖子,可能会产生不同的且更有用的结果。
建立列表并保存搜索后,CrowdTangle 会提供多种通知选项,包括摘要和热点通报。
如果您要报道即将发生的事件,例如超级碗,并且需要更接近实际情况,可以使用 CrowdTangle 的热点通报来获取有关帖子的实时通知。当其中一个帐户的帖子达到一定的热门传播的门槛时,该通报将触发并通过电子邮件或 Slack 送达。
—— Reddit ——
Reddit 是世界上最大的社交新闻聚合器和讨论板之一。它本身被称为 “互联网的首页”,是在线讨论和具有潜在新闻价值的资料的汇整地。
1、信息汇总
Reddit 由与特定主题相关的不同子 Reddit 组成,例如 r/HongKong, r/sports, or r/Worldnews.
要查找与您的调查目标相关的内容,您可以使用顶部导航栏中的搜索功能来浏览 Reddit 的所有帖子,以查找关键术语。例如,搜索香港,将为您提供热门社区或子目录以及包括香港关键字的热门帖子:
👌与 Google 和 Twitter 相似,Reddit 也具有一系列搜索运算符,可用于指定和缩小搜索结果,包括布尔运算符。
因此,假如您想查找包含BBC内容的帖子,则可以搜索 site:bbc.com。您还可以通过导航到 https://www.reddit.com/subreddits/search 查找特定的 subreddits。
您还可以在结果上设置过滤器,例如按受欢迎程度对内容进行排序,也可以设置查看特定时间范围内的内容。
2、跟踪信息流
👌 CrowdTangle 适用于 Reddit 以及 Facebook 和 Instagram,您可以建立 subreddits 列表以相同的方式观看。因此,假如您正在寻找有关政治的最新文章,那么可以设置各种与政治有联系的 subreddits 清单,/r/antifascistsofreddit, /r/progressive, and /r/conservative.
自定义列表后,您可以设置通知,以获取例如最近24小时内热门帖子的摘要,发送到您的电子邮件中。
👌如果您无权访问 CrowdTangle,也可以通过将目标 subreddits 链接到RSS阅读器来跟踪它们。如果您涉及欧洲政治,则可能要注意 subreddit r / europe,在这种情况下,您可以在URL末尾添加.rss,如下所示:
https://www.reddit.com/r/europe/.rss
并将其添加到您的 RSS feed 阅读器,例如 Feedly。
最后,TrackTrackdd.com 之类的工具可让您监视整个 Reddit 中的某些关键字,尽管它仅对前两个免费。
—— 网站 ——
尽管当今的大多数在线辩论和主要讨论都是通过社交媒体进行的,但这些活动通常是对博客或网站上的文章或其他材料的回应。
无论您是在处理突发新闻还是在等待政府机构发布的新数据集来补充您的调查,掌握最新信息与对任何追踪调查来说都很重要。
您可以通过持续扫描列表和搜索结果或疯狂刷新浏览器来监视这些网站,但是,建议使用RSS阅读器和通知系统,以使您更容易保持最新状态。
跟踪信息流
RSS 是一种在一个汇总的 Feed 中监视多个网站的便捷方法。有很多RSS阅读器,其中 Feedly 可以推荐。设置帐户后,您可以添加新内容,以类似于 Twitter 或 CrowdTangle 列表的方式创建感兴趣的网站或博客列表。
添加后,将显示新帖子。使用该界面每天监控一次或两次输出真的很容易,以查看自上次检查以来已发布的新文章。
有时,您可能只是想查看网页更新,而不是寻找新的完整文章或帖子,👌这就是 Klaxon 可选的地方。
由 Marshall Project 开发并免费提供给公众,Klaxon 会扫描公开网页的特定部分,如果有更改将通过电子邮件或 Slack 通知您。
您可以将 Klaxon 配置为每10分钟、每隔几小时、或每隔几天扫描站点。这完全取决于您的需求。
如果您要监视特定的网页或页面的某些部分,例如技术公司的隐私政策,则可以将 Klaxon 的超强功能与 Wayback Machine 的“更改”功能结合使用,从而并排比较相同网址的不同版本,以查明文档中发生更改的确切位置。
—— YouTube ——
每分钟都有数百小时的视频上传到该平台,YouTube 代表了世界上最大的信息库之一。
许多第三方 YouTube 服务需要付费,但是的确有一些完全免费的搜索和跟踪平台信息流的方法。
1、信息汇总
YouTube 的搜索过滤器是您查找所需视频时最好的朋友。
按下搜索栏下方的 “过滤器” 按钮将提供更多选项,使您可以按上传日期、结果类型、视频时长或特定功能来微调结果,然后以不同的方式对结果进行排序。
2、跟踪信息流
整理好相关 YouTube 频道的目录后,您可以将其添加到 Feedly 中,以实时获取从这些频道发布的新视频以及您也关注的任何博客或网站的最新 Feed。
有时特定的 YouTube 频道不会出现在 Feedly 搜索功能中。一种解决方法是订阅您 YouTube 帐户中感兴趣的频道,导航到订阅管理器,然后导出它们。
然后,您可以通过访问 https://feedly.com/i/cortex 将 OPML 文件(由订阅管理器生成)直接导入到 Feedly 中。
上传到 Feedly 之后,您可以将其分类以适合您正在跟踪和报告的特定主题。
然后,您可以打开 Feedly,从最新到最旧的列表对内容进行组织,以清楚地查看最新内容,也可以将 Feedly 与其他基于 Web 的服务进行同步,例如 If This Then That(IFTTT) ,以便在新内容输入您的Feed时立即将通知发送到您的手机。
然后,您可以打开 Feedly,从最新到最旧的列表对内容进行组织,以清楚地查看最新内容,也可以将 Feedly 与其他基于 Web 的服务进行同步,例如 If This Then That(IFTTT) ,以便在新内容输入您的Feed时立即将通知发送到您的手机。
—— 其他平台 ——
大型社交媒体公司(Facebook / 包括 Instagram 、Twitter、Reddit、YouTube 等都是全球内容和沟通的主要推动力。但重要的是不要忘记还有其他平台,例如 Snapchat,TikTok,4chan,Gab等等,其中一些平台已成为极端主义者或边缘群体的首选消息传递中心。
这里是其中一些应用程序和平台的简要概述。封闭的消息传递应用程序(如WhatsApp,WeChat 和 Discord)可以在将来单独讨论。
1、Snapchat
Snapchat 允许用户彼此发送短文本消息或视频剪辑,并将某些剪辑公开发布为 “stories”。 Snapchat 现在拥有超过2亿用户,它正在公开发布一些 stories 供搜索。
Snapchat 在2017年推出了 Snap Map24,在热图中显示了公开发布的材料的位置,但未显示发布该材料的用户。
具有新闻价值的镜头偶尔会发布到地图上,尽管几乎不可能与上传者联系起来,它倾向于将新闻和社交互动分开。
2、TikTok
TikTok 是一款社交视频应用程序,中国网络巨头腾讯所有,深受青少年欢迎。
它成为了2018年全球下载量第四大的应用,超过了 Instagram 和 Snapchat,用户可以在其中录制自己表演自己喜欢的歌曲的视频。
从那时起,TikTok 已经发展成为许多不同meme和主题的中心。到2018年末,它被描述为具有 “纳粹主义问题” 和 “仇恨” 的雷区,特别是在印度。
由于其用户量足够大,对 TikTok 的开源情报调查如今是一个热门,您可以在下面看到一些演示技巧:
3、4chan/8chan
多年来,诸如 4chan 和 8chan 之类的留言板因成为极端主义、暴力和阴谋论的温床而声名狼藉。恶作剧通常起源于这些留言板,然后才在其他社交媒体平台上被放大。
它们是监视新闻报道的好地方,但请注意,您可能会遇到令人不安的内容。 (在2019年8月上旬,8chan 从可公开访问的网络上删除了)
4、Gab
Gab 是一个社交媒体网站,其功能与 Twitter 非常接近,随着被禁止使用 Twitter 的用户不断迁移到该平台,该平台在美国已经与极右翼组织密切相关。
于是如果您想要调查极右翼类似的组织,这里是个有效的地方。
5、Bitchute
Bitchute 是一个在很多方面类似于 YouTube 的视频托管网站。但是与 YouTube 不同,Bitchute 的创建是为了避免其他平台上制定的内容监管规则。
它首先强调 “言论自由”。 YouTube 上已被禁止或取消的许多频道基本都会迁移到 Bitchute。
6、Brighteon
Brighteon(以前称为 Real.Video)是另一个视频托管网站,以没有审查和拥护言论自由而感到自豪。
7、MeWe
MeWe 是一个类似于 Facebook 的社交网站,但其建立对用户隐私的坚定承诺。尽管比 Facebook 小得多,但它的受欢迎程度一直在上升,尤其是考虑到近年来在 Facebook 上目睹的隐私漏洞问题如此之多。
8、VK
VKontakte,通常称为“VK”或 “ Russian Facebook”,是一个受欢迎的俄罗斯社交网络平台,拥有超过5亿个人帐户。
顾名思义,该平台在外观和功能上都与 Facebook 极为相似:群组、公共页面、新闻提要和直接消息传递等功能都可以在深蓝色主题网站上找到。
这里的绝大多数用户都是俄罗斯人,但VK的最新发展使其在很多东欧国家中占主导地位,而在中国和西欧部分地区则少有人使用。
最后
就是这样!本文是关于社交媒体信息跟踪和调查的基本技巧汇总,它着眼于帮助您快速找到想要的信息。如前文所述,对信息的验证和分析,将是另一个单独的议题,我们曾经有过很多介绍 见列表-3 “让它民主”,以及列表-5 “开源情报”。
👌准确充分地提取信息是第一步;社交媒体是信息金矿,您需要有自己熟练的方式在这里找到最想要的内容。希望这篇文章的总结能帮到您。⚪️