如何快速从大部分社交网络上抓取视频?深度调查的必备基础工具
【2019年12月4日存档】尤其是突事件、大型群体事件、自然/人为灾害或战争的调查中,从社交网络上快速抓取视频的能力非常重要,不仅能了解并分析事态,而且可以即时验证虚假消息。
捕获和保存媒体内容是大多数开源情报OSINT调查的重要组成部分。
有很多工具可以做到这一点,但我最喜欢的是 YouTube-dl。
请忽略它的名字,它并不是只限于 YouTube 的;YouTube-dl 能够从一系列不同的网站快速抓取视频,包括:YouTube,Facebook,Twitter,LiveLeak 和许多其他网站。
它是一个命令行工具,它有很多选项(就是很多)可以从网上下载视频。
💡您可以绕过地理限制,甚至可以一次下载整个播放列表、单独提取音频、或指定您希望下载的文件的格式。
本文将向您展示如何设置 YouTube-dl 和一些使用的示例。
Snaps
YouTube-dl 在 Linux 环境中运行得最好,虽然它也可以安装在 Mac OS 和 Windows 上。(后面会介绍如何在Mac上安装 YouTube-dl)
如果您不熟悉使用 Linux 版的 OSINT,那么我建议您阅读此前发布的指南,关于构建 Linux OSINT 虚拟机。五个部分如下:
YouTube-dl 可以在大多数流行的 Linux 版本(如 Ubuntu 或 Mint)的存储库中找到,但是对于本教程,我将使用快照包。您可以在此处找到当前可用的快照列表。
Snaps 是在 Linux 上安装、运行和维护软件的绝佳方式。
Snap 是一个容器,包括程序需要运行的所有内容,而不必担心额外的或冲突的软件库。
这可以使开发人员的工作变得更加容易,因为他们只需开发一个可在所有不同系统上运行的 Snap 就可以了,而无需制作单独的版本。
更重要的是,Snaps 是自主更新的。默认情况下,每个快照每天会检查一次是否有可用的更新,如果有,它将在后台静默更新,无需用户执行任何操作或重启计算机。
本指南将向您展示如何安装和运行 YouTube-dl 作为一个稳定的快照包,不会与您系统上的任何其他程序冲突,并且始终是最新的。
安装 snapd
在 Linux 中打开终端并输入以下内容:
sudo apt install snapd
(如果您正在运行的是 Ubuntu,您可能会发现已经安装了snapd,您可以跳过此检查)
接下来:
sudo snap install youtube-dl
您的计算机现在将下载并安装最新版本的 YouTube-dl。
要检查它是否正常工作,只需要这样:
youtube-dl -h
这将显示您希望如何下载视频的所有可用选项。
有许多可用选项,您可能不需要其中大多数选项,但我将在下面展示一些有用的示例。
YouTube
对于第一个例子,我将展示如何下载在贝尔法斯特发生的警民冲突视频。
YouTube-dl 命令始终以相同的格式输入:
youtube-dl [OPTION] [VIDEO URL]
所以要下载这个视频,命令如下(在这种情况下没有指定选项):
youtube-dl https://www.youtube. com/watch?v=B9xE-40c2Oc
(要粘贴到终端,请使用 Ctrl + Shift + V,而不是桌面上的 Ctrl + V)。
默认情况下,YouTube-dl 以 mp4 格式将视频保存到您的主文件夹,但是可以通过其他一些选项更改它。使用 -o 指定保存文件的位置:
youtube-dl -o ~/Videos/riotfootage https://www.youtube. com/watch?v=B9xE-40c2Oc
现在,这将使用文件名 riotfootage.mp4 将剪辑保存到您的 Videos 文件夹中。
如果您想以不同的格式保存视频,只需添加 -recode-video 选项即可。这种情况下它将以 avi 格式下载,尽管 webm、mkv 和其他格式都可用:
youtube-dl -o ~/Videos/riotfootage --recode-video avi https://www.youtube. com/watch?v=B9xE-40c2Oc
如果由于地理限制而无法访问视频,则可以绕过这些添加适当的 ISO 3166–2 国家/地区代码以及 -geo-bypass-country 选项。
例如,如果我想下载仅在德国提供的视频(ISO代码 DE),我将使用以下命令:
youtube-dl --geo-bypass-country DE https://www.youtube. com/watch?v=B9xE-40c2Oc
从完整选项列表中可以看到,有许多不同的工具可用于根据需要自定义想要下载的视频/播放列表及其元数据。
YouTube-dl 也适用于 Twitter。在这里将展示如何抓住一个日光浴者的视频。
使用以下命令将 Tweet 的URL复制到终端中:
youtube-dl https://twitter. com/i/status/1159811569045295104
请注意,您不必提供确切的视频 URL,只需把推文链接贴到 YouTube-dl 即可。该程序能够从提供的链接中挑选视频内容,并忽略其他所有内容。
同样的方法也适用于 Facebook。只需提供相关帖子的链接,YouTube-dl 就可以提取视频内容,例如:
youtube-dl -o ~/Videos/facebookvideo https://www.facebook.com/watch/?v=328211061465570
LiveLeak
LiveLeak 内容可以以类似于 Twitter 的方式提取。
没有必要提供确切的视频 URL,只需将程序指向帖子URL就足以允许提取视频内容。比如这样(例子是代顿枪击案):
youtube-dl -o ~/daytonshooterresearch/cctvfootage https://www.liveleak.com/view?t=C4uCL_1565289483
GUI
有一个在 Windows 上运行的 YouTube-dl GUI 版本。它可以在这里下载。下面是一个演示。
它没有与最新命令行版本完全相同的选项数量,并且缺少 snap 版本具有的自我更新功能,但它对于大多数人来说仍然非常有用。
您可以试试看。
如何在 Mac 上安装 YouTube-dl
1、要安装 youtube-dl,首先需要安装 Wget。并且为了安装 Wget,您需要先安装自制软件。
因此,请在 Mac 的终端上复制粘贴以下命令。
运行以下命令后,Mac 将从 Github 下载 Homebrew 主文件。
您可能需要多次输入 Mac 的密码。整个过程需要10–15分钟,具体取决于您的网络速度。
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
2、下载 Homebrew 后,即可安装 Wget。键入以下命令,并启用 OpenSSL 以获得TLS支持。
brew install wget --with-libressl
3、现在使用它来下载和安装 Youtube-dl 包。输入以下命令,然后按 Enter 键。
sudo wget https://yt-dl.org/downloads/latest/youtube-dl -O /usr/local/bin/youtube-dl
4、您现在已经在Mac上成功安装了 youtube-dl,但是它还不能正常工作。
要解决此问题,您需要提供正确的权限,键入以下命令并按 Enter 键。
sudo chmod a+rx /usr/local/bin/youtube-dl
5、就是这样,现在您只需输入 youtube-dl [视频链接] 即可下载 YouTube 视频(或来自 youtube-dl 支持网站的任何视频)。
例如这样:
6、您可以在Mac上的主文件夹中找到下载的视频。要调出主文件夹,只需转到 Finder> Go> Home 或按键盘快捷键 CMD + Shift + H.
使用 FFmpeg 下载 1080p 视频
默认情况下,FFmpeg 将下载第二高分辨率。您可能必须安装 FFmpeg 才能获得最高质量的视频。
没有 FFmpeg 的话你可能会获得第二高分辨率,在这里的情况下是720p。要安装 FFmpeg,请键入以下命令。
brew install youtube-dl ffmpeg
无论如何,如果您想更改下载位置或下载不同的视频分辨率,可以在 Github 上查看 youtube-dl 命令行参数。
好啦就是这样。玩得开心。⚪️