开源情报(OSINT)侦察指北
作者：互联网
atp7bkil 嘶吼专业版
社交媒体上的对话; 图片由Ethority提供于2014年
慢点，牛仔！在我们开始讨论红队已经为人所知的爆炸式的“性感时刻”(笑话，笑声)***冒险之前，我们还有一些功课要做。一个专业的***测试人员从来不会在没有事先学习或者对他们的目标做“功课”的情况下开始一项工作。关键的第一步是在操作范围内收集特定目标的信息，这使***者能够发现组织防御系统中可能被利用的潜在漏洞和弱点，无论是物理的、社会工程的、逻辑的还是三者的结合。信息是一种新的交换商品，互联网上几乎可以免费获得的关于任何主题的大量信息。那么 OSINT 到底是什么意思呢？
OSINT 通常在***侦察阶段执行，从这个阶段收集的相关信息被带入网络枚举阶段。由于网络上有大量的信息可供筛选，***者必须有一个清晰的、定义明确的搜索框架，以及大量的 OSINT 收集工具以便于完成这项任务并帮助处理数据; 否则他们就有可能迷失在已经成为互联网的信息海洋中。OSINT 侦察可进一步细分为以下五个子阶段:
OSINT过程的阶段;图片由Chiheb Chebbi提供
来源识别: 作为起点，在这个初始阶段，***者识别可以从中收集信息的潜在来源。在整个过程中，资料来源都在内部记录在详细的笔记中，如果有必要，后续还可以再回来查看。
数据收集: 在这个阶段，***者采集并收取来自选定源和其他在这个阶段发现的源的信息。
数据处理和集成: 在这个阶段，***者通过搜索可能有助于枚举的信息来处理收集到的信息，从而获得可操作的情报。
数据分析: 在这个阶段，***者使用 OSINT 分析工具对处理过的信息执行数据分析。
结果交付: 在最后阶段，OSINT 分析已经完成，结果被提交或报告给红队的其他成员。
* * 免责声明 * * 在我们进一步讨论之前，我必须指出，虽然执行 OSINT 是合法的，但是使用这里列出的 OSINT 工具和技术意在与红队的受制裁活动结合使用，作为目标允许的合同服务的一部分。在进行***测试时，一定要签订一份由目标公司或实体或 个人签署的适当合同，允许你为了***测试或脆弱性评估的目的而“黑进”他们的组织，其中包括操作的范围。因此，要谨慎行事。我已经警告过你了哦！
OSINT 工具
有太多的 OSINT 工具可以使用，其中一些是免费的，有些则要花一大笔钱购买。虽然本章的范围不包括所有的 OSINT 工具，但是我们将介绍一些比较流行的工具，你可能会发现这些工具对红队的操作很有用。执行 OSINT 就是获取你能够推断出的关于某个特定个人或实体的信息片段，并通过 OSINT 工具运行这些信息来查看还能发现什么。
谷歌搜索和谷歌 Hacking
例如，假设你被一家自称为“探索媒体集团”的公司雇佣，你在 Google 上进行了搜索，搜索结果中显示网站域名的顶部结果是: www.explorationsmediagroup.com。你可以点击链接进入该网站，在网站的底部发现一些网站链接，它们被命名为“其他值得注意的网站”， 你点击了第一个选项: www.theworldsworstwebsiteever.com ，你想找到更多关于这个网站的信息，这是一个真正令人发指的网页(1980年代的穿越)。如果你决定跟随这条线索进入互联网的兔子洞，你怎样才能找到更多关于这个网站的信息呢？
一种方法是使用所谓的“ Google Dorking” ，也称为 Google Hacking，这是一种在网页浏览器中使用的高级搜索字符串。本质上，我们使用的是谷歌网络爬虫搜索引擎。下面举一个例子，说明***如何利用技术，将其颠倒过来，使其以一种不一定是设计成这样的方式工作。玩玩这些谷歌傻瓜搜索，看看你能得到什么样的结果。
谷歌 Hacking 列表 由 Techworm 提供
然后我们可以直接在浏览器中输入 Google Dork 命令，比如:
site:www.theworldsworstwebsiteever.com ext:(doc | pdf | xls | txt | ps | rtf | odt | sxw | psw | ppt | pps | xml) (intext:confidential salary | intext:”budget approved”) inurl:confidential
虽然这个特定的查询不会返回任何结果，但是如果我们通过添加一个布尔搜索操作符，比如“ OR” ，使它更加通用，那么我们就可以看到所有这些类型的结果:
site:www.theworldsworstwebsiteever.com OR ext:(doc | pdf | xls | txt | ps | rtf | odt | sxw | psw | ppt | pps | xml) (intext:confidential salary | intext:”budget approved”) inurl:confidential
Whois 查询
在上面的例子中，你可以使用 WHOIS 工具来解析 www.theworldsworstwebsiteever.com 的域名，你会发现你得到了一些信息，比如注册信息(godaddy. com) ; 创建时间(2008-05-14) ; ICANN 查询生成了2个服务器名(NS1.EXPMG.NET & NS2.EXPMG.NET)。但是，你注意到IP地址丢失了。嗯?你想知道为什么?这是因为世界卫生组织网站认为他们所保护的这些信息是“危险的”。换句话说，他们想让你为之努力。但是你已经有了这个，所以你可以继续努力，还有很多其他的方法可以得到网站的 IP 地址。
使用WHOIS.net工具为查询网站域名搜集 OSINT
使用WHOIS.icann.org 工具查询网站域收集 OSINT
命令提示符
作为一个***，你可能更喜欢使用命令提示符而不是 GUI 工具。使用 xterm (Unix / Linux)、命令提示符(MS-DOS Windows)或 PowerShell 命令提示符(MS-DOS Windows) ，你可以使用以下命令对 www.theworldsworstwebsiteever.com 网站执行类似的查询: tracert www.theworldsworstwebsiteever.com，顺便说一下，PowerShell 是一个比简单的 MS-DOS 命令提示符更强大的系统管理工具。如果你对 PowerShell 不熟练，你可能需要学习一下。
在PowerShell中使用tracert命令来确定网站的IP地址
我们现在得到了网站域名的 IP 地址，可以对其进行 Nmap 扫描。你也可以使用这个 IP 地址并通过另一个 OSINT 工具运行它，这个工具专门列举了 IP 地址，比如 Onyphe:
Onyphe IP地址扫描结果
如你所见，Onyphe 搜索产生了许多有用的信息，我们可以在后面的枚举阶段中使用这些信息。
Spokeo
人物搜索引擎，如 Spokeo 和其他类似的搜索引擎将爬取社交媒体网站，白名单，电子邮件地址，公共记录，犯罪记录，学校记录，和许多其他类型的公开可用的信息来源。如果你有目标公司(例如，探索传媒集团)中某个人的具体名字，比如一个虚构的 CEO“ John Jacob Jinkleheimer Smith” ，Spokeo 的搜索引擎会返回几条线索，你可以通过搜索参数进一步缩小范围(见下图)。
Spokeo 人物搜索引擎
与 Spokeo 类似的网站有 Family Tree Now，Pipl，that's Them，IntelTechniques，ZoomInfo Directory，Zaba Search，USSearch，Snoop Station，Radaris 等等。还有很多很多的方法可以尝试。现在你可能开始明白为什么收集个人身份信息(PII)并将其出售给感兴趣的第三方是一项如此有利可图的生意，同时也明白了将你自己的私人信息从网络上抹去是多么的困难。作为一名红队成员，你应该对自己执行相同类型的查询，以确保你的私人信息或至少任何潜在的破坏性信息不会发布给所有人看到。
查看我在文章开头说过的 OSINT 框架，以获得更完整的 OSINT 人物搜索工具以及其他类型的 OSINT 工具清单。你也可以在互联网搜索引擎，如谷歌，必应，和雅虎，进行基本的个人姓名搜索。
Shodan（傻蛋）
Shodan 是一个非常流行的 OSINT 工具，专门为连接互联网的设备(即，包括 ICS、物联网、视频游戏系统等)设计。你可以使用网站上的 Shodan 图形用户界面，它提供了一些额外的功能，你可以查看实时的摄像头监控视频，并且可视化地描述全世界漏洞的所在的地理位置。当你进入枚举阶段时，你也可以使用 Nmap 扫描工具从命令行执行 Shodan 用来枚举 IP 地址的扫描:
nmap –sn -Pn -n — script=shodan-api –script-args ‘shodan-api.apikey=XXXXXX’worldsworstwebsiteever.com
其中的 -sn 参数可以禁用端口扫描;-Pn 参数可以跳过主机发现并且不 ping 主机;-n 参数可以跳过 DNS 解析。
探索 Shodan 搜索引擎
Datasploit
Datasploit 是在 Kali 或 BlackArch Linux OS 发行版中可以找到的另一个 OSINT 工具，可用于收集特定域名、电子邮件、用户名或目标电话号码的数据，然后以 HTML 和 JSON 报告或文本文件的形式条理清晰地组织最终的搜索结果。Datasploit 将尝试查找凭据、api-key、令牌、子域名、域名历史记录、遗留门户网站等。
Datasploit OSINT工具;图片由KitPloit提供
Maltego
Maltego 社区版(CE)是一个来自 Paterva 的免费 OSINT 工具，具有相当多的功能，用于分析现实世界中公开的关系信息。Maltego 可以跟踪社交网站上使用的互联网基础设施，并收集使用者的信息。Maltego 将查询 DNS 记录、 whois 记录、搜索引擎、社交网络、各种在线应用程序编程接口(API) ，并提取元数据，这些元数据用于查找名称、电子邮件地址、别名、群组、公司、组织、网站、域名、 DNS 名称、 Netblocks、 IP 地址、从属关系、文档和文件之间的相关关系。
Maltego OSINT工具;图片由Paterva.com提供
社交媒体
像 LinkedIn，Facebook，Peerlyst，Twitter，Google + ，Instagram，Snapchat 这样的社交网站对于信息搜索者来说简直就是一座座金矿。如果你考虑一下这些网站要求用户输入的个人信息的类型，以及用户经常在社交媒体上发布的非常私人的内容的类型，这应该是红队的 OSINT 阶段的第一站。例如，要收集 LinkedIn 上的信息，你可以登录 ScrapedIn。对于 Facebook 来说是 StalkScan; 对于 Twitter 来说是 GeoChirp，对于位置数据来说是 Tweepsmap，对于分析来说是 Tinfoleak Web。像 Match.com，eHarmony，Plenty of Fish，Tinder，OkCupid 和 Ashley Madison 这样的交友网站是其他一些潜在的信息金矿，它们也可以检查特定的目标名称，收集更多的信息。对于人物搜索，它实际上只受限于你想搜索到多少信息。你可以花钱购买这些网站上的信息，以便进一步深入挖掘并尝试获取更多信息，但是如果你的目标是某个特定的公司或组织，这通常是不必要的。
Automater
Automater 是一个 URL 或域名、 IP 地址和 MD5 哈希的 OSINT 工具，旨在使分析过程对***分析师更加容易。给定一个目标(URL，IP或哈希)或者一个保存有目标的文件，Automater 会返回相关的结果，如下：IPvoid.com, Robtex.com, Fortiguard.com, unshorten.me, Urlvoid.com, Labs.alienvault.com, ThreatExpert, VxVault和VirusTotal。
Automater OSINT工具;图片由SecuirtyOnline.com提供
对于在深网（Deep Web）方面的侦察，有许多搜索引擎可以使用，比如 PubPeer，Google Scholar，康奈尔大学的 arxiv. org，还有哈佛的“智囊团（Think Tank）”搜索引擎。使用 Deep Web 搜索，你主要寻找发表在学术期刊和专业出版物上的文章、白皮书和研究。
康奈尔大学的arXiv.org
对于 OSINT 在暗网的侦察，DeepDotWeb、 Reddit Deep Web、 Reddit DarkNetMarkets、 Hidden Wiki、 Core.onion (来自 Tor 浏览器)、 OnionScan 和 Tor Scan 等搜索引擎可能会提供一些有用的信息。然而，有了暗网，将会有一些只能通过邀请才能访问的网站和服务，这使得寻找它们变得非常困难，因为它们不会出现在正常的暗网搜索中。从暗网内部进行网络流量模式分析是找到这些类型网站的唯一真正途径。还要记住，Tor 不是进入暗网的唯一入口，还有 Freenet 和 I2P。
使用OnionScan OSINT工具扫描暗网;图片由OnionScan OSINT Mascherari.press提供
OSINT 数据收集实际上仅仅受限于你的想象力。你可以使用任意数量的这些工具或搜索示例，并根据自己的需要调整它们，从而获得更好的结果。我们只介绍了一些精选的 OSINT 工具，这些工具旨在让你了解外面的世界。还有很多工具可以发现和试验，其中很多都包含在 Kali 或 BlackArch Linux 发行版中。在 OSINT 集合的最后，你应该有大量的信息可以在下一阶段中进行枚举。玩的愉快！
本文翻译自：https://medium.com/@z3roTrust/open-source-intelligence-osint-reconnaissance-75edd7f7dada
标签：指北,网站,信息,开源,OSINT,搜索,工具,com 来源： https://blog.51cto.com/u_15127538/2698915