抖音爬虫系列一:视频详情和评论列表
作者:互联网
抖音爬虫系列之:抖音app抓取视频详情和评论列表数据。
目前抖音版本使用的是最新版(11月份更新版本13.6.0),抓包工具为anyproxy,frida逆向。
首先我们抓包下抖音:(抓包抖音会提示抖音无网络,是因为抖音有ssl pinning验证,破解方法会后面陆续更新)
经过分析抖音的视频详情接口为(直接访问该接口会返回空数据,还需要些加密参数和cookie参数才能访问)
https://api3-normal-c-lf.amemv.com/aweme/v1/aweme/detail/?aweme_id=6892748677291592963&origin_type=link&request_source=0&is_story=0&manifest_version_code=130601&_rticket=1606474102420&app_type=normal&iid=2937531230334845&channel=xiaomi&device_type=MI+5X&language=zh&cpu_support64=true&host_abi=arm64-v8a&uuid=867306032871082&resolution=1080*1920&openudid=f6be15237a849923&update_version_code=13609900&cdid=5c156520-cbb9-4b22-a374-1263f2475b34&appTheme=dark&os_api=27&dpi=480&oaid=bc6adffe4422dcda&ac=wifi&device_id=41285161153&os_version=8.1.0&version_code=130600&app_name=aweme&version_name=13.6.0&device_brand=xiaomi&ssmix=a&device_platform=android&aid=1128&ts=1606474101
返回的数据如下:(数据主要包含了视频作品的基本信息,统计信息,作者信息等数据)
视频作品详情接口参数:(为保护隐私部分打了码)
然后我们抓包分析得到视频作品的评论列表接口:
https://api3-normal-c-lf.amemv.com/aweme/v2/comment/list/?aweme_id=6892748677291592963&cursor=0&count=20&address_book_access=1&gps_access=1&forward_page_type=1&channel_id=-1&city=110000&hotsoon_filtered_count=0&hotsoon_has_more=0&follower_count=0&is_familiar=0&page_source=0&user_avatar_shrink=96_96&aweme_author=MS4wLjABAAAAjGzyo_ML3tS-JBa7Vodx4bnhVPjNb_2l4bTRhgcGwdA&manifest_version_code=130601&_rticket=1606474951088&app_type=normal&iid=2937531230334845&channel=xiaomi&device_type=MI+5X&language=zh&cpu_support64=true&host_abi=arm64-v8a&uuid=867306032871082&resolution=1080*1920&openudid=f6be15237a849923&update_version_code=13609900&cdid=5c156520-cbb9-4b22-a374-1263f2475b34&appTheme=dark&os_api=27&dpi=480&oaid=bc6adffe4422dcda&ac=wifi&device_id=41285161153&os_version=8.1.0&version_code=130600&app_name=aweme&version_name=13.6.0&device_brand=xiaomi&ssmix=a&device_platform=android&aid=1128&ts=1606474950
返回的数据如下:
我们再抓包分析下评论列表的请求参数:
根据视频作品详情接口和评论接口参数对比可以发现抖音X-Gorgon参数比较特殊
通过反编译APK,以及使用frida hook nativa和so层破解加密算法后,能够得到X-Gorgon参数 (由于方法过于敏感,就不在这里描述了)。
该方案最近测试比较稳定,每天能抓取百万数据用于分析。
标签:code,version,爬虫,列表,aweme,抖音,device,type 来源: https://blog.csdn.net/qq_35999386/article/details/110240433