头条文章算法逆向

分析

xhr断点 https://www.toutiao.com/api/pc/list/user/feed

分析加密函数位置

window.byted_acrawler

r.call(n,o)为singure加密函数调用

打印得知o为加密参数

{url: 'https://www.toutiao.com/api/pc/list/feed?category=…QI7c6rFtD7aQ78z27uDY5&aid=24&app_name=toutiao_web'}

进入call函数即加文密文件acrawler.js所在

抽取加密文件

创建node项目

新建一个目录acrawler在目录下执行npm init

添加jsdom依赖

npm install jsdom

注JSDOM创建时指定参数

{
   runScripts: "dangerously",
   resources:"usable",
    }

用于执行js命令 在html中引入acrawler.js即可 个人代码库 https://gitee.com/yylittle/acrawler_node