逆向JavaScript经验分享

Posted on

最近心血来潮,想看个国漫。结果爱奇艺独播,还每集那么老长的广告,可是把我恶心的不要不要的。然后为了展现程序员的自我修养,我要分析下这个视频的源文件地址,直接观看,跳过广告!凭着我分析百度网盘的经验,花了三个晚上,总算搞定了。 顺便分享下整个逆向分析过程,和大家学习。

查看请求

前端无论怎么样的操作,本质上都是向服务器发送请求,然后解析请求数据,展现在页面上。所以说逆向的切入点就是查看网络请求!因为我要分析视频的源MP4文件而不是flash文件,所以我把浏览器模拟成手机让爱奇艺载入手机版界面以便抓包获取MP4文件。切换成手机版很简单,只需要在Chrome上按F12打开开发人员工具,点击左上角的 Toggle device toolbar图标就可以切换成手机设备了,我选择模拟的设备是Nexus 6P。这时候重新刷新页面,查看NetWork面板。里面会有这个页面载入发起的所有请求,我们重点找的是各种JS发起的请求和带参数的请求。最笨的办法就是一个请求一个请求看一遍,总有你需要的。

分析请求

通过一个个查找,我们找到了一个请求返回了一个JSONP格式的数据,这个数据里面包含了MP4源文件的地址。注意,很多人分析请求的时候经常喜欢找MP4文件的请求,这个可以算是一个切入点。但是一般网站不会把视频网址固定死的,所以找到MP4请求并没有什么实际意义,而是一定有一个请求去向服务器索取真实的MP4地址,一般这个数据都是JSON格式的。所以只要耐心找,一定找得到的。很多请求都只不过是资源文件,所以很容易过滤掉的。

接下来就请看我们找到的这个关键请求: Request 从这个请求的Response可以得知这是我们需要的请求,但这也只不过才是开始。我们知道了这个请求,就需要思考如何构造这个请求,来获取真实的MP4地址。一般请求的网址和路径都是固定的,所以我们的重点工作就是构造请求参数。 这个请求总共有17个请求参数,真是够多的。但是我们不知道所有请求参数是否是必须的。有可能服务器只校验其中的几个参数,所以我们没有必要对每个参数都分析一遍。

这时候就需要拷贝下来这些参数来进行分析,在界面的左侧面板,右键单击之后会出现 copy as cURL菜单。这样我们就可以在Linux的终端里调试这个请求,你可以先拷贝到记事本上,然后修改请求之后再终端里跑一遍看看能否返回正常的数据。有些服务器也会对Request Headers进行校验,所以可以试试去掉相关的headers例如cookie,UA。最终调试出可以得到合法数据的最简单请求。爱奇艺这个例子对Request Headers没有进行任何校验,反而对请求参数很苛刻,少一个都不行,最后我们会解释为什么爱奇艺对请求参数检查这么苛刻。

逆向JS文件找到相关请求如何构造

从上面我们知道了,这个请求只对参数进行了校验,Request Headers并不需要。那重点就是逆向JS找到如何构造参数即可。

通过Sources面板可以看到这个页面加载的所有JS,但是这个看起来也太多了吧。所以这个不是方法,重点就是查找关键的JS文件。Ctrl+Shift+F可以查找所有的文件,所以我们可以利用搜索大法来找到关键的JS文件。一般也可以通过Network查看请求的触发者,但是很多封装之后的JS,是无法通过请求追溯到构造的JS文件的。但是无论这个JS文件怎么压缩混淆,网址是必须要有的。所以我们搜索cache.m.iqiyi.com/jp/tmts就找到了关键的JS文件了!找到JS文件之后,会跳转到Sources面板,点击右下角的{}Pretty print会把压缩的JS自动进行换行和排版,方便分析。这时候通过分析这个JS文件,我们就知道如何构造这个请求了。

站在巨人的肩膀上

我们没有必要每个参数都自己用JS实现一遍,因为人家已经实现好了,我们只要调用就好。这个请求的关键是getTmtsVf函数。这个函数对请求进行了哈希,添加了一个vf参数,所以我对参数进行了任何的修改都会导致请求非法。无论怎么实现的JS,有些参数只能通过全局变量来共享,所以对于那些参数,我们可以直接使用。例如爱奇艺有个全局的Q变量,通过这个变量可以获得很多需要的参数。

终极解决方案

对参数的构造完全取决于最后个人对JS文件的理解的功底,能看懂压缩的JS的逻辑才能成功提取需要的请求参数。但也有些变态的JS文件很难理解,不进行动态调试分析的话很难明白。这时候我们就不得不请出Chrome的大杀器:webRequest,通过这个API,我们可以拦截请求并进行替换。我就使用这个API拦截了app_movie.js,注入了我带调试信息的JS。你就可以随意的调试了。关于这个API的使用DEMO,可能后续会放在我的Github上。

写在最后

其实可以分析桌面版本的flash视频,然后使用B站的这个flv.js来解决播放问题。最终我写了一个油猴脚本来一键输出MP4文件。有兴趣的可以私信我。

tagged: JavaScript

Linux高并发系统参数优化

Posted on

终于毕业证书到手,学生生涯也算是划上完美的句号了。不过工作强度还真的有点大,还经常加班。感觉自己懒散了许多,人果然是生于忧患,死于安乐。。。最近的项目里对业务处理的高并发要求比较高,因此也学习了相关的如何调整Linux内核参数让服务器可以处理非常高并发的业务。所以在博客上记录下相关的经验,以供参考。 修改的参数主要是Linux系统参数和网络协议栈参数。注意,以下命令都需要在root环境下运行。

Linux操作系统参数

系统全局允许分配的最大文件句柄数:

    # sysctl -w fs.file-max=2097152
    # sysctl -w fs.nr_open=2097152

允许当前会话/进程打开文件句柄数:

    # ulimit -n 1048576

但是以上命令只是临时修改,重启系统便会失效,所以我们需要持久化这些参数。

持久化’fs.file-max’设置到/etc/sysctl.conf文件:

    fs.file-max = 1048576

/etc/security/limits.conf持久化设置允许用户/进程打开文件句柄数:

    *      soft   nofile      1048576
    *      hard   nofile      1048576

TCP协议栈网络参数

并发连接backlog(定义了网络连接的队列的最大长度)设置:

    # sysctl -w net.core.somaxconn=32768
    # sysctl -w net.ipv4.tcp_max_syn_backlog=16384
    # sysctl -w net.core.netdev_max_backlog=16384

可用知名端口范围:

    # sysctl -w net.ipv4.ip_local_port_range='1000 65535'

TCP Socket读写Buffer设置:

    # sysctl -w net.core.rmem_default=262144
    # sysctl -w net.core.wmem_default=262144
    # sysctl -w net.core.rmem_max=16777216
    # sysctl -w net.core.wmem_max=16777216
    # sysctl -w net.core.optmem_max=16777216

    # sysctl -w net.ipv4.tcp_rmem='1024 4096 16777216'
    # sysctl -w net.ipv4.tcp_wmem='1024 4096 16777216'

TCP连接追踪设置:

    # sysctl -w net.nf_conntrack_max=1000000
    # sysctl -w net.netfilter.nf_conntrack_max=1000000
    # sysctl -w net.netfilter.nf_conntrack_tcp_timeout_time_wait=30

TIME-WAIT Socket最大数量、回收与重用设置:

    # net.ipv4.tcp_max_tw_buckets=1048576

FIN-WAIT-2 Socket超时设置:

    # net.ipv4.tcp_fin_timeout = 15

参考

测试调优

tagged: Linux

使用Latex书写论文

Posted on

最近忙着写论文,博客都快要长草了。。。但是我还是要坚持写下去!因为早就知道写论文排版会很麻烦,所以就选择了使用Latex来写论文。看到后期同学们在Word上一句一句的调整格式,我只能说学会了Latex真是磨刀不误砍柴工,后期真是太省心了,接下来就向大家介绍下如何使用Latex写论文,免除排版之忧。

Latex安装

推荐使用Tex Live来编写论文,从国内中科大的镜像源来下载每个平台对应的安装文件,Windows平台下载exe程序,Linux的各大发行版建议从官方镜像源下载。安装过程记住要首先选择国内的镜像源,根据网速来决定安装进度,基本上要安装很久,请耐心等待。

编辑器选择

Latex的主要功能是把tex文件编译成pdf文件,所以自带的编辑功能很难用。在此我推荐使用Sublime Text 2来编写论文,可以一键编译非常方便。安装好Sublime Text 2之后,我们还要安装相应的插件来配合Latex的使用,插件的启用请参考我之前的博文。在这里我们选择使用LaTeXTools来编译论文,虽然Github上有详细的配置说明,我还是简要介绍下,主要配置的就是Latex所对应的环境变量texpath。还可以配置默认的PDF阅读器进行反向搜索,Win下使用SumatraPDF,Linux使用Evince。配置完毕之后我们只需要在当前tex页面按下Ctrl+B 就可以一键编译成pdf文件。

Latex格式学习

网上有很多Latex的学习资料,不过我们也没必要详细学习,在此介绍一个简单的学习资料。一份不太简短的LATEX介绍基本上看完这个文档就可以大致明白如何利用Latex书写论文。

Latex模板

当然,我们也没必要一定要系统的学习,如果别人有做好现成的模板,我们直接套用就好,非常方便,中科大也有热心的小伙伴制作了模板。地址是USTC Thesis。近期抽时间的话,我会制作一个软件学院专用的论文模板。

相关学习资料

如何使用LaTeX排版论文

配置LaTEXTools

tagged: Latex