Python爬取Coursera课程资源的详细过程

有时候我们需要把一些经典的东西收藏起来，时时回味，而Coursera上的一些课程无疑就是经典之作。Coursera中的大部分完结课程都提供了完整的配套教学资源，包括ppt，视频以及字幕等，离线下来后会非常便于学习。很明显，我们不会去一个文件一个文件的下载，只有傻子才那么干，程序员都是聪明人！

那我们聪明人准备怎么办呢？当然是写一个脚本来批量下载了。首先我们需要分析一下手工下载的流程：登录自己的Coursera账户(有的课程需要我们登录并选课后才能看到相应的资源)，在课程资源页面里，找到相应的文件链接，然后用喜欢的工具下载。

很简单是吧？我们可以用程序来模仿以上的步骤，这样就可以解放双手了。整个程序分为三个部分就可以了：

登录Coursera；在课程资源页面里面找到资源链接；根据资源链接选择合适的工具下载资源。

下面就来具体的实现以下吧！

登录

刚开始时自己并没有添加登录模块，以为访客就可以下载相应的课程资源，后来在测试comnetworks-002这门课程时发现访客访问资源页面时会自动跳转到登录界面，下图是chrome在隐身模式访问该课程资源页面时的情况。

要想模拟登录，我们先找到登录的页面，然后利用google的Developer Tools分析账号密码是如何上传到服务器的。

我们在登录页面的表单中填入账号密码，然后点击登录。与此同时，我们需要双眼紧盯Developer Tools——Network，找到提交账号信息的url。一般情况下，如果要向服务器提交信息，一般都用post方法，这里我们只需要先找到Method为post的url。悲剧的是，每次登录账号时，Network里面都找不到提交账户信息的地址。猜测登录成功后，直接跳转到登录成功后的页面，想要找的内容一闪而过了。

于是就随便输入了一组账号密码，故意登录失败，果真找到了post的页面地址，如下图:

地址为：https://accounts.coursera.org/api/v1/login。为了知道向服务器提交了哪些内容，进一步观察post页面中表单中内容，如下图：

我们看到一共有三个字段：

email：账号的注册邮箱password：账号密码webrequest：附加的字段，值为true。

接下来就动手写吧，我选择用python的Requests库来模拟登录，关于Requests官网是这样介绍的。

Requests is an elegant and simple HTTP library for Python, built for human beings.