知网是一个网站。这个网站有很多论文。论文是研究人员写的。这些论文很重要。学生需要看论文。老师也需要看论文。有时候我们要找很多论文。一篇一篇看很慢。我们想快速收集信息。我们想收集论文的题目。我们想收集作者的名字。我们想收集发表时间。我们想收集摘要内容。这些信息叫做论文相关信息。我们可以用电脑程序来收集。这个过程叫做爬取。

爬取知网论文要小心。不能随便爬取。我们要先看规定。知网有使用规则。这些规则告诉我们可以做什么。不能做什么。我们要遵守规则。不能影响网站运行。不能大量快速爬取。那样会给网站压力。网站可能会坏掉。别人就用不了了。我们要慢慢地爬取。这是礼貌。也是规定。

爬取之前要准备工具。电脑是必须的。电脑要能上网。我们要写一个程序。程序是一组指令。电脑按照指令做事。我们可以用Python语言。Python容易学习。很多人用Python爬取数据。我们需要安装Python。安装好就能用了。

我们还需要一些额外的代码包。代码包是别人写好的工具。我们直接拿来用。这样省时间。比如requests包。它可以帮助我们打开网页。比如BeautifulSoup包。它可以帮助我们理解网页内容。比如time包。它可以帮助我们等待。等待很重要。爬取太快不好。我们要在请求之间停一下。

第一步是找到网址。知网的论文有网址。网址就像门牌号。每个论文有一个网址。我们需要找到这些网址。我们可以从知网搜索开始。打开浏览器。进入知网网站。在搜索框输入关键词。比如“人工智能”。然后点击搜索。网页会显示结果列表。列表里有很多论文。每一行是一个论文。每一行有一个链接。链接就是论文详情页的网址。我们就是要收集这些网址。

我们看看网址的规律。有时候网址里有数字。这些数字是论文的编号。编号是唯一的。一个编号对应一篇论文。我们可以利用这个规律。但更好的方法是让程序模仿浏览器的操作。程序先打开搜索页。程序找到页面上的所有链接。程序把链接保存下来。

程序怎么打开网页呢。我们用requests包。我们告诉它一个网址。它就去拿网页内容。网页内容就像一本厚厚的书。书里有很多符号。这些符号是HTML代码。HTML代码描述了网页的样子。哪里是标题。哪里是正文。哪里是链接。程序看不懂人看到的页面。程序只看到代码。所以我们需要解析代码。

我们用BeautifulSoup包解析代码。我们把代码交给它。它帮我们整理清楚。我们可以告诉它找什么。比如找所有带有“class”属性的“div”标签。或者找所有“a”标签。标签就是代码里的记号。链接就在“a”标签里。我们找到这些标签。从里面拿出网址。网址放在“href”属性里。我们把这个属性值保存起来。这样我们就得到了一个网址列表。

有了论文详情页的网址。下一步是打开每一个网址。我们还是用requests包。一个一个打开。打开一个网址。就得到一个论文详情页的代码。我们用BeautifulSoup解析这个代码。

现在我们要找需要的信息。信息藏在代码的不同地方。我们要找到它们的位置。我们打开一个论文详情页。在浏览器里。我们按鼠标右键。选择“检查”。或者按F12键。会弹出一个窗口。窗口里显示网页的代码。我们把鼠标光标移到论文题目上。代码里会有一行高亮显示。这行代码就是题目的位置。我们看看它有什么特征。它可能在一个