关于最好大学排名的爬虫

概述

既然决定把视频上老师讲的实战都自己动手实现一遍,那么就先把最好大学排名这个实例自己写一遍。看视频的时候挺轻松的,但是到自己动手的时候才知道不容易,写这个程序遇到两个比较棘手的问题,一个是如何从网页中提取出自己想要的信息,另一个是信息以什么样的形式保存并展示出来。其实几乎所有的爬虫都会遇到这两个问题吧,希望在以后的练习中能不断增强对这两个问题的处理能力。当然,这个实例还有一个重要的作用是增强自己对beautifulsoup库的理解和运用。

准备工作

打开Chrome浏览器,查看要爬取的页面是否为静态页面,如果不是的话以目前的技术是不能对其进行爬取的,毕竟视频的录制已经有一段时间了,网页可能会有所变化。经检查,幸好网页还是静态的,就可以用requests+bs4对其进行爬取。

调试

不能抡起袖子,就在sublime中猛写代码,边写边改,其实效率是很低的,因为如果在编辑器中写代码调试,发现自己的代码不能抓取到目标信息,就必须修改代码并且重新对网页进行爬取操作,无疑这种人工的重复劳动是不行的,效率十分低下,毕竟只是个小白,不能一下子就把正确的信息抓取下来。

针对此问题,可以在Python shell中进行调试,这样就好了许多。在交互式窗口中引入requests和bs4,在shell中进行调试明显比在命令行中调试好了许多。

调试过程中尽量用浏览器的开发者工具对信息进行分析吧,如果用源代码对其进行分析的话,结构不清晰,不容易分析。

bd4的使用

根据个人的习惯,发现自己最常用的方法应该是find_all()、对子节点的访问和平行节点向下遍历了,有时还会遇到对标签的属性信息和文本信息的提取。

find_all()

标签对象的一个方法,主要是用来定位一个标签或者是一些标签的位置,返回的是一个列表,列表里的每个元素是一个tag对象。此方法常和标签的属性组合来完成定位,要注意的是,class属性由于和Python中的关键字冲突,所以用class_代替,由于此方法很常用,所以可以不写,直接加对括号就可以表示调用了此方法了,十分方便。

子节点遍历

  • “.” 操作符 得到子节点中第一个符合的标签
  • .contents 返回一个含所有子节点的列表
  • .children 返回一个可迭代对象,内容和.contents是一样的
tbody.tr.td
1

值得注意的是, 空字符串或者是换行符也算是节点
,这是一个大坑,要注意一点。

平行节点的向下遍历

  • .next_sibling 返回一个标签对象
  • .next_siblings 返回一个可迭代对象

对标签属性的访问

  • 类似于字典式的访问
  • get()
tbody['class']
['hidden_zhpm']
tbody.get('class')
['hidden_zhpm']

也许用第二种意思更清晰点吧==

对标签中文本信息的提取

  • .string
  • .text
  • .get_text()
td.string
'1'
td.text
'1'
td.get_text()
'1'

遇到的问题

  1. 每所学校的标签基本上一样的,有些有属性还能精准定位,而有些没有属性,不能精准的定位,而且还有些空格或者是换行符还混进来,增加了提取信息的难度。
  2. 每所学校要获取的信息有三个:排名、学校名称和所在地区,应该以哪种方式对它们进行保存也是个问题。
  3. 把获取到的信息格式化输出也是个问题,因为要做到简洁、清晰和美观。
  • 对于第一个问题,既然有些标签没有属性,不能精确定位,又不能将其放弃,那么只能不用配合属性将它们都抓取下来,其中混杂着换行符这个垃圾信息,可以增加一个判断语句来将换行符给排除掉:
    if isinstance(tr, bs4.element.Tag)
  • 第二个问题,用列表的形式将这三个信息保存下来,而这三个元素是列表的一个元素,也就是嵌套列表,列表可以从主函数这边传递过去。
  • 第三个问题,格式化输出可以用字符串的format函数,但是还是遇到了问题,主要是大学名称太长会把后面的省市的一部分空间给占用掉,造成不对齐现象。测试了很多次,在设置的长度足够长的情况下,只要中文字数超过7个,必将不对齐,很神奇的现象,跑去论坛问,也没有谁说出个所以然来,很无奈。format函数在一般情况下不会出现问题,先这样吧。

总结

对于这个爬虫程序的编写,最大的收获就是帮助我理解和掌握beautifulsoup的用法,当然还有其他方面的收获,比如怎样将信息格式化输出和学习老师编写代码的方法,虽然最后格式化输出有点不理想,但整个程序在整体上还是成功的,希望自己继续努力。

源代码

from fake_useragent import UserAgent
import requests
from requests import Timeout, HTTPError
from bs4 import BeautifulSoup
import bs4


def get_page(url, ua):      
    try:
        headers = {'User-Agent':ua}
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        response.encoding = 'utf-8'
        return response.text
    except Timeout:
        print('requests timeout')
        get_page(url)
    except HTTPError:
        print('the http error(maybe status is not 200)')
    except:
        print('other error')

def parse_page(html):
    soup = BeautifulSoup(html, 'html.parser')
    return soup 

def get_message(html, ulist):
    tbody = html.find('tbody', class_='hidden_zhpm')
    trs = tbody('tr')
    for tr in trs:
        if isinstance(tr, bs4.element.Tag):
            tds = tr.contents
            ulist.append([tds[2].string.strip(),tds[4].string.strip(), tds[0].string.strip()])

def print_message(messages):
    templet = '{0:<50}t{1:<50}t{2:<50}'
    print(templet.format('排名', '学校名称', '省市'))
    for ult in messages:
        print(templet.format(ult[2], ult[0], ult[1], ' '))

        
def main():
    ua = UserAgent()
    ua = ua.random
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html'
    html = get_page(url, ua)
    soup = parse_page(html)
    ulist = []
    get_message(soup, ulist)
    print_message(ulist)

main()
Python_博客园责编内容来自:Python_博客园 (源链) | 更多关于

阅读提示:酷辣虫无法对本内容的真实性提供任何保证,请自行验证并承担相关的风险与后果!
本站遵循[CC BY-NC-SA 4.0]。如您有版权、意见投诉等问题,请通过eMail联系我们处理。
酷辣虫 » 综合编程 » 关于最好大学排名的爬虫

喜欢 (0)or分享给?

专业 x 专注 x 聚合 x 分享 CC BY-NC-SA 4.0

使用声明 | 英豪名录