黑马程序员技术交流社区

标题: 【上海校区】第一个爬虫和测试 [打印本页]
作者: 梦缠绕的时候    时间: 2020-5-14 09:03
标题: 【上海校区】第一个爬虫和测试
一、完善球赛程序，测试球赛程序。
将代码末尾稍作改动即可，若代码正确，则运行，否则输出Error。
[size=1em][color=rgb(0, 0, 255) !important][size=1em]
[color=rgb(0, 0, 255) !important]+ View Code



结果如下：
则测试得代码无误。
二、用requests库的get()函数访问必应搜狗主页20次，打印返回状态，text内容，并且计算text（）属性和content属性返回网页内容的长度。
关于requests库的内容可戳以下链接
https://www.cnblogs.com/deng11/p/12863994.html
[size=1em]
1

2

3

4

5

6

7

8

import requests
for i in range(20):
    r=requests.get("https://www.sogou.com",timeout=30)   #网页链接可换
    r.raise_for_status()
    r.encoding='utf-8'
    print('状态={}'.format(r.status_code))
    print(r.text)
    print('text属性长度{}，content属性长度{}'.format(len(r.text),len(r.content)))



　结果如下（取20次中的其中一次，text属性内容太长所以不展示出来）：

三、根据所给的html页面，保持为字符串，完成如下要求：
（1）打印head标签内容和你学号的后两位
（2）获取body标签的内容
（3）获取id的first的标签对象
（4）获取并打印html页面中的中文字符
[size=1em][color=rgb(0, 0, 255) !important][size=1em]
[color=rgb(0, 0, 255) !important]+ View Code



　代码如下：
[size=1em]
1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

from bs4 import BeautifulSoup
r = '''
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8">
<title>菜鸟教程(runoob.com)  23号的作业</title>
</head>
<body>

<h1>我的第一个标题</h1>
<p id="first">我的第一个段落。</p>

</body>
    <table border="1">
        <tr>
            <td>row 1, cell 1</td>
            <td>row 1, cell 2</td>
        </tr>
    </table>
</html>
'''
demo = BeautifulSoup(r,"html.parser")

print(demo.title)
print(demo.body)
print(demo.p)
print(demo.string)



效果如下：

四、爬取中国大学排名（年费2016），将数据存为csv文件。
[size=1em][color=rgb(0, 0, 255) !important][size=1em]
[color=rgb(0, 0, 255) !important]+ View Code



效果：

将爬取到的数据存为csv文件，只需将printUni()函数换掉。
改动后的代码如下：
[size=1em][color=rgb(0, 0, 255) !important][size=1em]
[color=rgb(0, 0, 255) !important]+ View Code



　　效果：

以上内容转载自网络
更多讯息欢迎添加小优：DKA-2018





欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2