基于requests的爬虫，0基础，超简单

发表于 2019-7-23 19:07

1，安装requests,bs4这里假装你安装了最新的Python3了。
cmd,运行

首先安装必要组件:

pip3 install requests

pip3 install beautifulsoup4

网速不给力，就要多试几次。。。。。。。。坑爹不？

安装后，再在Python里就可以正常使用它了。
bs4方法类似

----------------------------------------------

发表于 2019-7-23 19:10

复制

import requests

from bs4 import BeautifulSoup

url="https://www.163.com/"

wbdata = requests.get(url).text

soup =BeautifulSoup(wbdata,'html.parser')

news_titles = soup.select("div>ul>li>a")

for n in news_titles:

 title=n.get_text()

 link=n.get("href")

 data = {'标题':title,'链接':link}

 print(data)

然后运行，效果如下

一个最简单的爬虫就搞定了。

基于requests的爬虫，0基础，超简单

相关帖子

浏览过的版块

核心会员奖章

坚毅之洋流

十世金身

技术导师奖章