Python网络爬虫

博主：梅零落
发布时间：2021 年 01 月 26 日
570 次浏览
暂无评论
7181字数
分类： Python

# 准备工作

该笔记围绕豆瓣TOP250页面进行学习，爬取豆瓣TOP250影片信息。网址为 https://movie.douban.com/top250?start=25 其中 `?start=25` 表示显示第25个以后的25个影片信息，如果不加该参数，则从第一个开始显示。

我们需要安装相应的第三方模块，如下

```
from bs4 import BeautifulSoup   #网页解析获取数据
import re   #正则表达式进行文字匹配
import urllib.request , urllib.error , requests   #网页请求
import xlwt #进行Excel操作
import sqlite3  #进行sqlite数据库操作
```

## 项目流程

```
# 主函数
def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    GetData(baseurl)
    # 3.保存数据
    savepath = "./top250.xls"
    SaveData(savepath)

def GetData(baseurl):
    datalist=[]
    # 2.边爬取边解析数据
    return datalist

def SaveData(savepath):
    pass

if __name__ == "__main__":
    main()
```

## urllib库介绍

基本的请求 是python内置的一个http请求库，不需要额外的安装。只需要关注请求的链接，参数，提供了强大的 解析。
urllb.request 请求模块
urllib.error  异常处理模块
urllib.parse  解析模块

参考： https://www.cnblogs.com/qikeyishu/p/10748497.html

```
# get请求
import urllib.request , urllib.error
response=urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode("utf-8"))  #对读到的响应转码成utf-8
print(response.status)  # 获取状态码
print(response.getheaders())    #获取所有响应头信息
print(response.getheader("Bdqid"))    #获取某个响应头信息

# post请求
import urllib.request , urllib.error
import urllib.parse
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")    #生成测试数据
res = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(res.read().decode("utf-8"))

# 超时处理
import urllib.request , urllib.error
try:
    response=urllib.request.urlopen("http://www.baidu.com",timeout=0.01) # 设置超时时间，超过0.01s没返回就报错
    print(response.read().decode("utf-8"))
except urllib.error.URLError as result:
    print("Time Out!")

# 封装请求头访问
import urllib.request , urllib.error
import urllib.parse
url="http://httpbin.org/post"
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")    #生成测试数据
headers={
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"
}
req = urllib.request.Request(url=url,data=data,headers=headers,method="POST")   #封装请求对象,由于urlopen无法传参数，声明一个Request对象 
res = urllib.request.urlopen(req)
print(res.read().decode("utf-8"))
```

# 数据解析

## BeautifulSoup

BeautifulSoup使用详解参见：BeautifulSoup详解

## 正则表达式

### 正则表达式常用操作符

| 操作符 | 说明                             | 实例                              |
| :------- | :--------------------------------- | :---------------------------------- |
| .      | 表示任何单字符                   |                                   |
| [ ]    | 字符集对单个字符给出取值范围     | [abc]表示a,b,c [a-z]表示a-z的字符 |
| [^ ]   | 非字符集，对单个字符给出排除范围 | [^abc]表示非a或b或c的单个字符     |
| *      | 前面一个字符0次或无限次扩展      | abc*表示ab,abc,abcc等             |
| +      | 前面一个字符1次或无限次扩展      | abc*表示abc,abcc等                |
| ?      | 前面一个字符0次或1次扩展         | abc?表示ab,abc                    |
|        |                                  | 左右表达式任意一个                |
| {m}    | 扩展前一个字符m次                | ab{2}c表示abbc                    |
| {m,n}  | 扩展前一个字符m至n次(包含n)      | ab{1,2}c表示abc,abbc              |
| ^      | 匹配字符串开头                   | ^abc表示abc且在一个字符串开头     |
| $      | 匹配字符串结尾                   | abc$表示abc且在一个字符串结尾     |
| ( )    | 分组标记                         | (abc)表示abc                      |
| \d     | 数字,邓嘉怡[0-9]                 |                                   |
| \w     | 单词字符，等价于[a-zA-Z0-9_]     |                                   |

### Re库主要功能函数

### 控制匹配的模式

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。 多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：

| 修饰符 | 描述                                                         |
| :------- | :------------------------------------------------------------- |
| re.l   | 使匹配对大小写不敏感                                         |
| re.L   | 做本地化识别匹配                                             |
| re.M   | 多行匹配影响^和$                                             |
| re.S   | 使.匹配包括换行在内的所有字符                                |
| re.U   | 根据Unicode字符集解析字符，影响\b,\B\w,\W                    |
| re.X   | 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解 |

### Re模块下的函数

compile(pattern)：创建模式对象

```
import re 
pat=re.compile("A") 
#m=pat.search("CBA")

m=pat.search("ABC") 
#等价于 re.search( A , CBA ) 
print(m)
#<re.Match object; span=(2, 3), match='A'> 表示匹配到了

m=pat.search("CBD") 
print(m)        #None   表示没匹配到
```

search(pattern,string)：在字符串中寻找模式

```
import re 
m = re.search("asd" , "ASDasd" ) 
print(m)
# <_sre.SRE_Match object at 0xb72cd6e8> #匹配到了，返回MatchObject（True）

m = re.search("asd"  , "ASDASD" ) 
print(m)                                 #没有匹配到，返回None（False）
```

match(pattern,string)：在字符串开始处匹配模式

```
# 等价于
pat=re.compile( "a" )
print(pat.match( "Aasd" ))
#输出None

print(pat.match("aASD" ))
#输出 <_sre.SRE_Match object at 0xb72cd6e8>

# 上面的函数返回都可以在if条件语句中进行判断：
if pat.search("asd"):
    print ("OK")   #OK        #找到返回
if re.search("a","ASD" ):
    print ("OK")            #没有找到
```

split(pattern,string)：根据模式分割字符串,返回列表

```
re.split( , , a,s,d,asd )
[ a , s , d , asd ]          #返回列表

pat = re.compile( , )
pat.split( a,s,d,asd )
[ a , s , d , asd ]          #返回列表

re.split( [, ]+ , a ,  s  ,d     ,,,,,asd )   #正则匹配：[, ]+，后面说明
[ a , s , d , asd ]

re.split( [, ]+ , a ,  s  ,d     ,,,,,asd ,maxsplit=2) # maxsplit 多分割次数
[ a , s , d     ,,,,,asd ]

pat = re.compile( [, ]+ )                     #正则匹配：[, ]+，后面说明
pat.split( a ,  s  ,d     ,,,,,asd ,maxsplit=2)        # maxsplit 多分割次数
[ a , s , d     ,,,,,asd ]
```

ﬁndall(pattern,string)：列表形式返回匹配项

```
import re
print(re.findall( "a" , "ASDaDFGAa" ))
#[ a , a ]                  #列表形式返回匹配到的字符串

pat = re.compile( "a" )
print(pat.findall( "ASDaDFGAa" ))
#[ a , a ]         #列表形式返回匹配到的字符串

pat = re.compile( "[A-Z]+" )    #正则匹配：[A-Z]+
print(pat.findall( "ASDcDFGAa" ))
#[ ASD , DFGA ]                 #找到匹配到的字符串

pat = re.compile( [A-Z] ) pat.findall( ASDcDFGAa ) #正则匹配：[A-Z]+
#[ A , S , D , D , F , G , A ]  #找到匹配到的字符串

pat = re.compile( [A-Za-z] )   #正则匹配：[A-Za-z]+  匹配所有单词
pat.findall( ASDcDFGAa )
[ A , S , D , c , D , F , G , A , a ]
```

sub(pat,repl,string) ：用repl替换 pat匹配项 (留的是中间的，因为中间在中心)

```
re.sub( a , A , abcasd )   #找到a用A替换
AbcAsd
```

## 解析部分代码

# 主函数
def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    GetData(baseurl)
    # 3.保存数据
    savepath = "./豆瓣TOP250.xls"
    SaveData(savepath)

#详情链接
findlink=re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则
#影片图片
findsrc=re.compile(r'<img.*src="(.*?)"',re.S) #re.S让换行符包含在.匹配符其中
#影片名字
findtitle=re.compile(r'(.*?)') 
#影片评分
findrating=re.compile(r'(.*?)') 
#影片评价人数
findjudge=re.compile(r'(\d*?)人评价') 
#影片概况
findinq=re.compile(r'(.*?)') 
#影片相关内容
findbd=re.compile(r'(.*?)',re.S)

def GetData(baseurl):
    datalist=[]
    for i in range(0,10):
        url = baseurl + str(i*25)   # 调用获取页面信息函数10次
        html =AskURL(url)
        # 2.边爬取边解析数据
        soup = BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"): #查找符合要求的字符串形成列表，
            data = []   #保存一部影片所有信息
            item=str(item)
          
            #影片详情页链接
            link=re.findall(findlink,item)[0]   #使用re库查找指定字符串
            data.append(link)                   #添加链接

#影片图片
            imgsrc=re.findall(findsrc,item)[0]
            data.append(imgsrc)                 #添加图片

#影片名字
            titles=re.findall(findtitle,item)   #片名可能只有中文名没有外文名
            if (len(titles)==2):
                data.append(titles[0])  #添加中文名
                data.append(titles[1].replace("/",""))  #添加外文名
            else:
                data.append(titles[0])
                data.append("")        #留空
          
            #影片评分
            rating=re.findall(findrating,item)[0]
            data.append(rating)                     #添加评分

#影片评价人数
            judgenum=re.findall(findjudge,item)[0]
            data.append(judgenum)                     #添加评分

#影片概况
 inq=re.findall(findinq,item)
 if(len(inq)!=0):
 inq=inq[0].replace("。","") #去掉句号
 data.append(inq) #添加概况
 else:
 data.append("") #留空
 
 #影片相关内容
 bd=re.findall(findbd,item)[0]
 bd=re.sub("<br(\s+)?/>(\s+)?","",bd)
 bd=re.sub("/","",bd) #去掉 /
 data.append(bd.strip()) #去掉空格，并添加进data

datalist.append(data)
  
    print(datalist)

return datalist

#保存数据
def SaveData(savepath):
    pass

#得到一个指定url的内容
def AskURL(url):
    headers={   #模拟浏览器头部信息，向豆瓣发送请求
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36"
    }
    request = urllib.request.Request(url=url,headers=headers)
    try:
        response =urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        # print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html

if __name__ == "__main__":
    main()
```

# 数据保存

## 保存数据到Excel

参考: https://www.cnblogs.com/caesar-id/p/11802440.html

使用xlwt保存数据到Excel的小demo：

```
import xlwt

workbook=xlwt.Workbook(encoding="utf-8")    #创建workbook对象
worksheet=workbook.add_sheet("sheet1")      #创建工作表取名sheet1
worksheet.write(0,0,"hello")                #在sheet1中的第一行第一列写入hello
workbook.save("student.xls")                #保存数据表取名为student.xls
```

## 保存数据到Excel代码

# 主函数
def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    datalist=GetData(baseurl)
    # 3.保存数据
    savepath = "./豆瓣TOP250.xls"
    SaveData(datalist,savepath)

#详情链接
findlink=re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则
#影片图片
findsrc=re.compile(r'<img.*src="(.*?)"',re.S) #re.S让换行符包含在.匹配符其中
#影片名字
findtitle=re.compile(r'(.*?)')
#影片评分
findrating=re.compile(r'(.*?)')
#影片评价人数
findjudge=re.compile(r'(\d*?)人评价') 
#影片概况
findinq=re.compile(r'(.*?)')
#影片相关内容
findbd=re.compile(r'(.*?)',re.S)

#影片图片
            imgsrc=re.findall(findsrc,item)[0]
            data.append(imgsrc)                 #添加图片

#影片评价人数
            judgenum=re.findall(findjudge,item)[0]
            data.append(judgenum)                     #添加评分

datalist.append(data)
  
    # print(datalist)

return datalist

#保存数据
def SaveData(datalist,savepath):

workbook=xlwt.Workbook(encoding="utf-8")    #创建workbook对象
    worksheet=workbook.add_sheet("豆瓣TOP250")      #创建工作表取名sheet1
  
    col=("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")
    for i in range(0,8):
        worksheet.write(0,i,col[i])     #添加表头
    for i in range(0,250):
        print("第%d条"%i)
        data=datalist[i]
        for j in range(0,8):
            worksheet.write(i+1,j,data[j])
    workbook.save(savepath)                #保存数据表取名为student.xls

if __name__ == "__main__":
    main()
```

## 保存数据到数据库

sqlite基本使用方法

1. 建立数据库表

```
import sqlite3
# 建表
conn=sqlite3.connect("test.db") # 打开或创建数据库
c=conn.cursor() #获取游标
sql ='''
create table commpany
(id int primary key not null,
name text not null,
age int not null,
address char(50),
salary real)
'''
c.execute(sql)  #执行sql语句
conn.commit()   #提交数据库操作
c.close()       #关闭游标
conn.close()    #关闭数据库
```

2. 插入数据

```
import sqlite3
# 插入数据
conn=sqlite3.connect("test.db") # 打开或创建数据库
c=conn.cursor() #获取游标
sql1 ='''
insert into commpany (id,name,age,address,salary)
values (1,'张三',32,'成都',8000);
'''
sql2 ='''
insert into commpany (id,name,age,address,salary)
values (2,'李四',30,'重庆',10000);
'''
c.execute(sql1)  #执行sql语句
c.execute(sql2)  #执行sql语句
conn.commit()   #提交数据库操作
c.close()       #关闭游标
conn.close()    #关闭数据库
```

3. 查询数据库

```
import sqlite3
# 查询数据库
conn=sqlite3.connect("test.db") # 打开或创建数据库
c=conn.cursor() #获取游标
sql ='''
select id,name,age,address,salary from commpany
'''
cur=c.execute(sql)  #执行sql语句

for row in cur:
    print("id = ",row[0])
    print("name = ",row[1])
    print("address = ",row[2])
    print("salary = ",row[3],"\n")

c.close()       #关闭游标
conn.close()    #关闭数据库
```

## 保存数据到数据库代码

# 主函数
def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    datalist=GetData(baseurl)
    # 3.保存数据到Excel
    # savepath = "./豆瓣TOP250.xls"
    # SaveData(datalist,savepath)

# 4. 保存数据到数据库
    dbpath="./movies.db"
    SaveData2DB(datalist,dbpath)

#详情链接
findlink=re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则
#影片图片
findsrc=re.compile(r'<img.*src="(.*?)"',re.S) #re.S让换行符包含在.匹配符其中
#影片名字
findtitle=re.compile(r'(.*?)')
#影片评分
findrating=re.compile(r'(.*?)')
#影片评价人数
findjudge=re.compile(r'(\d*?)人评价') 
#影片概况
findinq=re.compile(r'(.*?)')
#影片相关内容
findbd=re.compile(r'(.*?)',re.S)

#影片图片
            imgsrc=re.findall(findsrc,item)[0]
            data.append(imgsrc)                 #添加图片

#影片评价人数
            judgenum=re.findall(findjudge,item)[0]
            data.append(judgenum)                     #添加评分

datalist.append(data)
  
    # print(datalist)

return datalist

#保存数据
def SaveData(datalist,savepath):

workbook=xlwt.Workbook(encoding="utf-8")    #创建workbook对象
    worksheet=workbook.add_sheet("豆瓣TOP250")      #创建工作表取名sheet1
  
    col=("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")
    for i in range(0,8):
        worksheet.write(0,i,col[i])     #添加表头
    for i in range(0,250):
        # print("第%d条"%i)
        data=datalist[i]
        for j in range(0,8):
            worksheet.write(i+1,j,data[j])
    workbook.save(savepath)                #保存数据表取名为student.xls

def init_db(dbpath):
    sql='''
        create table movies250
        (id integer primary key autoincrement,
        info_link text,
        pic_link text,
        cname varchar,
        ename varchar,
        score numeric,
        rated numeric,
        instroduction text,
        info text)
    '''
    conn=sqlite3.connect(dbpath)
    cursor=conn.cursor()    #获取游标
    cursor.execute(sql)     #执行SQL语句：创建数据表
    conn.commit()           #事务提交：让操作生效
    cursor.close()          #关闭游标
    conn.close()            #关闭连接

def SaveData2DB(datalist,dbpath):
    init_db(dbpath)
    conn=sqlite3.connect(dbpath)
    cursor=conn.cursor()    #获取游标

for data in datalist:
        for index in range(len(data)):
            if index ==4 or index==5:
                continue
            data[index]='"'+data[index]+'"'         # sql语句中的字符串添加 " " 
        sql = '''
        insert into movies250(info_link,pic_link,cname,ename,score,rated,instroduction,info)
        values (%s)
        '''%",".join(data)
        # print(data)
        # print("%s"%",".join(data))
        # print(sql)
        cursor.execute(sql)     #执行SQL语句：创建数据表
        conn.commit()           #事务提交：让操作生效

cursor.close()          #关闭游标
    conn.close()            #关闭连接

if __name__ == "__main__":
    main()
```

# 豆瓣Top250项目可视化代码以及资料

Github仓库：https://github.com/imgyh/DouBan_Top250

最后修改：2022 年 12 月 20 日

如果觉得我的文章对你有用，请随意赞赏

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

12
无效，无效，无效
阿林
python版本的去水印咋删了
echihx
啊明白了但感谢您的上次更新还是可以用到坏掉哈哈
刚下飞机的大黄
大佬,git上的tiktok项目找不到了, 可以私发我一份么O...
ukyo
我不再看到此条目。https://github.com/img...

Python网络爬虫

梅零落 • 2021 年 01 月 26 日

# 准备工作

我们需要安装相应的第三方模块，如下

## 项目流程

```
# 主函数
def main():
    baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取网页
    GetData(baseurl)
    # 3.保存数据
    savepath = "./top250.xls"
    SaveData(savepath)

def GetData(baseurl):
    datalist=[]
    # 2.边爬取边解析数据
    return datalist

def SaveData(savepath):
    pass

if __name__ == "__main__":
    main()
```

## urllib库介绍

参考： https://www.cnblogs.com/qikeyishu/p/10748497.html

# 数据解析

## BeautifulSoup

BeautifulSoup使用详解参见：BeautifulSoup详解

## 正则表达式

### 正则表达式常用操作符

### Re库主要功能函数

### 控制匹配的模式

### Re模块下的函数

compile(pattern)：创建模式对象

```
import re 
pat=re.compile("A") 
#m=pat.search("CBA")

m=pat.search("ABC") 
#等价于 re.search( A , CBA ) 
print(m)
#<re.Match object; span=(2, 3), match='A'> 表示匹配到了

m=pat.search("CBD") 
print(m)        #None   表示没匹配到
```

search(pattern,string)：在字符串中寻找模式

```
import re 
m = re.search("asd" , "ASDasd" ) 
print(m)
# <_sre.SRE_Match object at 0xb72cd6e8> #匹配到了，返回MatchObject（True）

m = re.search("asd"  , "ASDASD" ) 
print(m)                                 #没有匹配到，返回None（False）
```

match(pattern,string)：在字符串开始处匹配模式

```
# 等价于
pat=re.compile( "a" )
print(pat.match( "Aasd" ))
#输出None

print(pat.match("aASD" ))
#输出 <_sre.SRE_Match object at 0xb72cd6e8>

split(pattern,string)：根据模式分割字符串,返回列表

```
re.split( , , a,s,d,asd )
[ a , s , d , asd ]          #返回列表

pat = re.compile( , )
pat.split( a,s,d,asd )
[ a , s , d , asd ]          #返回列表

re.split( [, ]+ , a ,  s  ,d     ,,,,,asd )   #正则匹配：[, ]+，后面说明
[ a , s , d , asd ]

re.split( [, ]+ , a ,  s  ,d     ,,,,,asd ,maxsplit=2) # maxsplit 多分割次数
[ a , s , d     ,,,,,asd ]

pat = re.compile( [, ]+ )                     #正则匹配：[, ]+，后面说明
pat.split( a ,  s  ,d     ,,,,,asd ,maxsplit=2)        # maxsplit 多分割次数
[ a , s , d     ,,,,,asd ]
```

ﬁndall(pattern,string)：列表形式返回匹配项

```
import re
print(re.findall( "a" , "ASDaDFGAa" ))
#[ a , a ]                  #列表形式返回匹配到的字符串

pat = re.compile( "a" )
print(pat.findall( "ASDaDFGAa" ))
#[ a , a ]         #列表形式返回匹配到的字符串

pat = re.compile( "[A-Z]+" )    #正则匹配：[A-Z]+
print(pat.findall( "ASDcDFGAa" ))
#[ ASD , DFGA ]                 #找到匹配到的字符串

pat = re.compile( [A-Z] ) pat.findall( ASDcDFGAa ) #正则匹配：[A-Z]+
#[ A , S , D , D , F , G , A ]  #找到匹配到的字符串

pat = re.compile( [A-Za-z] )   #正则匹配：[A-Za-z]+  匹配所有单词
pat.findall( ASDcDFGAa )
[ A , S , D , c , D , F , G , A , a ]
```

sub(pat,repl,string) ：用repl替换 pat匹配项 (留的是中间的，因为中间在中心)

```
re.sub( a , A , abcasd )   #找到a用A替换
AbcAsd
```

## 解析部分代码

#影片图片
            imgsrc=re.findall(findsrc,item)[0]
            data.append(imgsrc)                 #添加图片

#影片评价人数
            judgenum=re.findall(findjudge,item)[0]
            data.append(judgenum)                     #添加评分

datalist.append(data)
  
    print(datalist)

return datalist

#保存数据
def SaveData(savepath):
    pass

if __name__ == "__main__":
    main()
```

# 数据保存

## 保存数据到Excel

参考: https://www.cnblogs.com/caesar-id/p/11802440.html

使用xlwt保存数据到Excel的小demo：

```
import xlwt

## 保存数据到Excel代码

#详情链接
findlink=re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则
#影片图片
findsrc=re.compile(r'<img.*src="(.*?)"',re.S) #re.S让换行符包含在.匹配符其中
#影片名字
findtitle=re.compile(r'(.*?)')
#影片评分
findrating=re.compile(r'(.*?)')
#影片评价人数
findjudge=re.compile(r'(\d*?)人评价') 
#影片概况
findinq=re.compile(r'(.*?)')
#影片相关内容
findbd=re.compile(r'(.*?)',re.S)

#影片图片
            imgsrc=re.findall(findsrc,item)[0]
            data.append(imgsrc)                 #添加图片

#影片评价人数
            judgenum=re.findall(findjudge,item)[0]
            data.append(judgenum)                     #添加评分

datalist.append(data)
  
    # print(datalist)

return datalist

#保存数据
def SaveData(datalist,savepath):

if __name__ == "__main__":
    main()
```

## 保存数据到数据库

sqlite基本使用方法

1. 建立数据库表

2. 插入数据

3. 查询数据库

for row in cur:
    print("id = ",row[0])
    print("name = ",row[1])
    print("address = ",row[2])
    print("salary = ",row[3],"\n")

c.close()       #关闭游标
conn.close()    #关闭数据库
```

## 保存数据到数据库代码

# 4. 保存数据到数据库
    dbpath="./movies.db"
    SaveData2DB(datalist,dbpath)

#详情链接
findlink=re.compile(r'<a href="(.*?)">') #创建正则表达式对象，表示规则
#影片图片
findsrc=re.compile(r'<img.*src="(.*?)"',re.S) #re.S让换行符包含在.匹配符其中
#影片名字
findtitle=re.compile(r'(.*?)')
#影片评分
findrating=re.compile(r'(.*?)')
#影片评价人数
findjudge=re.compile(r'(\d*?)人评价') 
#影片概况
findinq=re.compile(r'(.*?)')
#影片相关内容
findbd=re.compile(r'(.*?)',re.S)

#影片图片
            imgsrc=re.findall(findsrc,item)[0]
            data.append(imgsrc)                 #添加图片

#影片评价人数
            judgenum=re.findall(findjudge,item)[0]
            data.append(judgenum)                     #添加评分

datalist.append(data)
  
    # print(datalist)

return datalist

#保存数据
def SaveData(datalist,savepath):

workbook=xlwt.Workbook(encoding="utf-8")    #创建workbook对象
    worksheet=workbook.add_sheet("豆瓣TOP250")      #创建工作表取名sheet1
  
    col=("电影详情链接","图片链接","影片中文名","影片外文名","评分","评价数","概况","相关信息")
    for i in range(0,8):
        worksheet.write(0,i,col[i])     #添加表头
    for i in range(0,250):
        # print("第%d条"%i)
        data=datalist[i]
        for j in range(0,8):
            worksheet.write(i+1,j,data[j])
    workbook.save(savepath)                #保存数据表取名为student.xls

def SaveData2DB(datalist,dbpath):
    init_db(dbpath)
    conn=sqlite3.connect(dbpath)
    cursor=conn.cursor()    #获取游标

cursor.close()          #关闭游标
    conn.close()            #关闭连接

if __name__ == "__main__":
    main()
```

# 豆瓣Top250项目可视化代码以及资料

Github仓库：https://github.com/imgyh/DouBan_Top250

Python网络爬虫

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

heroku搭建免费的onemanager

qBittorrent一键安装脚本

Rclone挂载OneDrive方法-自建API

基于Vercel部署mac风格网易云音乐

Cloudflare面板使用教程

Rclone挂载OneDrive方法-自建API

基于Vercel部署mac风格网易云音乐

自建aria2离线下载并自动上传onedrive云盘

Cloudflare自选节点

Ubuntu20.04安装Nginx

Python网络爬虫

发表评论 取消回复 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

Python网络爬虫

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款