一直想学习用Python来进行数据的爬取，也一直想知道Python连接数据库的操作，今天刚好看到的这篇文章满足了这两个条件，我试着爬了下微博，并成功将数据添加到数据库中，颇为欢喜。作者写的很简单，有些过程省略掉了，因此我尝试了好几次才成功，接下来记录自己的成功操作。
这里是用来爬取微博热搜榜的数据，网页地址为http://s.weibo.com/top/summary，打开网页并按下F12进入开发者模式，找到<td class = "td_05">...</td>里的内容，如图所示：
href后面的内容即为对应的中文编码的源码，其中很多25应该是干扰字符，后面删掉解析就可以发现是微博热搜的标题。我数了下，一共有27个，刚好第一个标题为“比伯愿为赛琳娜捐肾”九个字，一个汉字占三个字符，一共27个。
我用的是Python3.6.0，开发工具为PyCharm2017.2.3，数据库为MySql。
#-*-coding:utf-8-*- import urllib, pymysql, requests, re # 配置数据库 config = { 'host': '127.0.0.1', 'port': 3306, 'user': 'root', 'password': '******', 'db': 'weibo', 'charset': 'utf8', } # 链接数据库 conn = pymysql.connect(**config) cursor = conn.cursor() # 获取热搜源码 weiboHotFile = requests.get('http://s.weibo.com/top/summary') weiboHotHtml = weiboHotFile.text # 正则表达式匹配URL，找到title hotKey = re.compile(r'td class=\"td_05\"><a href=\"\/weibo\/(.*?)&Refer=top\"') hotKeyListBe = hotKey.findall(weiboHotHtml) rank = 1 # 遍历获取的title列表 for title in hotKeyListBe: # 去除干扰数字 title = title.replace('25', '') url = 'http://s.weibo.com/weibo/' + title title = urllib.parse.unquote(title) print(str(rank)+' '+title + ' '+' '+url+' ') # 执行数据语句 sql = 'insert into hotsearch (rank, daydate, mindate, title, url) values (%s, curdate(), curtime(), %s, %s)' cursor.execute(sql, (rank, title, url)) rank += 1 conn.commit() cursor.close() conn.close()
这里要说明一下，数据库的连接，db是数据库的名称weibo（这个可以自己取名字），charset表示字符集为utf8，表的名称为hotsearch，里面有rank，daydate，mindate，title，url为表中的字段，作者未说明这些字段的定义，我自己定义如下：
对于varchar的类型，如果默认，则其编码模式为latin1，我刚开始不知道，运行py文件一直报错，然后网上搜索了一下，需要将latin1改为utf8，这样就对了。
最终可在数据库中查看导入成功的数据。
当然，作者还写了利用bat直接运行py文件，这样更快些，我在网上查了下，也学会了：
1、找到.py对应所在的文件目录并记录下来，比如我的就是E:***pythonprojectsBlogSpider
2、创建一个txt文件，在文件中写入如下内容：
@echo offcd E:***pythonprojectsBlogSpider
start python CrawlerBlog01.py
3、将txt文件改为bat后缀，然后双击运行即可。
https://blog.csdn.net/weixin_41407399/article/details/79775900
https://www.cnblogs.com/yingdiblog/p/7244228.html
http://s.weibo.com/top/summary
本文地址：http://sjzytwl.xhstdz.com/quote/78745.html 物流园资讯网 http://sjzytwl.xhstdz.com/ , 查看更多