相关动态
最全Python爬虫入门教程28:爬取微博热搜榜并做动态数据展示(1),2024年最新渣本逆袭大厂面经分享
2024-11-10 16:54

(1)Python所有方向的学习路线(新版

最全Python爬虫入门教程28:爬取微博热搜榜并做动态数据展示(1),2024年最新渣本逆袭大厂面经分享

这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

最近我才对这些路线做了一下新的更新,知识体系更全面了。

在这里插入图片描述

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导,让我们一起学习成长

PS:如有需要 以及 的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境💨


  • Python 3.6

  • Pycharm

相关模块的使用💨


import requests

import parsel

import csv

import time

安装Python并添加到环境变量,pip安装需要的相关模块即可。

💥需求数据来源分析


在这里插入图片描述

热搜榜数据, 每次刷新上面的热度数值都是会发生边改变,每隔一段时间可以爬取一下榜单数据,然后可以做一个数据展示。

热搜榜数据内容还是比较好爬的, 因为是静态网页数据内容, 如果大家有认真看过之前的问题,那么这个网站还是很好爬取的。

在这里插入图片描述

💥代码实现


每一分钟爬取一次数据内容

import requests

import parsel

import csv

import time

f = open(‘热榜.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[

‘时间’,

‘排名’,

‘标题’,

‘热度’,

])

csv_writer.writeheader()

while True:

now_time = int(time.time())

timeArray = time.localtime(now_time)

date = time.strftime(“%Y-%m-%d %H:%M:%S”, timeArray)

url = ‘https://s.weibo.com/top/summary?cate=realtimehot’

headers = {

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36’,

}

response = requests.get(url=url, headers=headers)

selector = parsel.Selector(response.text)

trs = selector.css(‘#pl_top_realtimehot tbody tr’)[:11]

for tr in trs:

num = tr.css(‘td.td-01.ranktop::text’).get()

if num:

if num.isdigit():

title = tr.css(‘.td-02 a::text’).get()

hot = tr.css(‘.td-02 span::text’).get()

dit = {

‘时间’: date,

‘排名’: num,

‘标题’: title,

‘热度’: hot,

}

print(dit)

csv_writer.writerow(dit)

time.sleep(60)

💥动态数据展示


tl = Timeline()

for i in range(20):

bar = (

Bar()

.add_xaxis(list(data[‘标题’])[i10:i10+10][::-1])

.add_yaxis(“微博热搜榜”, list(data[‘热度’])[i10:i10+10][::-1])

.reversal_axis()

.set_global_opts(

title_opts=opts.TitleOpts(“{}”.format(list(data[‘时间’])[i*10]),pos_right=‘0%’,pos_bottom=‘15%’),

xaxis_opts=opts.AxisOpts(

splitline_opts=opts.SplitLineOpts(is_show=True)),

yaxis_opts=opts.AxisOpts(splitline_opts=opts.SplitLineOpts(is_show=True),

axislabel_opts=opts.LabelOpts(color=‘#FF7F50’)),)

.set_series_opts(label_opts=opts.LabelOpts(position=“right”,color=‘#9400D3’))

)

grid = (

Grid()

.add(bar, grid_opts=opts.GridOpts(pos_left=“25%”,pos_right=“0%”))

)

tl.add(grid, “{}年”.format(i)) #设置标签

tl.add_schema(

最后

🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。 🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。 🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。 🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友,可以戳这里获取

    以上就是本篇文章【最全Python爬虫入门教程28:爬取微博热搜榜并做动态数据展示(1),2024年最新渣本逆袭大厂面经分享】的全部内容了,欢迎阅览 ! 文章地址:http://sjzytwl.xhstdz.com/news/897.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://sjzytwl.xhstdz.com/mobile/ , 查看更多   
最新文章
苹果手机开不开机如何解决,苹果手机开不开机是咋回事苹果手机如何开机「苹果手机开不开机如何解决,苹果手机开不开机是咋回事」
苹果手机开不开机怎么办苹果手机开不了机这种情况,还有可能是手机处于死机状态,也可以先尝试一下同时按住开机键开机键+HOME键
这么多年过去了,米家为啥还不能实现离线操作?小米手机闹钟在哪里设置「这么多年过去了,米家为啥还不能实现离线操作?」
这么多年过去了,米家为啥还不能实现离线操作?“ 小爱同学,打开空调 ”“ 小爱同学!,打开空调 ”“ 小爱同学???? ”这么
手机上的这些隐形参数 厂商可能不会告诉你隐形手机「手机上的这些隐形参数 厂商可能不会告诉你」
在文章正式开始之前,先问大家伙儿一个问题:在挑手机的时候,不知道各位主要会看哪些参数?像是芯片、屏幕、影像、内存、存储、
山西一男子高速上边开车边玩手机游戏被处罚开车玩手机「山西一男子高速上边开车边玩手机游戏被处罚」
  这名司机心真大!山西一男子高速上边开车边玩手机游戏被处罚   新华社太原11月26日电(记者王飞航)究竟是命重要,还是玩游
米忽悠派对最新版本 v1.0手机版派对手机「米忽悠派对最新版本 v1.0手机版」
米忽悠派对是一款以米哈游的游戏ip打造的全新派对游戏,在游戏中能够看到许多米哈游的不同游戏集合在一个游戏中,游戏玩法十分简
油电同智 全球同行,奇瑞汽车智能化战略发布会盛大开幕
3月18日,智能化战略发布会在安徽芜湖顺利召开。活动聚焦“油电同智 全球同行”,正式发布奇瑞集团智能化战略规划,并集中展示猎
投影仪如何通过手机投屏-实用教程手机怎么投屏到投影仪「投影仪如何通过手机投屏-实用教程」
第二步:开启手机投屏功能打开手机上的设置或者控制中心(不同手机可能位置不同),找到“投屏”或者“无线投屏”这样的选项并点
才发现手机蓝牙竟然有这么神奇的功能,你们都知道手机蓝牙的哪些作用呢?手机蓝牙有什么作用「才发现手机蓝牙竟然有这么神奇的功能,你们都知道手机蓝牙的哪些作用呢?」
提到手机蓝牙,大家能想到的它的功能是什么呢?不少人可能对手机蓝牙的作用还停留在以前,两个手机配对之后可以用来传输文件,这
全球最火的十大射击游戏推荐 好玩的射击游戏前十2023手机最真实的射击游戏「全球最火的十大射击游戏推荐 好玩的射击游戏前十2023」
现在手机上的射击游戏种类是很丰富的,不同题材的射击游戏给大家提供了不同的体验,射击游戏里的众多枪械可谓开拓了大家的眼界,
苹果发布iPhone8和iPhoneX 后者系第一代价格十倍苹果x手机多少钱「苹果发布iPhone8和iPhoneX 后者系第一代价格十倍」
  在苹果手机面世10周年之际,苹果公司12日发布iPhone 8和iPhone X等最新产品,以此向已故联合创始人史蒂夫?乔布斯致敬。