博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
redis使用日志(二) 数据存储到redis
阅读量:6645 次
发布时间:2019-06-25

本文共 1587 字,大约阅读时间需要 5 分钟。

一段简短的代码,来展示如何把爬取内容写到redis里面:

1 #! /usr/bin/env python 2 # -*- coding=utf-8 -*- 3 import requests 4 import json 5 import re 6 import sys 7 import redis 8 reload(sys) 9 sys.setdefaultencoding("utf-8")10 classinfo = []11 f = open('info.txt','w')12 num = 013 class RedisTT(object):14     def __init__(self):15         self.keyName = 'DouBan'16         self.host = 'localhost'17         self.port = '6379'18         self.re = redis.Redis(host=self.host,port=self.port)19     def insertRedis(self,jsonStr):#存入到redis中20         self.re.lpush(self.keyName,jsonStr)21 class Douban(object):22     def write(self,htm):23         titl = re.findall('data-tit(.*?)data-enough',htm.text,re.S)24         for each in titl:25             #print each26             info = {}27             #print each28             info['title'] = re.search('le="(.*?)"',each,re.S).group(1)29             info['year'] = re.search('data-release="(.*?)" data',each,re.S).group(1)30             info['Rating']= re.findall('data-rate="(.*?)" data-star',each,re.S)[0]31             info['time'] = re.findall('data-duration="(.*?)" data-re',each,re.S)[0]32             info['reg'] = re.findall('data-region="(.*?)" data-dir',each,re.S)[0]33             info['act'] = re.findall('data-actors="(.*?)" data-in',each,re.S)[0]34             RedisTT().insertRedis(json.dumps(info))35     def getremen(self):36         url = 'http://movie.douban.com/'37         html = requests.get(url)38         html.encoding = 'utf-8'39         # print html.text40         self.write(html)41 if __name__ == "__main__":42     Douban().getremen()

 结果如下:

转载地址:http://ocrvo.baihongyu.com/

你可能感兴趣的文章
设计模式 — 模板模式
查看>>
重审自己
查看>>
C# winform 加载网页 模拟键盘输入自动接入访问网络
查看>>
职场的2个技巧
查看>>
【目标检测】Faster RCNN算法详解
查看>>
DT02_设计思维的要素_假定(Hypothesis)
查看>>
Nginx中502和504错误详解
查看>>
六、CPU优化(5)最大并行度
查看>>
HTML5 自定义属性 data-* 和 jQuery.data 详解
查看>>
Mandiant对APT1组织的***行动的情报分析报告
查看>>
规则与法则:中国式创业的界限与群像
查看>>
天籁数学——数列篇(2)
查看>>
一个可以更新时区的Calendar
查看>>
并行开发 —— 第二篇 Task的使用
查看>>
"百年一遇"奇怪问题的进展:找到原因,ajax请求中断引起
查看>>
关于几道面试的题目
查看>>
SQL Server发送邮件的存储过程
查看>>
【java】eclipse从数据库逆向生成Hibernate实体类
查看>>
make:commands commence before first target
查看>>
一个很强大很好用的报表统计插件
查看>>