即日起在codingBlog上分享您的技术经验即可获得积分,积分可兑换现金哦。

python–分布式爬虫的实现

编程语言 bjydlcq 11℃ 0评论
本文目录
[隐藏]

1.计划用python实现一个分布式爬虫,在熟悉python的同时,为以后做金融方面的数据分析打下坚实的基础。

1 安装 scrapy时遇到的问题


在mac上安装时一直提示错误,最后在找到问题解决的方案,安装成功。


Mac上安装Scrapy中的问题与解决方法


具体步骤如下:


办法就是 pip install scrapy –ignore-installed six。如果出现权限问题的话,就修改代码为sudo -H pip install scrapy –ignore-installed six

2 接着在运行一个小demo时出现的问题

from scrapy.cmdline import execute
import sys,os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','jobbole'])

erro 如下:

File "/Library/Python/2.7/site-packages/twisted/internet/_sslverify.py", line 38, in <module>
TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1,
AttributeError:'module'has no attribute object'OP_NO_TLSv1_1'

最后查到stackoverflow,显示是我的twisted 版本和scrapy版本不对导致的,最后重新安装twisted后问题解决。


sudo pip install twisted==13.1.0


参考stackoverflow

转载请注明:CodingBlog » python–分布式爬虫的实现

喜欢 (0)or分享 (0)
发表我的评论
取消评论

*

表情