完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
以下是基于python所写的一个爬虫,因为我曾经学过一点python,所以对所有的东西都会写的很详细,同时肯定会有错的。。如果您在看这个博客,希望你可以指出我的错误之处,并且可以提高之处,谢谢。
项目的初始冲动,是因为我想玩LOL的野AD豹女。。然后想查相关资料,但是发现很多类似的盒子软件都没有我满意的,所以想试着自己写一个类似的程序,来自动获得各个英雄的资料等等。 之前写过用urllib2的模块的爬虫,现在想试着用scrapy来写爬虫 因为我使用的是windows系统,所以安装scrapy需要安装一些工具:pywin32、zope.interface、pyopenssl、twisted和lxml 安装时候要看好自己的python版本,打开cmd,输入python 就可以了 1、安装pywin32 http://sourceforge.net/projects/pywin32/files/pywin32/ 另外这个安装是可能出现问题的,我在安装的时候就提示我没有安装python2.7,我的是64位电脑,python在安装的时候没有写入到注册表,所以就找不到,并且还不能手打。。。之后发现一个python代码文件,可以将python写进注册表,之后我会上传的 2、安装zope.interface 因为zope.interface是twisted的一个依赖包,所以先安装这个会比较好 直接点下一步就可以安装好了,真方便~ 这样就代表安装成功了 3、安装pyopenssl 因为zope.interface也是twisted的一个依赖包,所以还是选择安装他比较好 https://pypi.python.org/pypi/pyOpenSSL#downloads 选好适合自己的版本下载 这里想吐槽一下,上面的是官网下载,但是不知道为什么,所有下载文件已经撤走了,所以我之后去找了0.13的版本来安装,我也会将这个打包上传的。 这样就代表安装成功了 4、安装twisted http://twistedmatrix.com/trac/wiki/Downloads从这里下载 点击exe即可以下载 都是直接一直点下一步就可以了 5、安装lxml https://pypi.python.org/pypi/lxml/从这里下载,我选择了3.4.4版本 选择适合自己的版本下载就好了 也是一直点下一步,好爽~ 6、安装easytool http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe可以直接下载了 又是全部点下一步~ 测试是否安装成功~ 7、安装scrapy 终于到最后一步了~ http://scrapy.org/download/直接在官网下载就可以了 这就代表安装成功了。。 PS。。。关于最后一步的。。 我发现我用easy_install Scrapy 这个指令怎么也安装不了。。 于是我就用了pip install Scrapy来安装,发现他会自动下载Scrapy,也就是说我之前的下载其实是没用的。。下载后会自动安装 OK,Scrapy终于完全安装完毕了 我将所有安装文件以及上文提到的python代码也一起打包,下载地址在下面 http://download.csdn.net/detail/tkfeng29/9002663
|
|
只有小组成员才能发言,加入小组>>
1361 浏览 0 评论
2130 浏览 0 评论
8017 浏览 0 评论
写了一个用DMA读取ADC数据的程序,记录下整个过程和一点心得
3281 浏览 0 评论
3563 浏览 0 评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 湘ICP备2023018690号 )
GMT+8, 2025-1-5 11:34 , Processed in 0.433054 second(s), Total 40, Slave 31 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 (电路图) 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证:合字B2-20210191 工商网监 湘ICP备2023018690号