scrapy抓取的中文结果乱码,请问如何解决?首先Unicode不是乱码,如果把这些数据保存下来,或者直接显示使用是没有问题的。另外,如果你需要在scrapy shell中调试hxs的时候,你可以自定义一个printhxs(hxs)这样的函数用来在shell中显示中文
scrapy抓取的中文结果乱码,请问如何解决?
首先Unicode不是乱码,如果把这些数据保存下来,或者直接显示使用是没有问题的。另外,如果你需要在scrapy shell中澳门新葡京调试hxs的时候,你可(pinyin:kě)以自定义一个printhxs(hxs)这样的函数用来在shell中显示中文。
这样当你使用 hxs.select("\Xpath") 时可以这样显示中文内容
printhxs(echoChinese)
如何学习scrapy?
学爬虫没别的办法,实践,网上的教程一大堆,照着做那么几个也就入门了,以后多练就可以了。从最简单的爬虫开始,怎么get,怎么post,怎么加header,怎么传form,怎么传body体,返回的结果用正则怎么处理,用xpath怎么处理,这些都会了,那做啥也不怵了,至少研究的时候有方向了。scrapy爬虫出来的汉字为unicode怎么转换为utf-8?
在setting文件中设置:FEED_EXPORT_ENCODING = "utf-8" 就可以啦(参考知乎jiazhuamh针对“scrapy 抓取的中文结果乱码,请问如何解决?”的回答)本文链接:http://21taiyang.com/Business-Operations/11945729.html
scrapy官方中文文档《繁:檔》转载请注明出处来源