大家好,今天小编关注到一个比较有意思的话题,就是关于java 语言爬虫的问题,于是小编就整理了3个相关介绍Java 语言爬虫的解答,让我们一起看看吧。
为什么常用python,JAVA做爬虫,而不是C#c++等?
相比与其他静态编程语言,如C#、C++,Python抓取网页文档的接口更简洁;相比其他动态脚本语言,如Perl、shell,Python的urllib2包提供了较为完整的访问网页文档的API
j***a和python在爬虫方面的优势和劣势是什么?
做过数年爬虫,Python和J***a都用过(主要用Python),亲身感受来回答问题。
做爬虫是一个很有意思的事情,它不是算算数字也不是画图,更像是模拟人类来做重复性的琐碎工作,同时要和反爬虫斗智斗勇。
我们抛开语言,先看看什么是做爬虫开发要注意的或者更重要的:
据说最好的编程语言是你已经熟悉的——网络爬虫也是这样。在学习使用时,可能会加快速度——站在凳子上拿高处东西会容易些。
并不需要从头开始,因为有许多第三方库专门网络爬虫——憋重头造轮子阿——站在巨人肩膀上更容易摸到月亮——也更容易掉下来。
从网站爬行和提取数据涉及各种问题——I/O机制、通信、多线程、任务调度和重复数据删除等等。语言框架将对爬网效率产生重大影响。
许多初学者都在思考编程语言在速度方面的问题。但是处理速度一般不是这里的瓶颈。实际上,影响速度的主要因素是I / O(输入/输出),因为网络爬虫就是发送请求和接收响应。与互联网的沟通是这里的真正瓶颈。互联网的速度无法与您机器内处理器的速度相匹配。
爬虫目前主要开发语言为j***a、Python、c++对于一般的信息***集需要,各种语言差别不大。c、c++搜索引擎无一例外使用C\C++ 开发爬虫,猜想搜索引擎爬虫***集的网站数量巨大,对页面的解析要求不高,部分支持javascriptpython网络功能强大,模拟登陆、解析j***ascript,短处是网页解析python写起程序来真的很便捷,著名的python爬虫有scrapy等j***aj***a有很多解析器,对网页的解析支持很好,缺点是网络部分j***a开源爬虫非常多,著名的如 nutch 国内有webmagicj***a优秀的解析器有htmlparser、jsoup对于一般性的需求无论j***a还是python都可以胜任。如需要模拟登陆、对抗防***集选择python更方便些,如果需要处理复杂的网页,解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择j***a。
python
网络功能强大,模拟登陆、解析j***ascript,短处是网页解析python写起程序来真的很便捷,著名的python爬虫有scrapy等
j***a
j***a有很多解析器,对网页的解析支持很好,缺点是网络部分j***a开源爬虫非常多,著名的如 nutch 国内有webmagicj***a优秀的解析器有htmlparser、jsoup对于一般性的需求无论j***a还是python都可以胜任。如需要模拟登陆、对抗防***集选择python更方便些,如果需要处理复杂的网页,解析网页内容生成结构化数据或者对网页内容精细的解析则可以选择j***a。
做垂直爬虫用GO J***A PYTHON哪个比较好?各有什么优势?
主要看你原来熟悉什么语言,熟悉什么语言用什么,这是最最好的选择。如果都需要新学的话推荐python,爬虫框架成熟,语言容易上手,是最常用的爬虫语言!
Scrapy,bs4
最终选择Python的原因:
科学计算,数值拟合:Numpy,Scipy
可视化:2d:Matplotlib(做图很漂亮), 3d: May***i2
复杂网络:Networkx
统计:与R语言接口:Rpy
个人建议你熟悉哪门语言就用哪个,基本现在百度一下都有现成[_a***_]可以用,稍微改改都能满足业务需求,我是用php的,效率绝逼有保障,也并没说会有多不方便,爬取阿里商品都是OK的,多线程呀或者什么管理之类的,其实就算python什么的有现成的,但是保不齐你得花时间去学习这门语言,你不学习,不熟悉一样的懵逼,也得百度,所以说,用自己熟悉的语言做是最好的,我一直是用php的curl做爬虫,还是用得很顺手,个人总结吧,爬虫和语言没太大关系,所谓的效率一般项目也并无大碍,优化得好,这都不是问题,但是路漫漫长吧,有时间能学python还是python好,我只是没时间去学习。
俗话说得好,爬虫用得好,牢饭吃得饱,希望走正道吧。
到此,以上就是小编对于j***a 语言爬虫的问题就介绍到这了,希望介绍关于j***a 语言爬虫的3点解答对大家有用。