【招聘】高级爬虫工程师

时间:2018-05-28   来源:枫之叶网络

职位描述岗位职责：
1.参与爬虫系统的架构设计与开发；
2.负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
3.负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；
4.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
5.实时监控爬虫的进度和警报反馈；

任职资格：
1.专科及以上学历，1年以上爬虫开发相关经验，熟练使用Python或Java进行开发；
2.熟练使用正则表达式、csspath、xpath等，能够从结构化的和非结构化的数据中获取信息；
3.熟练使用MySQL数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；
4.熟悉各种抓取技术，包括代理、PhantomJS/selenium、验证码处理；
5.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；7.快速学习能力，工作积极主动，有创业热情和良好的团队协作能力；

当前地址：http://www.pachongdaili.com/support/a79.html 客服联系QQ：475685360