[上海]网络爬虫工程师工作职责

1.负责整个主题爬虫系统架构和数据存储设计，应对各种互联网爬虫规则；
2.把握网络爬虫的核心技术研究方向，例如信息抽取、数据聚类、重组、搜索；
3.分析爬虫系统的技术缺陷，对策略架构做出合理性地调整和改进；
4.负责日常网页数据抓取需求的实现；
5.爬虫系统的维护和优化；

岗位要求：
1.有两年以上网络爬虫软件设计与开发经验；
2.精通Java语言编程，熟悉Linux平台；
3.熟悉搜索引擎的工作原理；熟悉Lucene、Nutch、Heritrix、Larbin、HtmlParse、Scrapy等开源工具；
4.精通网页爬虫、分布式、多线程开发技术；
5.熟悉DOMHTML5CSS3等页面对象，使用过HtmlParser、Parser、xpath等页面解析组件，熟悉正则表达式；
6.熟悉nosql(redis、mongodb),有hbase开发经验者优先；
7.熟悉ActiveMQ、RabbitMQ、Redis、kafka等消息框架；
8.研究过反爬虫技术，熟悉地址去重算法；
9.能独立解决技术问题；

参考工资：1-2万/月