[上海-长宁区]爬虫工程师工作职责

岗位描述：

 1. 负责PC及移动客户端数据采集、识别与正确解析。

 2. 负责PC及移动端爬虫架构设计（包括基础资源，如移动设备群集技术、代理池技术、反反爬技术、移动设备群控技术等等）与核心技术研发。

 3. 负责PC及移动端数据的特征挖掘，主要对移动设备数据请求协议、移动端交互数据、资源变化趋势等进行数据抓取、分析和特征建模。

 4. 设计策略和算法，提升数据抓取的效率和质量，进一步解决系统的网页排重、垃圾控制、资源划分等问题 。

 5. 分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进。            

岗位要求：

 知识要求  

 1. 计算机、信息技术或相关专业本科或以上学历。

 2. 有两年以上软件设计与开发经验。

 基本技能 要求

 1.  精通Java语言编程，熟练Python，熟悉linux平台开发与部署。

 2. 熟悉HTTP、XML、JSON、SOAP、tcp/ip、网络代理等网络协议。

 3. 熟悉APK反编译、IDA、Android Studio等常用客户端逆向分析工具，熟悉客户端动态调试技术。

 4. 熟悉常见反爬机制及对应的应对措施，如ua、cookie识别。

 5. 精通队列通信、分布式、多线程开发技术。

 6. 有较强的数据分析与建模能力。

 7. 有开源网页爬虫开发经验者优先。 

 个人素质 要求

 1. 具有很强的分析和解决问题的能力。

 2. 具有攻克难题的强烈兴趣，以及提升技术能力的意愿。

 3. 善于主动学习，责任心强，能够承受较高的工作压力。

参考工资：1-2万/月