爬虫工程师

1. 负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作；

2. 数据采集工具软件平台的开发、测试工作；

3. 负责分析新的数据需求‚ 完成数据处理的设计 文档 和实现；

4. 负责数据的清洗、整理、整合及合并等工作；

5. 负责数据处理程序设计框架改善‚ 数据处理性能优化‚ 系统数据处理的能力提高；

6. 实时监控爬虫的进度和警报反馈。

注：1. 有大数据、互联网公司工作经验优先；

2. 有etl设计、数据仓库设计、维度设计、数据挖掘工具者优先考虑。

1. 本科以上学历，3年以上开发经验，其中2年以上爬虫开发经验；

2. 熟悉linux，精通python；

3. 熟悉协议，有网络编程经验；

4. 熟悉java，html，css，熟悉ajax；

5. 精通网页抓取原理和相关技术，了解常见的反扒机制；

6. 熟悉python爬虫框架 scrapy‚ scrapy-redis‚ selenium‚ phantomjs；

7. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；

8. 熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；

9. 学习能力强，工作负责认真，具有强烈的进取精神和乐观的工作态度。