岗位职责：
1、负责设计和开发分布式的网络爬虫应用，进行“棉花行业”相关报价信息的抓取，并分析比对，给出比对结果排名信息；
2、负责与搜索技术相关的系统模块的设计、开发和维护工作，达到高效稳定的效果；3、负责网页、app信息抽取技术的研究和开发；
4、设计爬取、调度和抽取算法、文本信息提取与结构化，优化系统；
5、负责抓取数据的深度提取和挖掘。
6、具备软件文档编写习惯和能力，具有良好的沟通协调能力， 具有较强的责任心及逻辑思维能力，工作耐心细致、积极主动。

技能要求：
1、统招***本科计算机相关专业5年以上相关工作经验、英语CET-4，必须具备高并发爬虫、消息列表等相关知识；
2、扎实的编程能力，熟悉算法和数据结构，熟悉计算机的基础理论；
3、有强烈上进心，学习适应能力强，乐观自信，工作细致、责任心强，具备较强的学习能力及理解能力，有良好的沟通能力和团队协作能力；
4、熟练掌握Java/Python主流爬虫架构，精通Django架构，常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等。
5、熟练掌握数据库操作和使用的基本技能，熟悉MySQL数据库，有SQL查询调优，索引优化经验，良好的分析能力；
6、熟悉消息队列的原理，对常用的消息队列比如ActiveMQ、kafka、RabbitMQ有一定的使用经验；
7、理解http\https，熟悉html,DOM,xpath,scrapy，熟悉熟练使用http代理工具ｃｈａｒles、fiddler等；
8、有爬虫、模拟器、反爬虫、app逆向、Selenium、信息抽取、文本分类、数据处理、nlp等相关经验者优先。
工作地点：武汉。

专业要求：不限