岗位职责:
1.对市面中常见各行业各重点来源均有所接触，有充足的代码及类库，有既往爬虫采集经验，开发程序可大可小，灵活的解决问题
2.熟练使用浏览器F12工具添加断点，找到反爬虫加密或其他反爬虫代码段，实现代码级别突破，可封装为类或方法针对单一类型来源进行复用
3.掌握常见热门动态加载网站验证的处理方法，对前端JS语言可以熟练阅读，可使用python语句改写前端方法
4.对各类网站有自己的爬虫积累，可快速识别常见加密或其他限制方式
5.精通django、flask框架，结合具体工作需求可快速完成或更新接口中的功能
6.可结合过往工作经验与工作需求开发自定义爬虫框架，涵盖生成爬虫、调度爬虫、日志管理、数据展示等功能
7.负责爬虫系统的整体设计、研发和优化工作
8.设计和编写高效稳定的爬虫程序,确保获取的数据质量
9.优化爬虫系统,提高爬取效率和成功率
10.维护和迭代现有爬虫系统,解决各类问题
11.与其他工程师协同工作,对接数据接口
12.追踪最新爬虫技术和解决方案
任职要求:
1. 3年以上爬虫开发经验,有大型网站爬取经验者优先
2. 熟练掌握 Python、Scrapy、Selenium,appium等爬虫相关技术
3.了解各种反爬虫机制,能绕过常见反爬策略
4.熟悉创新爬取技术,善于解决新出现的爬取问题
5.熟练使用MySQL、MongoDB,以及elasticsearch及其他数据库
6.会使用jieba分词或其他引擎实现分词查询、提取关键词与中心句的功能；使用分词引擎进行基本nlp主题情感分析，简单nlp需求可以通过集成github项目完成
7.熟悉Linux环境,具备优秀的代码能力和代码质量
8.具备良好的沟通能力、学习能力和团队合作精神

上班地址：-河北-石家庄-神农大厦