您的位置:群走网>实用资料>岗位职责>爬虫岗位职责
爬虫岗位职责
更新时间:2023-02-19 13:32:24
  • 相关推荐
爬虫岗位职责

  现如今,岗位职责的使用频率呈上升趋势,岗位职责是组织考核的依据。什么样的岗位职责才是有效的呢?以下是小编整理的爬虫岗位职责,欢迎阅读与收藏。

爬虫岗位职责1

  岗位职责:

  1.负责网络爬虫的架构设计、开发与优化;

  2.负责抓取数据的清洗、落地、分析;

  3.抓取策略算法的.更新维护,以及确保数据抽取准确、高效。

  任职要求:

  1.两年及以上互联网或软件行业工作经验;

  2.理解http协议,熟悉html、dom、xpath;

  3.熟悉linux开发环境,至少熟悉python/go/java/node.js中的一种编程语言;

  4.有爬虫、信息抽取、文本分类、大数据处理相关经验优先;

  5.有自然语言处理、机器学习经验优先;

  6.熟悉浏览器内核、渲染机制优先;

  7.工作认真,细心,有条理,积极性高;良好的沟通能力及团队合作精神。

爬虫岗位职责2

  职位描述:

  负责设计和开发分布式网络爬虫系统

  应用多种技术对各平台进行数据采集

  设计数据采集策略,提升数据采集效率及质量

  与各行业分析师沟通,分析项目的'可行性和讨论抓取方案。

  两年以上爬虫开发相关经验,本科及以上学历,计算机相关专业为佳

  熟练掌握c#或java开发语言为佳

  了解tcp/ip,http及相关网络协议

  熟悉js / html / xpath / json /正则表达式等网页相关技术

  熟悉分布式、多线程、缓存、消息队列等互联网技术

  熟悉手机应用的数据抓取,手机app开发经验,加/脱壳经验为佳

  良好的沟通技能,注重细节,抗压性强

  良好的英语沟通技能为佳

爬虫岗位职责3

  职责描述:

  1,负责网络爬虫系统的设计与开发

  2,对爬取的`网页信息进行数据抽取,清洗和去重等工作

  任职要求:

  1、2年及以上网络爬虫开发经验,本科及大专学历,计算机相关专业,

  2、积极、沟通顺畅,工作认真负责

  3、扎实的编程能力,熟悉常用算法和数据结构等基础知识

  4、熟练掌握开发语言java或c/c++,熟悉脚本语言和正则表达式

爬虫岗位职责4

  职位描述:

  1、负责广告素材线索和垂直类产品爬虫系统的设计、开发

  2、抓取数据的清洗、落地、分析

  3、抓取策略算法的.更新维护,以及确保数据抽取准确、高效

  任职要求:

  1、具备强悍的编码能力、扎实的数据结构和算法功底

  2、熟悉tcp,http协议原理;熟悉ajax工作原理;精通python编程,熟悉一种开源爬虫框架和源码;

  3、有爬虫、信息抽取、文本分类、大数据处理相关经验优先

  4、有自然语言处理、机器学习经验优先

爬虫岗位职责5

  职位描述:

  工作职责:

  1.开发网页自动化脚本。

  2.负责商品信息结构化,编写自动化脚本解析网页信息。

  3.商品索引系统:亿级sku的库存价格实时跟踪同步,并对商品进行智能分类、本地化、图片处理和去重。

  4.设计、开发、测试、部署以及维护并改进各子系统;

  5.管理项目优先级并按时交付。

  职位要求:

  1.全日制统招本科、硕士毕业,1年以上软件开发工作经验;

  2.熟悉至少一门通用静态编译编程语言,c/c++/java/c#/go;

  3.熟悉web端基础标准,包括html、css、javascript、json等;

  4.熟悉python或其他脚本语言,有兴趣和能力根据需求学习其他编程语言;

  5.熟悉unix/linux环境,memcache/redis/mongodb等存储系统,能独立设计开发包括前后端交互的业务子系统;

  6.熟悉常见的设计模式、单元测试、持续开发集成、code review,并能在日常工作践行;

  7.了解搜索引擎、电子商务、社交类应用的系统基本架构,能对已有的`子系统进行优化调整的优先;

  8.活跃的开源项目贡献者优先。

爬虫岗位职责6

  职位要求

  1、计算机相关专业,本科及以上学历,3年以上爬虫相关工作经验;

  2、对爬虫编程有强烈爱好,熟练精通掌握至少1种语言java、python,在需要的情况下能快速上手新语言切换;

  3、深入理解tpc/ip、http、以及web登录认证的机制,有成功破解复杂验证码的经验;

  4、有通用分布式爬虫系统架构和开发经验,能快速部署新的爬虫应用;

  5、已有2年以上网络爬虫或搜索引擎工作经验,参与过大规模数据爬虫优先考虑;

  6、有app安全、逆向等领域的'经验;

  7、具有良好的沟通、团队协作、计划能力,有过1—2人的团队管理经验。

  岗位职责

  1、建设完善分布式爬虫系统;

  2、建立通用的爬虫框架,能够快速适应新的爬虫需求;

  3、快速完成对目标资源的数据抓取、处理。

爬虫岗位职责7

  职位描述:

  工作职责:

  1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作;

  2、负责网页信息和app数据抽取、清洗、消重等工作,提升平台的'抓取效率;

  3、参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;

  4、实时监控爬虫的进度和警报反馈。

  任职要求:

  1、有扎实的算法和数据结构能力;

  2、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;

  3、掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;

  4、有大规模数据处理、数据挖掘、信息提取等经验者优先。

爬虫岗位职责8

  职位要求:

  具备良好的计算机基础,熟悉http协议,具备良好的基础前端知识;

  有过良好的高并发系统的后台开发经验;

  具备一定的数据处理/分析经验,熟悉hadoop、mapreduce、spark等并行计算框架;

  了解小程序的.基础框架,有实际开发经验更优;

  掌握c/c++、python等一门或多门语言,有nodejs开发经验更优;

  如果您还具备以下技能,我们会优先考虑:

  具备网络爬虫系统的开发经验,有反爬虫实践经验;

  具备机器学习框架的开发使用经验;

  熟悉传统搜索引擎的seo规则。

爬虫岗位职责9

  岗位职责

  1.熟悉线程池、并发机制、锁机制、线程安全原理;

  2.java体系知识:网络io、设计模式、linux、jvm、java类加载机制、java内存模型;

  3.爬虫经验:webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬;

  4.熟悉http/http、tcp/ip、socket等通讯协议;

  5.6年以上软件开发经验,至少2年爬虫开发经验。

  任职要求

  1.采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发;

  2.较强的逻辑思维和发散思维;

  3.计算机或相关专业本科及以上学历。

爬虫岗位职责10

  职责描述:

  1.参与爬虫系统的架构设计与开发;

  2.负责执行和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;

  3.负责网页信息和app数据抽取、清洗、消重等工作,提升平台的抓取效率;

  4.参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;

  5.实时监控爬虫的进度和警报反馈。

  任职要求:

  1.本科以上学历,3年以上爬虫开发相关经验,熟练使用python或java进行开发;

  2.熟练使用正则表达式、css path、xpath等,能够从结构化的.和非结构化的数据中获取信息;

  3.熟练使用mysql数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;

  4.熟悉各种抓取技术,包括代理、phantomjs/selenium、验证码处理;

  5.熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验;

  6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;

  7.快速学习能力,工作积极主动,有创业热情和良好的团队协助能力;

  8.需要有大量数据爬取以及高难度反爬经验,没有相关经验的勿扰。

爬虫岗位职责11

  工作内容:

  1、基础系统架构、模块、库和组件的研发;

  2、分布式海量数据存储和分析系统的研发和调优;

  3、统计分析、报表、saas业务等系统研发;

  4、crm、财务结算、工作流等内部管理系统的研发。

  能力要求:

  1、至少使用php/java/python等一门以上语言,开发过不算太小的项目;

  2、熟悉数据结构、db、os、web开发等相关知识,对linux相关的各类技术情有独钟;

  3、有大规模、高性能互联网网站系统相关的'设计和开发经验者优先;

  4、具备良好的学习能力和成长潜力,渴望和团队一起快速成长。

爬虫岗位职责12

  职责描述:

  1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;

  2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;

  任职要求:

  1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验;

  2、熟悉linux平台,熟练掌握python或java爬虫开发工作;

  3、熟悉静态、动态网页等大规模文本数据的'高效信息抽取、清洗、存储等技术;

  4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现;

  5、具备良好的编程习惯和算法基础;

  6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。

【爬虫岗位职责】相关文章:

岗位职责岗位职责02-13

岗位职责岗位职责15篇02-19

be岗位职责03-06

at岗位职责02-17

岗位职责04-28

it岗位职责12-01

岗位职责04-19

网络it岗位职责02-01

仓管员岗位职责02-01