大数据人|大数据第一社区

标题: 上海simplyBrand信励科技招数据采集 [打印本页]

作者: admin 时间: 2016-5-12 13:07
标题: 上海simplyBrand信励科技招数据采集

职位描述：

Job Description:

1. 负责制定网络数据抓取规则，数据的提取、清洗、入库以及汇总的开发工作；

2. 负责传统网页、电商网站、社会化媒体网站等互联网数据的高效采集与正确解析；

3. 负责搜索爬虫的核心技术研究与开发，搜索前沿爬虫技术并实践；

4. 大规模分布式互联网爬虫系统的开发和维护，提升网页抓取效率和质量。

Requirements (任职要求):

1. 本科或以上学历，计算机及相关专业，1年以上开发经验，熟悉HTTP传输协议；

2. 熟悉搜索引擎和网络爬虫相关技术，有网页采集、Hbase等相关开发经验者优先，从结构化的和非结构化的数据中获取信息；

3. 熟悉Hadoop/Lucene/Nutch/Solr等开源工具者优先；

4. 熟悉倒排索引、全文检索、分词、排序等相关技术者优先；

5. 具有数据敏感度及钻研精神；

6. 有强烈的求知欲，关注行业内不断涌现的新技术，能够积极主动沟通，有很强的团队合作能力。

欢迎光临大数据人|大数据第一社区 (http://www.bigdata.ren/)