大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

网页抓取工具如何采集关键词

2017-2-6 17:02| 发布者: 大海洋数据| 查看: 1743| 评论: 0

摘要: 当我们在进行网站优化以及内容更新的时候会发现,大批量更新文章是需要很多关键词。而自己手动统计的关键词是远远不够使用的,因此我们会从其他同类型的网站中获取关键词,这时就要用到网页抓取工具,进行关键词的高 ...

当我们在进行网站优化以及内容更新的时候会发现,大批量更新文章是需要很多关键词。而自己手动统计的关键词是远远不够使用的,因此我们会从其他同类型的网站中获取关键词,这时就要用到网页抓取工具,进行关键词的高效采集,也能大大减少时间和人力成本。

具体如何操作呢?请根据下面的步骤来学习一下。

1:得到50条百度搜索结果

如搜索“红酒”,则url为http://baidu/s?wd=红酒

而“http://baidu/s?wd=红酒&rn=50”的形式则是显示50个搜索结果。

2:填写URL

以网页抓取工具火车采集器为例,在火车采集器中填写搜索网址的真实跳转url,如需多个搜索则在txt中一行一个批量写好搜索URL,再经过参数修改或正则得到真实url即可。

图片1.png

因为我们需要的只是关键词,所以只采集到文章标题即可,其他内容不需要,因此内容采集规则设置见下图

图片2.png

3:设置采集内容_关键词

4:采集内容选择好之后,就是发布处理的问题。发布的时候有在线发布和本地保存以及导入自定义数据库三种。一般采集关键词会选择保存在本地文件,在其他设置中我们还可以选择边采边发。

图片3.png

5:运行任务,采集完毕。可以看到关键词被火车采集器采集下来了,如果有需要,还可对采集到的内容进行分词设置。

图片4.png

网页抓取工具采集关键词比手动获取关键词要方便快捷很多,还可以从许多不同的网站获取大家所需要的关键词。


鲜花

握手

雷人

路过

鸡蛋

最新评论

相关分类

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2  

GMT+8, 2024-3-29 00:59 , Processed in 0.178392 second(s), 21 queries .

Powered by 小雄! X3.2

© 2014-2020 bigdataer Inc.

返回顶部