大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫,访问微社区

IP 库那些事儿(2015 年 8 月版)

2015-8-24 21:01| 发布者: admin| 查看: 1488| 评论: 0|原作者: 高春辉|来自: 新微博

摘要: 如果你的 IP 可以被区县库识别,那么页面里会显示您所在位置的区县信息的,不然就不会显示,当然, 90% 多的可能性下,你会看到它的。
咳咳,我又来写长文章了。

再有不到两个月,到十月中旬,IP 库的事情,就做了有两年的时间了。

想想时间过的挺快,我在其中也认识了不少朋友,也学到了很多东西,活到老,学到老嘛。

我也正好给对这方面有兴趣的网友讲讲今年初到现在的进展吧,包括对未来的一些想法。

1、半年来的变化:

第一,我们的团队,从前年到去年主要是我一个人单打独斗,到现在,不算我,已经有了三个专职的同事了,还有个可以算一半工作量的同事,同样也有帮我们完成数据采集以及标注的兼职网友。

有人说我写文章不配图,只能差评,好吧,上张团队合影,请不要在乎拍摄技巧,反正我也没想让你看清。。。



第二,我们的数据库条目数量也从年初的 147000+ 条增长到目前的 194500+ 条。基本是两个月一万条的净增加量,不含变更、合并等操作。

监测点的数量,目前也已经达到 250 个左右,还不知道的同学看这里:https://www.ipip.net/traceroute.php 。

第三,未做详细统计,我们的客户数量从年初的 70 家左右,到目前已经翻了一倍多,应该有 150 家左右了,去年到现在的续费率也还不错,我们最近也为客户提供了长期购买的打折优惠方式。

典型客户见下图。

具体 LOGO 见链接:https://www.ipip.net/customer.html 。

排名不分 LOGO 大小,不分上下左右,其中未包括部分有保密协议的客户,比如电商界的 XX 和 XX,你懂的,嗯,今天天气不错。。。:-)

一个比较大的事情是,DNSPOD 也在六月份的时候,更换成我们的数据库给用户提供服务了。不知道是不是很多人都发现了呢?

这样的话,国内最大的两家 DNS 服务器商,都在使用我们的 IP 数据库了,值得庆贺哦。

根据我们的统计,上半年有一个按收入排行的互联网公司 TOP100 排行榜(链接见这里:http://games.qq.com/a/20150717/015821.htm),我们在里面应该已经有 20 家左右的客户了,而且还有比较大的公司在走采购流程,我们等得起,还要继续努力。

第二季度,我们经过之前与合作伙伴的合作,经过对数据的人工清洗及处理,于七月底发布了区县级 IP 库,这是下面的话题。

2、中国的区县级 IP 库:

其实在售前咨询的时候,就总会有人问我,国内的数据精度能否做到区县级?

我的回答是,按照目前的方法是没有办法做的,除非能找到合适的合作伙伴和数据,敬请期待。其实那时我心里也没底。

做着做着,有同行找上门愿意聊天了,其中之一就是 RTBASIA.COM,它们的主要业务是给程序化广告行业做非人类和虚假流量识别,当然也可以用在垃圾内容和其他作弊识别方面,有兴趣的可以找他们聊聊哦。

扯句闲话,国内最大的问题是,大部分公司都在赌热点,细分领域要么没人关注,要么做的不够精细,到现在,做跟 IP 数据甚至是地理位置相关的公司,我知道的也只有那么三四家,大家见面,就跟见了亲人一样,因为你的兴奋和苦闷,不是非行业内的人所能理解的,希望未来可以有所改观。

RTBASIA.COM 对于 IP 库也有更高质量的需求,我们之间还是有些共同话题的,他们总部在上海,平时也总来北京参会拜访客户,聊过几次,互相熟悉了之后,也在聊业务方面有否合作的机会,就聊起了一起合作区县库的需求,经过几次沟通,基本上确定下来了,于是拿到初步数据,经过两个月多的数据清洗和细节的沟通,把有问题的 IP 洗掉,比如翻墙 IP,比如 VPN IP,比如出口 IP,等等吧。

我们第一稿完成了 45 万条数据,包含 1.15亿 IP,包括国内 2700 多个区县,而地级市级别的数据库,国内的城市数量大概只有 500 个左右。相比之下,精度提高了很多。

举个例子,你跟一个客户打交道的时候,如果用地级市的精度,你最多知道他在北京,但如果你还能知道他在朝阳区,我相信有很多事情,就不用再去费力沟通了,包括从广告投放、地域分析,甚至是做电商或者填写订单的时候,用区县库都可以做到更优化的体验的。

做完了第一稿,我很担心覆盖率问题,毕竟这是个很重要的指标,为了这个,我们找了缔元信进行一次基于他们的统计数据的覆盖率统计,他们当时得出的结果是接近 90%。

而现在,我们已经有接近 510000 条数据,包含接近 1.3 亿 IP,我相信覆盖度已经远超过 90%。

这个所谓的 90% ,我要解释一下, 虽然数据库里标注中国的 IP 量超过 3.8 亿,但是要去掉未启用的,去掉 IDC 用掉的 IP,再去掉各种情况,实际上会被真实用户用到的 IP 量,目前也就是在 1.4 亿左右,无论是 RTBASIA.COM 自己做的数据统计,包括蒂元信的基于媒体流量统计数据的统计,已经证明了这一点。

当然,运营商随时都在增加和改变用途,持续的工作量也是一个很庞大的,这个区县库的数据量,我相信随着我们的数据的不断补充,应该会越来越多,越来越准确的。

测试数据可以看这里: https://www.ipip.net/ip.html。样例如下:



如果你的 IP 可以被区县库识别,那么页面里会显示您所在位置的区县信息的,不然就不会显示,当然, 90% 多的可能性下,你会看到它的。

如果有错误,请告诉我,页面上有 QQ 群号码。

实际上,你现在来买,也拿不走第一个客户这个成就了。

我们区县库的第一个客户是,携程

希望我们的数据,可以帮助携程以及更多的公司优化与改进自己的业务。

欢迎就区县库联系我们。愿意合作的,也非常欢迎。

3、IP 库未来的发展,全球版、V6:

那么到目前为止,国内的数据,无论是从精度还是准确度,我们自认为都已经达到了很高的水准吧。

针对国内数据,接下来的工作就是跟着数据的变化及时跟进。但不再是工作重点了。

目前的工作重点是国外的数据,做到城市级精度。

两个理由:

1)、国内的客户数量,从付费意愿上讲,我相信与整个全球市场相比,应该过不了平均值的,虽然已经比之前好很多了,但我们也相信如果能把国外的数据做到足够高的品质,我们能面对的市场规模也会增大很多很多很多,也能为客户提供更全面的服务。
2)、国外的 IP 数据量是中国 IP 数据量的十倍,城市数量也是很多很多倍,这对我们也是一种挑战,但我们愿意挑战,并且希望做到这个细分市场的 NO.1,做到了,其价值还是很大很确定的。

希望能够尽快完成,最乐观的估计是明年,但不知啥时候。如果有公司愿意数据方向合作,也请联系我们。

最后一个问题是 IPV6,好吧,总有人问,但这是个全球化的问题,但我相信,在 IPV6 一直疲软的情况下,IPV4 的生命力还会持续一段时间的,我们会继续保持关注,但主力是继续努力先做好 IPV4 的数据库。因为我也相信很长一段时间内,V4/V6 双栈化是一个至少中期时间内都是现实的情况。

4、互联网基础设施级产品方向的思考:

这段时间,在做 IP 数据库的过程中,包括数据维护、与人沟通、售前、售后这些,包括与朋友聊天时,我一直在思考为什么 IP 库火了?也在寻求答案。

之前的文章说过,这是个无心插柳柳成荫的事情,但是为什么火了?

我想到几个原因:

1)、随着这两年的互联网发展,互联网公司已经形成了金字塔结构,有大公司有中公司有小公司,还有很多创业公司。
    而总有一些需求,是每个公司都会有的,你可以理解为刚需,比如 IP 库,不是外采,就是自行维护,没别的可能的。
    但是,请看我的微博截图,虽然主题说的是电信运营商的那些烂帐,但是意思你可以理解,虽然你做的是应用层,但是基础设施的事情你跳不过去的。
大公司,基础设施方面的大部分事情都可以自行解决掉,甚至可以自营机房。
但是对于中型和小型公司来说,这么干明显不现实,如果有现成的第三方解决方案,付钱即可使用,省钱又高效,哪怕未来想自己搞,短时间内也是个非常合适的方式。
2)、这两年,工程师们的身价明显贵了,原来一个人 8000、10000 的月薪,现在可能要乘以三、乘以四了,这种情况下,如何发挥每个员工的最大价值,是每个 Team Leader 都要面临的问题。
3)、更何况,即使你有足够的钱招人,也未必能招得到人,但是人没有招到位,事情不能也停在那里吧?那就基本上只能力保最重要的开发工作,那些边缘化或者相对非业务核心的需求,要么以后再说,要么直接外包。

我自己认为这三个原因,可以解释 IP 库目前的销售情况,比我也比很多人预计的好很多,当然品质是一方面,能否有合适的人做,是另外一个方面,以后有机会再展开。

我于是从这里,想的更多了一些:

1)、互联网公司给它的客户或者用户提供服务,谁给互联网公司提供服务呢?
      你可能能想到的是卖域名的、卖服务器的、卖服务器、卖云主机的、卖 CDN 的,好像很多样了,但是互联网公司只需要这些吗?显然不是啦。有太多可以做的了,我们自己的 TODOLIST 列的满满的。
2)、但是有需求,和你能否做出来,也是两码事。
      太简单的,人家不会买,一个下午可能就搞定了。太难的,你也未必会,无论是时间还是投入问题,这对大家来说,其实都是有风险和投入产出比考虑的。
3)、你做出来了,还得去推广到合适的公司合适的人,并且相对容易去评估各种风险各种顾虑,接下来的流程也不是那么容易的。
       一个公司采购流程走三个月的事情,我们不是没碰到过,就不细说了。
4)、再次重复那句话,技术不等于产品,产品不等于商品,宋如华说的,请自行体会。

但是相对来说,相比五年之前是有了不少机会的,可以让你做一些能够满足大家需求的产品,品质和费用也好评估,客户自然会上门。

简单地说,如果每个公司都要消耗不少时间精力金钱还不一定能做好的事情,也许都是个机会哦。。。

而且这种需求基本上是要以技术和高品质来驱动的,这两个做不到,这些公司也不会买单的。

我认为好的产品还要有以下几点:

1)、刚性需求,还要做足够的细分,一个领域内的产品,针对大公司和小公司,可能是天壤之别,一定要想清楚你的目标客户的需求。
2)、有一定门槛和积累,不是一个人一个礼拜就能搞出来的,我觉得至少要有 6 个人月以上的前期投入,才算是有一点点门槛吧,还不算之后的持续性的时间和金钱的投入。
3)、边界成本低,非一对一服务。做出来的产品,卖给一个客户和一百个客户,你的成本变化不大,而且不需要专门的人去为他服务,否则跟外包开发又有什么区别呢?
4)、如果能够全球化服务,那就是最好的了。
5)、我们不介意直接提供数据给客户,我们未来提供服务的方式也不限于 API、离线数据、Online server、Offline Server 等多种多样的交付方案,因为持续维护持续更新的能力在我们这里。
6)、做的不是靠堆人头的事情,而是靠技术实力和足够聚焦搞定服务本身。

所以,我们的未来不会局限于只有一个 IP 库的服务,而是希望往基础设施方向走的更远。可以提供更多的基础设施服务给广大的互联网公司服务,大家都能够节省时间精力金钱,而得到一个更高品质的外包服务。这是我们未来的努力方向。

我们这半年也在找合作,目前已经达成的合作,就是气象数据服务,我们与中国天气网达成官方授权合作,该产品已经上线,价格我觉得也不贵,凡是目前都是在抓中国天气网数据的同行们,还是换个思路吧。:-)

购买地址如下:https://www.ipip.net/price.html

还要说一下,我们的地理位置产品线之外,我们的第二个非合作服务,应该会在本月底下月初开始部署上线,等服务稳定了,我到时候再写文章给大家讲讲吧。

5、招人与合作:

基于以上的这些思考,我们寻找愿意在这个方向一起努力的伙伴。

1)、有相对全面的全栈能力,当然,不是做网站需要的那些全站能力啦,我们会偏向到后端开发语言上,比如 GO,你懂的;
2)、技术能力扎实,能耐得住寂寞,对一些技术方向有足够的兴趣,并愿意长期投入在这些方向上;
3)、待遇方面,我们现在还不够大,现在未必能够给你很高的待遇,但是在你主导的产品能够有足够的收入的时候,我们也愿意分享收入给你,而不是死工资,而且,也许未来等项目成熟了,可以考虑远程办公;
4)、我们基本上不加班,也没有那些办公室政治的事情,也基本上不会让你赶工,而拉低产品或者代码质量。
5)、办公地点在四惠地铁站附近,早十晚七的上班时间。
6)、更重要的是,我们在为这个世界增加正能量,而不是一边工作一边拉低自己和行业的底限,我希望每一分钱都是我们应得的收入,同时客户还能够平等沟通,而不是把我们当作一个乙方而已,也不仅仅是个技术支持部门,为了产品经理的一句话,而疲于加班,没有成就感。
7)、有兴趣的话,可以直接发邮件给我: gaochunhui@gmail.com 或者在微博上私聊:@高春辉。我们自己也有一些方向,需要共同交流,也许会有火花,我们自己的 TODOLIST 是有一堆事情的。

如果你已经在做这方面的事情,我们也许会有合作机会,我们也不觉得什么时候都要自己做,联系方式同上。

同时,也在寻找 IP 库的专职维护人员,还有很多数据项目可以标注的,希望一起来把这个事情做到全球 NO1,有兴趣是前提,待遇好说。

6、最后:

几个小事情:

1)、我们最近已经把查询汇总页中的广告行业库的数据换成 ip2location 的数据了,我们认为已经不再需要关心这个广告行业库了,呵呵。
      我们也在查询页集成了百度的 IP 查询服务,希望对有兴趣的用户有所帮助。
      但是请不要问我们准确度如何,我们仅仅是为大家提供一个查询上的便利,仅此而已。
2)、我们发布了 Best Trace for iOS 版本,望名知意,地址是 https://itunes.apple.com/cn/app/best-trace/id1026747589?ls=1&mt=8 。
      求评论,另外,这周应该会发布 Android 版本。

嗯,求客户,求合作,求伙伴,求赞,求转发。

--
高春辉
08-24-2015

鲜花

握手

雷人

路过

鸡蛋

最新评论

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2  

GMT+8, 2024-4-20 17:21 , Processed in 0.390917 second(s), 21 queries .

Powered by 小雄! X3.2

© 2014-2020 bigdataer Inc.

返回顶部