商务合作QQ:289-585-305投稿邮箱:admin#bigdata.ren（把#换成@）
开启辅助访问 设为首页微信公众号收藏本站每日签到QQ群VIP电影RSS

大数据人|大数据第一社区

 找回密码
 注册会员

扫一扫，访问微社区

大数据人|大数据第一社区 › 首页 ›企业› 广东› 集搜客 › 查看内容

Python: xml转json

2016-6-17 14:18| 发布者: 集搜客GooSeeker| 查看: 547| 评论: 0|原作者: 集搜客GooSeeker|来自: 集搜客社区

摘要: GooSeeker早在9年前就开始了Semantic Web领域的产品化，MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是 XML -> RDF -> Ontology Engineering。
1，引言

GooSeeker早在9年前就开始了Semantic Web领域的产品化，MS谋数台和DS打数机是其中两个产品。对web内容做结构化转换和语义处理的主要路线是 XML -> RDF -> Ontology Engineering。所以这两款产品的输出信息是XML格式的，实现第一步：结构化转换。单纯作为一个网页采集器来说，输出XML格式也有好处，这是一种标准格式，后续的数据处理可以很容易地接入，任意发挥。

在web集成和网站前端领域，json越来越普遍，在Scrapy架构中，Scrapy dict数据结构本质上就是json，所以，由XML格式转换成JSON格式很有必要。

无论哪种编程语言，XML转Json都有很多现成的程序包，但是，就像前面说的，GooSeeker定义的XML格式主要用来做实体建模，有自己规定的一套语义结构描述标准。所以，不能直接使用现成的转换程序，或者需要在现成的转换程序上做些修改。

本文是一个实验过程，并没有考虑GooSeeker要求的语义结构，只是验证一下XML到Json的转换。

2，实验用的XML文件

我们使用《python爬虫实战（2）：爬取京东商品列表》一文的结果文件，python爬虫爬取的结果保存在 京东手机列表_1.xml 文件中。内容如下图所示


下面针对这个结果文件先做个xml转json的测试，为提取器gsExtractor添加输出Json文件的功能做技术准备。

3，测试过程


代码如下：
  1. #! /usr/bin/env python
  2. # -*- coding:utf-8 -*-
  3. # xml 转 json
  4. # xml2json.py
  5. # Version 1.0

  7. from xml.parsers.expat import ParserCreate
  8. import json

  10. class Xml2Json:
  11.     LIST_TAGS = ['COMMANDS']
  12.     
  13.     def __init__(self, data = None):
  14.         self._parser = ParserCreate()
  15.         self._parser.StartElementHandler = self.start
  16.         self._parser.EndElementHandler = self.end
  17.         self._parser.CharacterDataHandler = self.data
  18.         self.result = None
  19.         if data:
  20.             self.feed(data)
  21.             self.close()
  22.         
  23.     def feed(self, data):
  24.         self._stack = []
  25.         self._data = ''
  26.         self._parser.Parse(data, 0)

  28.     def close(self):
  29.         self._parser.Parse("", 1)
  30.         del self._parser

  32.     def start(self, tag, attrs):
  33.         assert attrs == {}
  34.         assert self._data.strip() == ''
  35.         self._stack.append([tag])
  36.         self._data = ''

  38.     def end(self, tag):
  39.         last_tag = self._stack.pop()
  40.         assert last_tag[0] == tag
  41.         if len(last_tag) == 1: #leaf
  42.             data = self._data
  43.         else:
  44.             if tag not in Xml2Json.LIST_TAGS:
  45.                 # build a dict, repeating pairs get pushed into lists
  46.                 data = {}
  47.                 for k, v in last_tag[1:]:
  48.                     if k not in data:
  49.                         data[k] = v
  50.                     else:
  51.                         el = data[k]
  52.                         if type(el) is not list:
  53.                             data[k] = [el, v]
  54.                         else:
  55.                             el.append(v)
  56.             else: #force into a list
  57.                 data = [{k:v} for k, v in last_tag[1:]]
  58.         if self._stack:
  59.             self._stack[-1].append((tag, data))
  60.         else:
  61.             self.result = {tag:data}
  62.         self._data = ''

  64.     def data(self, data):
  65.         self._data = data

  67. if __name__ == '__main__':
  68.     xml = open("京东手机列表_1.xml", 'r', encoding='UTF-8').read()
  69.     result = Xml2Json(xml).result;
  70.     outputfile = open("京东手机列表_1.json", 'w', encoding='UTF-8')
  71.     outputfile.write(str(result))
  72.     outputfile.close()        

  • 在控制台运行:  $ python xml2json.py
  • 测试输出：京东手机列表_1.json。运行后在当前文件夹下可以看到新生成的json文件



4，接下来的工作
  • 升级gsExtractor提取器类，加入新的方法，支持把提取结果从xml转换为json格式
  • 转换成的json结构必须符合GooSeeker要求的语义描述结构，为直接存入MongoDB做准备

5，相关文档
1，Python即时网络爬虫项目: 内容提取器的定义
2，Python爬虫实战（2）：爬取京东商品列表

6，集搜客GooSeeker开源代码下载源
1， GooSeeker开源Python网络爬虫GitHub源

7，文档修改历史
2016-06-17：V1.0，首次发布

鲜花
握手
雷人
路过
鸡蛋
收藏 分享 邀请
上一篇：Scrapy：python3下的第一次运行测试下一篇：Python即时网络爬虫：API说明

相关阅读

最新评论

相关分类

关闭

站长推荐上一条 /2 下一条


id="mn_portal" >首页Portalid="mn_P18" onmouseover="navShow('P18')">应用id="mn_P15" onmouseover="navShow('P15')">技术id="mn_P37" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">前沿id="mn_P36" onmouseover="navShow('P36')">宝箱id="mn_P61" onmouseover="showMenu({'ctrlid':this.id,'ctrlclass':'hover','duration':2})">专栏id="mn_P65" >企业id="mn_Nd633" >导航 折叠导航 关注微信 关注微博 关注我们

QQ|广告服务|关于我们|Archiver|手机版|小黑屋|大数据人 ( 鄂ICP备14012176号-2 )   

GMT+8, 2024-5-5 00:49 , Processed in 0.223850 second(s), 22 queries .

Powered by 小雄! X3.2

© 2014-2020 bigdataer Inc.

返回顶部