前言

新近自己感受了3次全栈(伪)开发App的经历,受益良多,小编想把进程记录一下,一是想起与巩固,二是投石问路,如有谬误以求大神指点。

率先,大家供给鲜明我们最终的靶子是如何。
比如未来自家要做一个简短的玩耍评测资源信息的App。
那正是说笔者首先须要【数据来自】然后须要二个提供数据接口的【服务端】,作者将先形成那二者,然后才开头App的开发。

就此小编将分成三步[Python爬虫]->[Ruby服务端]->[iOS客户端]来实现那几个App。

而爬虫技术,将用作先遣部队,为我们攻下第一个数据堡垒。

开始

不少言语都有饱经风霜的爬虫框架,作者选用的是行使Python语言的Scrapy框架,那是二个这几个完美同时成效强大的爬虫框架,大家只必要用到最基础的功用。Scrapy拥有尤其棒的华语文书档案
安装和入门教程文书档案一应俱全,作者就不赘述了。

安装好现在,我们开拓终端,早先创制令人激动的爬虫

scrapy startproject yxReview

cd yxReview 

scrapy genspider yx_review www.ali213.net/news/pingce

姣好后协会大体上如图

图片 1

k

仿佛此,基础的框架和代码已经被生成了,接着大家用编辑器打开yxReview目录,首先在items.py文本下新建一个item。
大家可以先开辟网页侠客评测解析一下

图片 2

武侠评测

粗略起见,大家当下只抓取5个性格,创立代码:

class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    cover_image = scrapy.Field()
    summary = scrapy.Field()
    score = scrapy.Field()

接下来大家进去目录下的spiders文件夹,打开yx_review.py
一般来说编辑

# -*- coding: utf-8 -*-
import scrapy

from yxReview.items import ArticleItem

class YxReviewSpider(scrapy.Spider):
    name = "yx_review"
    allowed_domains = ["www.ali213.net"]
    start_urls = (
        'http://www.ali213.net/news/pingce/',
    )

    def parse(self, response):
        items = []
        for sel in response.xpath('//div[@class="t3_l_one_l"]'):
            item = ArticleItem()
            item["cover_image"] = sel.xpath("div[@class='one_l_pic']/a/img/@src").extract()
            item["title"] =   sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_tit']/a/text()").extract()
            item["summary"] = sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_con']/text()").extract()
            items.append(item)

        index = 0
        for scoreSel in response.xpath('//div[@class = "t3_l_one_r"]'):
            item = items[index]
            item["score"] = scoreSel.xpath("div/span/text()").extract()
            index = index + 1
            yield item

        print items

那边重要是parse方法,再次回到请求到的HTML然后分析出我们供给的数码装进ArticleItem里,然后将items传输到pipeline中。

传输管道

在爬虫scrapy中,pipeline是八个重视的定义,它一定于七个“加工器”,能够连接多少个自定义的pipeline,完结多少的继续处理工科作,比如实行筛选分类,只怕持久化到地面等等,按事先级串连。

在本例中,为了省事,作者将创建1个管道将数据简单处理并保存到本三步跳件中。

打开pipelines.py,编辑如下

# -*- coding: utf-8 -*-

from scrapy import signals
from scrapy.contrib.exporter import JsonItemExporter

class YxreviewPipeline(object):

    @classmethod
    def from_crawler(cls, crawler):
         pipeline = cls()
         crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
         crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
         return pipeline

    def spider_opened(self, spider):
        self.file = open('items.json', 'wb')
        self.exporter = JsonItemExporter(self.file)
        self.exporter.start_exporting()

    def spider_closed(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

    def process_item(self, item, spider):
        self.checkData(item, "title")
        self.checkData(item, "summary")
        self.checkData(item, "cover_image")
        self.checkData(item, "score")

        self.exporter.export_item(item)

        return item

    def checkData(self ,item, field):
        if len(item[field]) > 0:
            newText = item[field][0].encode("utf-8")
            item[field] = newText.strip()
        else:
            item[field] = ""

前边四个艺术,也正是给当下的pipeline提供了一个JsonItemExporter的插件,用于将具备爬取的item导出为JSON格式的文本之中。

此外索要证实的是,那里自定义了2个checkData办法,作为2个简单的数据类型验证,以及将事先解析的内容转换来字符串并且举行了utf-8编码的转码,保证普通话内容的科学展现。

做到后,打开工程目录下的items.json文本,可以观察数据现已以JSON格式保存了下来。

图片 3

items.json

甘休

于今,爬虫的职务能够告一段落,当然,在实际应用中还索要解决越来越多的问题,比如分页爬取,反爬虫的应对等等,迫于小说篇幅权且不表,算作扩大阅读吧
:)

下一篇,大家将选择ruby on rails编写服务端,提供移动端的REST API接口。


一日千里链接
从零初步开发五个App(1)-
Scrapy爬虫

从零先河开发贰个App(2)- 简易REST
API服务端

从零开首开发一个App(3)-
iOS客户端

网站地图xml地图