iamlockelightning / JDItemCrawler

京东商品爬虫(JD.com Item Crawler)

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

京东商品爬虫

基于 python + selenium 的动态加载网页爬虫。可以对京东商场一个类别、品牌下的商品进行信息抽取,商品信息包括名称、价格、基本信息、评论等。

依赖

使用流程

  1. 安装依赖
➜ pip3 install -r requirements.txt
  1. (依不同需求修改代码后)执行程序
➜ python3 main.py

配置说明

if __name__ == "__main__":
    options = Options()
    options.add_argument("--headless")
    options.add_argument('--no-sandbox')
    options.add_argument('--disable-dev-shm-usage')
    
    # 选定浏览器内核
    browser = webdriver.Chrome(options=options) # Chrome # Edge # Safari # Firefox

    CLASS_LIMIT = 36            # 爬取的目标类别下的品牌数上限
    PAGE_LIMIT = -1             # 爬取的每一品牌下商品的页数(每页60个商品,-1表示爬取全部商品)
    COMMENT_LIMIT = 5           # 爬取的每一商品评论的页数(每页10条评价,-1表示爬取全部评价)

    # 爬取类别下的品牌名称
    CLASS_URL = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&pvid=c4aedc3cb84146e89fde7b8901f19cf5"   # 需制定类别URL
    if os.path.exists("classes.txt"):
        classes = []
        with open("classes.txt", "r") as fr:
            for line in fr:
                classes.append(line.strip())
    else:
        classes = get_item_classes(browser, CLASS_URL)
        with open("classes.txt", "w") as fw:
            for c in classes:
                fw.write(c + "\n")
    print("__Done! classes")

    # 依据品牌列表,爬取每一品牌下的商品
    matches = [f for f in os.listdir() if f.startswith("item_urls")]
    if len(matches) != 0:
        item_urls = []
        for m in matches:
            i_u = []
            with open(m, "r") as fr:
                for line in fr:
                    i_u.append(line.strip())
            item_urls.append(i_u)
    else:
        item_urls = []
        for c in classes[:min(CLASS_LIMIT, len(classes))]:
            print("extract brand:", get_brand(c))
            item_urls.append(get_item_urls(browser, c, limit=PAGE_LIMIT))
        for i in range(len(item_urls)):
            with open("item_urls_" + get_brand(classes[i]) + ".txt", "w") as fw:
                for item in item_urls[i]:
                    fw.write(item + "\n")
    print("__Done! item_urls")

    # 依据商品列表,爬去每一商品的信息
    for i, urls in enumerate(item_urls):
        if len(matches) == 0:
            brand = get_brand(c)
        else:
            brand = matches[i].split("urls_")[1][:-4]
        print("extract brand:", brand)
        data = parse_item_pages(browser, urls, limit=COMMENT_LIMIT)
        print("brand:", brand, "\tdata num:", len(data))
        with open("data_" + brand + ".txt", "w") as fw:
            for d in data:
                fw.write(json.dumps(d) + "\n")
    print("__Done! data")


    browser.close()
    browser.quit()

抽取结果示例

结果存为json格式,一行一条商品信息。(示例为格式化后结果)

{
    "overall_tag_list":[
        "画面清晰细腻(1491)",
        "真彩清晰显示屏(1491)",
        "漂亮大方(1303)",
        "响应速度飞快(1218)",
        "使用舒适(787)",
        "色彩饱满(339)",
        "持久耐用(335)",
        "性能一流(319)",
        "配置超棒(115)",
        "拍摄功能强(83)",
        "空间充足(61)"
    ],
    "title":"荣耀8X 千元屏霸 91%屏占比 2000万AI双摄 4GB+64GB 幻夜黑 移动联通电信4G全面屏手机 双卡双待",
    "comments_in_pages":[
        {
            "text":"这款手机的质量还是不错的,给家里的老人买的,很喜欢,屏幕大字体也可以调的很大,而且打游戏特别爽,还能够看电视,看电影很方便,而且续航能力也不错,充一次电可以管一天是没有问题的,荣耀8x实在很良心,做工也是非常不错的,屏幕非常清晰,而且很流畅,系统很流畅,不卡断",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-16 20:35"
            ]
        },
        {
            "text":"手机屏幕大,反应灵敏,给老人用的,比以前的手机好用多了,信赖荣耀的品质。很好用,老人很开心,可惜不能用优惠券。其他都好。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-04 18:10"
            ]
        },
        {
            "text":"这款X8大气,漂亮,手感好,速度快,大爱。荣耀手机质量一直杠杠的,耐用,屏幕牢靠,前几天跑步不小心从口袋掉地上了,一点没坏?",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-19 11:23"
            ]
        },
        {
            "text":"公司指定型号,指定产品,指定品牌,这款已经买了很多部了,公司内部员工使用,整体性价比很高,整体性价比较高,使用后反应还很不错,样式也很新颖,电池也比较好用,自带贴膜,比较人性化",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-20 18:46"
            ]
        },
        {
            "text":"首先就是屏幕不错,6.5寸的屏幕手机尺寸并没有想象中那样大,整个机身算得上轻薄,做工很千元机,中规中矩,海思麒麟710F的处理器应付一般的游戏比如《王者荣耀》《穿越火线·@战王者》《时空召唤》《刺激战场》等热门网游也算够用,这个后期追评。到手第一感觉就是,真的屏占比真的好大,显示比较细腻,作为AI拍摄的主力军,荣耀8X的拍照水平以及优化,拍摄可玩性都是比较高的,指纹识别非常迅速,人脸识别也算可以,暗光有几率识别失败。出厂到手,安卓系统8.0版本,EMUI我的是8.1,第二天更新到8.2版本,体验还好,比较方便。手势识别真的蛮不错,有三种方案可选择,实用性很强,而且屏内虚拟按键并没有占据太多的空间,在保证实用的同时又做到了节省屏幕内空间,很赞,而且可以选择自动隐藏,加上了屏幕体验。第一上手使用感觉大概就是这些,多了不啰嗦,后期追评关于游戏体验,电池续航以及日常使用体验。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-02 00:13"
            ]
        },
        {
            "text":"用起来非常棒,做工十分精致,手感不错。尤其是随机自带贴膜和手机壳(透明塑料壳),免去了很多麻烦。系统流畅,画面清新靓丽,观感很好。拍照在同价位中数一数二,画质也很清晰。价格实惠,1299元入手?",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-04 10:09"
            ]
        },
        {
            "text":"自带很多软件,手机运行流畅,机身双摄影,摄影效果很清晰,机体很漂亮。带电量也很大,没有打游戏看视频,用一整天后才用了不到50%",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-15 22:10"
            ]
        },
        {
            "text":"我表哥拿着一个8X 6+128版本的,看着不错,就给我老爸买个,我姐又给我姐夫买个6+64的哈哈哈。。。新手机很快,4+64够用了,手机是长条形的,适合手拿,手感不错,希望用久了不会很卡。对了,这个低配版只有线上有,实体店没有卖。又送了耳机,自拍杆,比较实用。可以推荐大家购买!",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-20 21:46"
            ]
        },
        {
            "text":"各方面都比较满意,第一眼看到,就觉得外观、性能、价格都比较符合我的要求。使用了一段时间,终于来作一个评价。外观方面:屏占比高。玻璃机身手感和观感都很好。做工精细;系统:运行流畅,不卡顿,发热完全没感觉(不打游戏);显示:显示效果细腻,结合高清屏和护眼模式看着舒服;续航:超出预期,电池容量1.5天以上,续航能力明强,是一款高性价比的手机。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-26 20:55"
            ]
        },
        {
            "text":"外观精致,手感完美,电池耐用,操作流畅,我咋感觉不像千元机呢,哈哈,反正比我2998的vivo手机号,各方面都表现很好,支持国产,华为威武!",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-29 15:18"
            ]
        },
        {
            "text":"手机运行流畅,吃鸡游戏略有卡顿,看高清电影无压力,整体手感很好,大小合适,没有想象中那么大,电池比较耐用,基本上两天左右充一次电,买来给老人玩~用的。手机自带硅胶套,屏幕自带薄屏贴,非常实用。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-05 10:27"
            ]
        },
        {
            "text":"超级喜欢,大屏幕真过瘾,比我的8P还大。送个妈妈,老妈很满意哦,显示屏超高清,运行速度快。棒棒哒,就是没有耳机?,我觉得很奇怪。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-21 21:20"
            ]
        },
        {
            "text":"比想象中的好很多,大屏,给爸爸买的,应该会很不错,把自己给挑大了,速度很快,很对得起这个价格,而且,带着的,贴好的膜,还有一个塑料的保护套",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-09 01:05"
            ]
        },
        {
            "text":"手机整体不错,操作流畅,手感非常好,后屏的双色设计很像卡片相机,质感很好。只是8的系统略微有点遗憾,要是9就更好了。屏幕不闪屏,很棒!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-13 21:22"
            ]
        },
        {
            "text":"给老人买的大屏机,触感灵敏,屏幕清晰,来电铃声响亮,屏幕尺寸比例合适,适合单手拿握,最重要的是不操作的情况下(开启4G网络)一天只掉1-3个电,特别适合家里80岁老人使用。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-31 00:00"
            ]
        },
        {
            "text":"买之前对比了同事的荣耀8X和红米note7,真心觉得米手感好,但是这是买给老爹用的,再加上我手里的荣耀十,老妈手里的Nova2,都用一个牌子比较方便。上手玩了两天了,还没充过电,电池是真的强大,护眼模式特别喜欢,贼好用。吃鸡王者没试过,如果有看重性能的,可以考虑下中高端旗舰。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-01 06:12"
            ]
        },
        {
            "text":"物流快!手机外观漂亮!时尚,大气!做工细致,四角圆润,喜欢那机身侧面银边非常漂亮,整机摸起来很舒服,挺滑的!分辨率清晰,音量大,运行还可以吧!很便宜,性价比值!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-17 12:19"
            ]
        },
        {
            "text":"很棒,确实千元霸屏,弄的我现在都不爱用苹果了,把另一个卡从苹果手机拆下来两个卡放一起,好处多多,可以拦截*扰推销电话,电池还多,相当于两个苹果的电量,出门再也不用担心没电了",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-05-01 17:29"
            ]
        },
        {
            "text":"包装很精美用心,拆的过程感受到诚意,很舒服,手机外观漂亮,款式好看,质量很好,正品,做工精致,屏幕细腻够大很清晰,色彩饱和度很不错,系统功能强大,运行速度很快,内存也足够,拍照很清晰,用着很舒服,玩吃鸡也不卡,耗电量也可以,背面手感很好,指纹识别灵敏方便,面部识别也不错,玩游戏加载超级快,照相机平常用用很足够,很满意的手机,华为自带的很多智慧化细节,也让这个机子操作性满分。性价比蛮高的,而且价格还实惠便宜,希望华为越做越好,支持华为,超喜欢~~",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-16 14:41"
            ]
        },
        {
            "text":"支持国货,而且手机相当不错,运行很快,贴膜已贴好,水晶套已配齐,给老人用,配置不用太高,把界面调整的干净利索,一目了然,操作方便。快递小哥送件前电话确认。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-02 15:45"
            ]
        },
        {
            "text":"使用了10天,谈谈感受:1、京东快递很好,安全措施到位。优点:1、做工精细,手感稳沉,握持感好;2、屏幕占比很惊艳、靓丽耀眼但不刺眼,眼睛很舒服;3、待机长,充满电,玩玩~、~、打电话、看新闻、等,大约两天半;4G的运行内存,一般正常使用2.5-3.1G;64G存储;4、手机共有3个卡位,可放2张小卡和一张存储卡,这要赞下,很人性化。华为一直不错,全家都用他,赞一个!",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-14 11:57"
            ]
        },
        {
            "text":"拿到手感觉,确实挺大的,屏占比很高,玻璃后盖质感真的很好,感觉千元机能做成这样真的很良心了,手机也很有份量,屏幕显示我感觉OK,系统也流畅,之前用的也是荣耀,所以换机很方便,布局也没有变,很好用",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-18 18:36"
            ]
        },
        {
            "text":"速度不错,运行很快,主要外观颜值真的很高,颠覆了我对华为机的新理解,和我苹果max一样大小,1万多和这个1千多的,样子真没啥区别……晕了……唯一不满意的不是t-c的充电接口,宁可多花两百块……哎",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-28 19:45"
            ]
        },
        {
            "text":"显示效果:很好!符合这个价位吧 运行速度:运行速度很快!普通市面上的游戏都可以完美运行 通信音质:华为信号我个人感觉是最好的,地下室其他手机没信号,我的就有,哈哈 电池续航:待机差不多两天多,正常使用早上到晚上还剩下4.50的电,还可以! 拍照效果:上传的图片就是8x黑色拍的,还可以吧!符合这个价位!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-11 19:46"
            ]
        },
        {
            "text":"确实很惊艳,当时看图片感觉一般,但是真正拿到手上的时候,真的是惊艳到我了,手感特别好,重量适中,这个是给我妈买的,我妈也不玩游戏,就用用~,看看头条什么的,这个配置够用了,简直是物美价廉!综合来说,总体好评!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-03 09:26"
            ]
        },
        {
            "text":"手机屏幕好大,感觉不错,系统上面应该比vivo的用起来方便,千元机中应该算很好的,jwjskkdjfhdjskk听说评论字多有好处哦,下面的就别看了,我乱打的,还不信,那你继续看,看,对不对",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-11-27 09:41"
            ]
        },
        {
            "text":"很惊艳了。外形时尚,不沉,拿着手感很好,屏幕超清的,使用也流畅。而且自带高清膜,我不知道又买了钢化膜,送了原装耳机,整体感觉非常满意了。第一次用华为的手机,很刷好感度的",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-25 10:10"
            ]
        },
        {
            "text":"昨天下单,第二天就收到货啦,京东就是快!手机看起来很舒服,手感也不错?,屏幕分辨率也很高,眼睛很舒服?!功能齐全又强大,使用贴心,反应速度快!电池续航性能好,看视频玩游戏也足够!美中不足的是没配耳机?,不过这个价位也还公道!看今后使用的体验吧,期待……",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-15 16:18"
            ]
        },
        {
            "text":"好看好用,千元屏霸,无与伦比,三千的手感外观,一千多的价格,像素高,反应速度快!荣耀越来越好了,家人也很满意,待机时间也能用两天,全网通用啥卡都行,已经买第三部了!可怜我对这个型号的喜欢,京东物流太快了,",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-09 13:11"
            ]
        },
        {
            "text":"8X的边框真的惊艳做工很好很精致,MI8 Lite做工比不了屏幕也比不了。但是刚需快充首发时买了小米。8X和OPPO K1比荣耀的质感更好一点,但我比较喜欢k1 的三星OLED晚上纯黑背景下的纯粹,系统说实话O家的最干净,而且吸收了BUGME的精华,很漂亮,但是总之8X是千元标杆没错了。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-10 10:16"
            ]
        },
        {
            "text":"感谢老爸老妈给我照顾宝宝,同时买了米8青春和荣耀8x各一台,米8青春选的金色给老妈,荣耀8x选的黑色给老爸,老爸喜欢硬朗些的米8青春机子在盒内固定的很好,荣耀8x在盒内晃晃的,米8青春屏小一些,荣耀8x屏比大一些,都是刘海头,照相机像素挺清晰的,荣耀8x买的是4g内存的,米8青春买的是6g的,荣耀8x内有三个卡槽,一排好长,米8青春两个卡槽,不过我都用来给父母各装一个microsd卡,荣耀8x自带的软件有些多,米8的字号感觉比荣耀8x大,看起来大小更适合。其实父母年龄大了,一般就用来qq、~、看看网页新闻、看看剧之类,都够用了,反正感觉麒麟710和骁龙660都差不多,将旧手机的信息照片一键换新机到新手机内,两者都能设置了全面屏手势,很简单,老爸老妈很快就会用了,用了一天暂时没有问题出现,老爸老妈很高兴?,在网上又买了手机套和保护膜等着到货装上。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-24 20:50"
            ]
        },
        {
            "text":"?6s丢了,隔天在京东看了外观很好看,果断下单一台8x,用了一段时间了,双卡双4G自由切换很好用,信号、音质都还不错,电池续航也不错,不用像用6s时,随时找地方充电或充电宝了",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-22 22:59"
            ]
        },
        {
            "text":"质量很好,给家里的老人买的,很喜欢,屏幕大字体也可以调的很大,声音也大,系统流畅,画面清新靓丽,观感很好,手感也好",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-28 11:29"
            ]
        },
        {
            "text":"可以说是非常满意了,物流快,手机给妈妈当做入门机,买的3+32的不卡,如果卡,推荐你们一个方法,去安全中心把省电模式打开,勤清理后台,不会卡的,因为买的钢化膜没到,所以没撕手机的膜,这个手机不可以打游戏!!!处理器不支持,想打游戏别买这个,这个当个备用机,或者入门机是不错的选择!买3+32的!!!16g太小,肯定卡!!!可以买来给孩子戒游戏哦!??给孩子戒游戏肯定很好的",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-25 13:50"
            ]
        },
        {
            "text":"手机收到,物流超快,在农村也能第二天到达,手机颜值杠杠的,手感不错,运行流畅,速度快,感觉比我的荣耀play还快,当然大游戏加载还是比play慢些,但悬殊不大,从运行速度和颜值,手感来说不像千元机。赞赞赞",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-15 18:45"
            ]
        },
        {
            "text":"给老爸买的,屏幕很大,分辨率对于要求不高的人来说已经非常不错了,电池续航也还不错,老爸不玩游戏,只看网页基本三天一冲相信京东",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-11 19:53"
            ]
        },
        {
            "text":"手机备用机,摄影刷~用!对于男士来讲,手握大小合适,看图屏幕大,揣兜也方便!很不错!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-12 11:18"
            ]
        },
        {
            "text":"快递很快就送到了 手机造型很好看 屏幕很大 分辨率很高 系统运行一点都不慢。还贴好膜 送了手机套。买给爸妈用的 很适合",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-31 09:19"
            ]
        },
        {
            "text":"整体还不错 手感 很好很满意,重量 和我的7P差不多,但是反应有时会卡,毕竟千元机 能做成这样已经很不错了,手感不得不说很不错 还有舒服的就是指纹解锁 很人性化,解锁方便舒服!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-10-03 17:17"
            ]
        },
        {
            "text":"手机用的非常酷炫,妈妈非常喜欢,用着手感很好,反应速度很快,面部识别,还有指纹识别都特别灵敏敏!",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-04-08 20:21"
            ]
        },
        {
            "text":"很不错,给老人买的,手感很好,本来想买小米note7,无奈耍猴,所以买了这个,玩了几把王者,效果开最高,很稳定,比我的小米8se稳定太多,小米se来不来就460或者断网,简直垃圾一般,唯一说的京东的券这个手机不能用,坑比",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-23 10:25"
            ]
        },
        {
            "text":"华为大品牌,质量可靠,手机真的很漂亮,相机拍照效果很好,屏幕分辨率清晰,操作灵活,手机电池待机时间长,外观设计漂亮,质量很好,有需要的可以放心购买,真的很不错",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-28 17:48"
            ]
        },
        {
            "text":"一直使用荣耀手机,感觉很好,手机运行超级流畅,外观也超级好看,后盖随着光线角度不同可以变靓色,颜色超级漂亮,AI更加使用,智能唤醒超实用!照相机更加智能化,功能强大,拍照清晰好看,超级棒!充电也很快,收到后,试了一下,耗电不快,总体来说,荣耀手机非常满意。用着也很不错,速度很快,指纹解锁和面部识别功能都很快,卖家服务也很好,五颗星五颗星,愉快的一次购物!以后还会继续支持华为",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-21 09:49"
            ]
        },
        {
            "text":"昨晚上九点半下的单,第二天下午就收到了,这物流速度太快了,手机实物比网上图片要漂亮的多,赠送的耳机和自拍杆出乎意料的好,手机外观真心的漂亮,跟高端货没啥区别,操作手感非常舒服,屏幕特别柔和细腻,我只玩了玩穿越火线,比以前的手机强太多了,安兔兔得分不到14万,",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-02-25 00:24"
            ]
        },
        {
            "text":"首先京东自营的物流没得说,当天就到了。到手当时就体验了一下,颜值很高,还算流畅,目前就发现刷~翻页会卡一下,电池耐用,打一把王者百分之三左右,一把二十几分钟。再说音质,一个词刺耳,对外放音质要求比较高的同学不建议购买,华为麦芒6的音质我觉得挺不错,一对比,这个就太差了。玩游戏的话没卡过,当个备用机凑合用。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-03-23 20:52"
            ]
        },
        {
            "text":"外观千元机中很不错的,日常使用足够了。电池使用的时间足够长,虽然华为手机系统可玩性不高,系统还是很稳定的,适合不玩游戏,对拍照没有特别要求的朋友。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-11 21:32"
            ]
        },
        {
            "text":"拿到手机的第一眼就很喜欢哦,屏幕大看新闻不错,照相的功能也很多,聊天不用打字,直接说普通话就可以,很方便的",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-09-12 19:08"
            ]
        },
        {
            "text":"给老爸买了,送货很快,配送很好,外观很好看,面部识别指纹识别很快,平常都是简单了操作,不打游戏,待机时间长,耐用,只是拍照实在垃圾,还不如原先了7x,感觉是500万像素",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-09-24 15:24"
            ]
        },
        {
            "text":"很不错的手机,质量杠杠的,很是喜欢,续航能力比苹果强多了,虽然像素比我的苹果的高。但是拍照质量可能没有苹果好,外观很好看。",
            "membership":"PLUS会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2018-12-18 20:24"
            ]
        },
        {
            "text":"机大小刚刚好 像素也还可以,拍照片比我的MATE10还清晰, 值这个价钱 没有网友说的屏幕花啊 可以拉一张纸 打开每个软件也很快 暂时没发现什么其他不好的 之后在追评吧 物流真的是很快。",
            "membership":"普通会员",
            "star":"5",
            "order_detail":[
                "幻夜黑",
                "全网通(4GB 64GB)",
                "官方标配",
                "2019-01-20 13:38"
            ]
        }
    ],
    "total_comment_num":"155万+",
    "attr_val":[
        [
            "品牌",
            "华为(HUAWEI)"
        ],
        [
            "型号",
            "荣耀8X"
        ],
        [
            "入网型号",
            "JSN-AL00a"
        ],
        [
            "上市年份",
            "2018年"
        ],
        [
            "上市月份",
            "9月"
        ],
        [
            "机身颜色",
            "幻夜黑"
        ],
        [
            "机身长度(mm)",
            "160.4mm备注:实际尺寸依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "机身宽度(mm)",
            "76.6mm备注:实际尺寸依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "机身厚度(mm)",
            "7.8mm备注:实际尺寸依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "机身重量(g)",
            "约175克(含电池)备注:实际重量依配置、制造工艺、测量方法的不同可能有所差异。"
        ],
        [
            "输入方式",
            "触控"
        ],
        [
            "运营商标志或内容",
            "其他"
        ],
        [
            "机身材质分类",
            "金属边框;玻璃后盖"
        ],
        [
            "机身材质工艺",
            "卡托:金属+塑胶 后盖:玻璃 边框:铝合金"
        ],
        [
            "屏占比",
            "91%(可视区域/屏幕尺寸)"
        ],
        [
            "操作系统",
            "Android"
        ],
        [
            "操作系统版本",
            "Android 8.1"
        ],
        [
            "CPU品牌",
            "海思(Hisilicon)"
        ],
        [
            "CPU频率",
            "4 × Cortex A73 2.2 GHz + 4 × Cortex A53 1.7 GHz"
        ],
        [
            "CPU核数",
            "八核"
        ],
        [
            "CPU型号",
            "Hisilicon Kirin 710* (*因使用多种封装工艺,Hisilicon Kirin 710处理器系列包含Kirin 710和Kirin 710F,功能参数一致)"
        ],
        [
            "GPU型号",
            "Mali G51"
        ],
        [
            "双卡机类型",
            "双卡双待单通"
        ],
        [
            "最大支持SIM卡数量",
            "2个"
        ],
        [
            "SIM卡类型",
            "注:同时支持两张nano-SIM卡和一张microSD卡插入"
        ],
        [
            "4G网络",
            "4G:移动(TD-LTE);4G:联通(FDD-LTE);4G:电信(FDD-LTE);4G:联通(TD-LTE)"
        ],
        [
            "3G/2G网络",
            "3G:移动(TD-SCDMA);3G:联通(WCDMA);3G:电信(CDMA2000);2G:移动(GSM)+联通(GSM);2G:电信(CDMA)"
        ],
        [
            "网络频率(4G)",
            "主卡: LTE FDD: B1/B3/B5/B8 TD-LTE:B38/B39/B40/B41 TD-SCDMA:B34/B39 WCDMA:B1/B5(漫游)/B8 CDMA (3G):BC0 CDMA(2G)(主副卡二选一): BC0( 800MHz);(仅限**电信(**大陆+澳门)) GSM:B2(漫游)/B3/B8"
        ],
        [
            "网络频率(2G/3G)",
            "其他"
        ],
        [
            "副卡网络频率",
            "LTE FDD: B1/B3/B5/B8 TD-LTE:B38/B39/B40/B41 WCDMA:B1/B5(漫游)/B8 CDMA(2G)(主副卡二选一): BC0( 800MHz);(仅限**电信(**大陆+澳门)) GSM:B2(漫游)/B3/B8"
        ],
        [
            "数据业务",
            "TD-LTE/LTE FDD/TD-SCDMA/WCDMA/HSPA+/DC-HSDPA/CDMA2000/CDMA1X/EDGE/GPRS"
        ],
        [
            "是否支持同时使用联通卡",
            "不可同时上网,仅支持卡A上网,卡B通话。"
        ],
        [
            "其他",
            "备注: *各个地区的网络和频段可能有所不同,具体取决于当地运营商以及您所在的位置。 *4G业务需要对应的4G卡支持,在手机开启4G开关时,4G网络会频繁拒绝没有开通4G的SIM卡,导致频繁掉网。您可以选择关闭4G业务开关,或者联系对应的运营商开通4G业务。 *CDMA仅限**电信(**大陆+澳门)。"
        ],
        [
            "功能备注",
            "备注:各个地区的网络和频段可能有所不同,具体取决于当地运营商以及您所在的位置。"
        ],
        [
            "ROM",
            "64GB"
        ],
        [
            "RAM",
            "4GB"
        ],
        [
            "存储卡",
            "支持MicroSD(TF)"
        ],
        [
            "可用空间",
            "64GB 备注:可使用的内存容量小于此值,因为手机软件占用的空间。"
        ],
        [
            "主屏幕尺寸(英寸)",
            "6.5英寸"
        ],
        [
            "分辨率",
            "2340*1080"
        ],
        [
            "屏幕像素密度(ppi)",
            "397 PPI"
        ],
        [
            "屏幕材质类型",
            "IPS"
        ],
        [
            "前置摄像头",
            "1600万像素"
        ],
        [
            "前摄光圈大小",
            "f/2.0"
        ],
        [
            "照片最大分辨率",
            "4608×3456像素"
        ],
        [
            "功能备注",
            "备注:不同拍照模式的照片像素可能有差异,请以实际为准。"
        ],
        [
            "摄像头数量",
            "2个"
        ],
        [
            "后置摄像头",
            "2000万像素"
        ],
        [
            "照片最大分辨率",
            "后置摄像头:5120×3840像素"
        ],
        [
            "拍照特点",
            "美颜"
        ],
        [
            "功能备注",
            "AI美拍、乐趣AR、人像模式、大光圈拍照、HDR、超级夜景、全景照、流光快门、水印 等"
        ],
        [
            "电池容量(mAh)",
            "3750mAh(典型值)"
        ],
        [
            "电池类型",
            "锂聚合物电池"
        ],
        [
            "电池是否可拆卸",
            ""
        ],
        [
            "理论待机时间(小时)",
            "约26天 备注:上述数据为实验室数据,实际待机时间,视当地的实际网络情况和使用习惯而有所不同"
        ],
        [
            "理论通话时间(小时)",
            "理论3G通话时间:约21小时 备注:上述数据为实验室数据,实际通话时间,视当地的实际网络情况和使用习惯而有所不同"
        ],
        [
            "充电器",
            "5V/2A"
        ],
        [
            "数据传输接口",
            "蓝牙"
        ],
        [
            "NFC/NFC模式",
            "不支持"
        ],
        [
            "耳机接口类型",
            "3.5mm"
        ],
        [
            "充电接口类型",
            "Micro USB"
        ],
        [
            "数据线",
            "USB2.0"
        ],
        [
            "指纹识别",
            "支持"
        ],
        [
            "GPS",
            "支持"
        ],
        [
            "陀螺仪",
            "支持"
        ],
        [
            "常用功能",
            "其他;收音机"
        ]
    ],
    "price":"",
    "current_comment_num":"(45万+)",
    "overall_score":"99%",
    "current_tag_list":[
        "晒图(500)",
        "视频晒单(1600+)",
        "追评(1800+)",
        "好评(38万+)",
        "中评(1000+)",
        "差评(1200+)"
    ]
}

项目结构

./
├── README.md           // 说明文档
├── main.py3            // 主程序
└── requirements.txt    // 项目依赖

Comments

If you find any errors, please let me know in Issues. Pull requests are welcome.

About

京东商品爬虫(JD.com Item Crawler)


Languages

Language:Python 100.0%