blueyo0/job_address

# job_address
项目介绍：
    这是一个从招聘网站爬职位，显示到网页端的项目。

描述流程：
登录 ==》 搜索界面 ==》 提交搜索内容之后 ==》 调到展示界面 == 数据库有数据 ==》 直接读取数据库展示到界面
                                                          |
                                                           ==  数据库没有  ==》 调用爬虫去爬取，爬到一条，加到数据库
                                                                                                          并展示到界面
函数流程：
login ------ search ----  show ---- show.html -- map.html
  |            |            |
  |            |            |
  register-login            |
                            |
                         调用爬虫
                            |
                         Merge_Url -- handledata  |-- toTable    --| --- show.html  -- map.html
                                                  |-- toUrlData  --|

应用技术：
爬虫：
    selenium, requests, urllib2 爬取界面
    re, lxml, bs4 提取所需数据
    多线程，协程快速爬取网页信息
    分布式，多机器爬取数据

数据库：
    MySql存储数据

后台：
    Django，
        自定义错误页面
        用户的注册登录
        搜索功能
        可配置每页显示几条数据
    bootsrap搭建基本页面
    调用百度地图接口，在百度地图上显示一个或全部公司。
    实现一边爬取数据一边显示到页面
    ajax实现页面局部刷新， 实现分页功能

爬虫中使用yield实现，爬到一条url就爬一条具体内容数据，
view.py 和 爬虫py 内容数据的传递 通过 队列。deque

2017-9-17：
    显示数据：
        两种情况，
            1、一种是，数据库中已有数据，直接读取，计算数据量，实现分页
            2、二种是，数据库没有这个表，要去现爬，
        1、直接从数据库读，转成字典的列表后，传到show.html界面进行处理。
        2、使用ajax定时去后台请求数据。每隔两秒，
            数据爬下来后，保存到数据库的同时，把数据保存到队列中，
            当ajax隔了两秒后，把队列中个东西读走，转成字典的列表， 显示到界面。
            py传数据去界面：
                from django.http import JsonResponse

                def a(request):  // 简略版
                    return JsonResponse(datalistb, safe=False)

2017-9-18:
    实现分页：（重点：获取标签，加标签，加属性，去属性，隐藏显示标签。）
        两种情况，
            1、一种是，数据库中已有数据，直接读取，计算数据量，实现分页
            2、二种是，数据库没有这个表，要去现爬，
        1、① 计算数据量，a
              规定每页显示数据条数， everynums
              a / everynums = c ， 即有多少页
           ② 默认所有数据隐藏， 在shou.html中对应标签加属性 style="display:none;"
              默认显示第一页的    $('tr').slice(1, everynums).removeAttr('style')  // 第0个 为标题
              再给页码加上点击事件，实现点击时显示相应页码的数据
              点击的页码 pagenum
              首先隐藏其他页的，即上一次显示的页的内容
              上一次显示的页码 prepagenum
              $('tr').slice((prepagenum-1)*everynums+1, prepagenums*everynums+1).attr('style', 'display:none')
              再显示这次点击的页码的内容
              $('tr').slice((pagenum-1)*everynums+1, pagenum*everynums+1).removeAttr('style')
        2、① 目标：
                默认显示第一页内容，
                有新内容加到最后，翻页时显示
           ② 先隐藏前面点击的页，再显示这次点击的页，同上， 同一套代码

2017-9-27：
    1、自定义自己的错误页面。
        定制404错误页面。
        ① 在templates文件夹下，新建错误html文件
        ② 修改settings.py
            DEBUG = False
            ALLOWED_HOSTS = ['*']
        ③ 在views.py中写函数
            # 404 自定义404错误页
            def page_not_found(request):
                return render(request, '404.html')
        ④ 在 flame 的urls.py中写：
            handler404 = 'views.page_not_found'

2017-9-28
    1、修改search.html页面，form的提交方式为get，这样刷新show.html时就不会提示是否重新提交表单了。
    2、{% csrf_token %} , 放开'django.middleware.csrf.CsrfViewMiddleware'时，在form表单中添加这句话。就可正常提交post请求了。
blueyo0 / job_address

About

Languages
