系统相关
首页 > 系统相关> > ubuntu下安装docker django使用whoosh搜索引擎 使用es(elasticsearch)代替whoosh

ubuntu下安装docker django使用whoosh搜索引擎 使用es(elasticsearch)代替whoosh

作者:互联网

1.docker基本原理

https://www.cnblogs.com/xiaonq/p/10241045.html

2.ubuntu安装docker

2.1 安装docker

# 1.卸载旧版本
sudo apt-get remove docker docker-engine docker.io containerd runc

# 2.更新ubuntu的apt源索引
# 修改apt国内源为中科大源
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
sudo sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/' /etc/apt/sources.list
sudo apt update

#3.安装包允许apt通过HTTPS使用仓库
sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common

#4.添加Docker官方GPG key
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

#5.设置Docker稳定版仓库
#5.1 设置使用官方,很慢
sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"
#5.2 设置使用阿里云
add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
    
#6.添加仓库后,更新apt源索引
sudo apt-get update

#7.安装最新版Docker CE(社区版)
sudo apt-get install docker-ce

#8.检查Docker CE是否安装正确
sudo docker run hello-world

2.2 docker默认是国外源可以设置成国内镜像源

root@linux-node1 django-docker]# vim /etc/docker/daemon.json    # 设置docker镜像源
{
    "registry-mirrors": ["http://hub-mirror.c.163.com"]
}
或者
{
    "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"]
}

[root@linux-node2 ~]# systemctl daemon-reload                   # 重载文件
[root@linux-node2 ~]# systemctl restart docker                  # 重启docker生效

2.3 docker启动设置

# 启动Docker服务并设置开机启动
systemctl start docker
systemctl enable docker

2.4 docker简单使用(创建一个ngixn容器)

# 1、创建一个nginx容器
 docker run -it nginx
 
 # 2、查看docker运行的容器(可以获取到这个容器的id)
 docker ps
 
 # 3、访问这个容器
 # 进入这个nginx容器(进入的文件系统和宿主机是完全隔离的,有自己独立的文件系统)
 docker exec -it 73877e65c07d bash
 
 # 4、查看当前容器的 IP
 docker inspect 73877e65c07d   # 73877e65c07d是通过docekr ps查看到的容器ID
 curl 172.17.0.2               # 测试这个nginx容器是否可以访问

基本介绍

  1. 前后端不分离:https://www.cnblogs.com/xiaonq/p/12363589.html

    1. 安装

      1. pip install drf-haystack # django的开源 搜索框架(python语音写的,搜索框架可以使用其他
        语音的搜索引擎)
        pip install whoosh # 搜索引擎(python语音写的)
        pip install jieba # 中文分词Jieba,由于Whoosh自带的是英文分词,对中文的分词支持
        不是太好
        
    2. 什么是haystack?

      • haystack是django的开源搜索框架,该框架支持 Solr,Elasticsearch,Whoosh, Xapian 搜索引 擎,不用更改代码,直接切换引擎,减少代码量。
      • 搜索引擎使用Whoosh,这是一个由纯Python实现的全文搜索引擎,没有二进制文件等,比较小 巧,配置比较简单,当然性能自然略低。
      • 中文分词Jieba,由于Whoosh自带的是英文分词,对中文的分词支持不是太好,故用jieba替换 whoosh的分词组件。
    3. 配置使用

      1. syl/settings.py 全文检索配置

      2. '''1.注册app '''
        INSTALLED_APPS = [
        'haystack', # haystack要放在应用的上面
        ]
        '''2.模板路径 '''
        TEMPLATES = [
        {
        'DIRS': [os.path.join(BASE_DIR,'templates')],
        },
        ]
        
        
        '''3.全文检索配置'''
        HAYSTACK_SEARCH_RESULTS_PER_PAGE = 15  # 搜索出多条数据时需要分页
        HAYSTACK_CONNECTIONS = {
            'default': {
                # 'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
                'ENGINE': 'course.whoosh_cn_backend.MyWhooshEngine',
                'PATH': os.path.join(BASE_DIR, 'whoosh_index'),  # 指定倒排索引存放位置
            },
        }
        
        # ES引擎
        # settings.py 修改haystack配置
        # ES引擎
        # HAYSTACK_CONNECTIONS = {
        #     'default': {
        #         'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        #         'URL': 'http://127.0.0.1:9200/',  # Elasticsearch服务器ip地址,端口号固定为9200
        #         'INDEX_NAME': 'syl',  # Elasticsearch建立的反向索引库的名称
        #     },
        # }
        # 添加此项,当数据库改变时,会自动更新索引,非常方便
        HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
        
        
      3. 在子应用下创建索引文件

        1. apps/course/search_indexes.py

        2. """
          author:翔翔
          date:
          use:
          """
          # apps/course/search_indexes.py
          # 文件名必须是 search_indexes.py
          from haystack import indexes
          from .models import Course
          # 修改此处,类名为模型类的名称+Index,比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex(其实可以随便写)
          class CourseIndex(indexes.SearchIndex, indexes.Indexable):
              """
              Course索引类
              """
              # text为索引字段
              # document = True,这代表haystack和搜索引擎将使用此字段的内容作为索引进行检索
              # use_template=True 指定根据表中的那些字段建立索引文件的说明放在一个文件中
              text = indexes.CharField(document=True, use_template=True)
              # 对那张表进行查询
              def get_model(self): # 重载get_model方法,必须要有
                  """返回建立索引的模型类"""
                  return Course # 返回这个model
              # 建立索引的数据
              def index_queryset(self, using=None):
                  """返回要建立索引的数据查询集"""
                  # 这个方法返回什么内容,最终就会对那些方法建立索引,这里是对所有字段建立索引
                  return self.get_model().objects.all()
          
      4. 指定索引模板文件

        1. templates/search/indexes/course/course_text.txt
          
        2. # 创建文件路径命名必须这个规范:templates/search/indexes/应用名称/模型类名称
          _text.txt
          
        3. {{object.id}}
          {{object.title}}
          {{object.desc}}
          
      5. apps/course/whoosh_cn_backend.py

        1. """
          author:翔翔
          date:
          use:
          """
          # 更换 text 字段的 分析方式, 变为jieba分词中的中文分析器
          from haystack.backends.whoosh_backend import WhooshEngine, WhooshSearchBackend
          from whoosh.fields import TEXT
          from jieba.analyse import ChineseAnalyzer
          
          
          class MyWhooshSearchBackend(WhooshSearchBackend):
              def build_schema(self, fields):
                  (content_field_name, schema) = super().build_schema(fields)
                  # 指定whoosh使用jieba进行分词
                  schema._fields['text'] = TEXT(stored=True,
                                                analyzer=ChineseAnalyzer(),
                                                field_boost=fields.get('text').boost,
                                                sortable=True)
                  return (content_field_name, schema)
          
          
          class MyWhooshEngine(WhooshEngine):
              backend = MyWhooshSearchBackend
          
          
      6. 课程全文检索接口视图函数

        1. course/views.py

        2. 
          from syl import settings
          from django.core.paginator import InvalidPage, Paginator
          from haystack.forms import ModelSearchForm
          from django.http import JsonResponse,HttpResponse
          
          # 如果settings.py中配置就是用settings中配置的,否则就每页15条
          RESULTS_PER_PAGE = getattr(settings, 'HAYSTACK_SEARCH_RESULTS_PER_PAGE', 15)
          
          
          def course_index_search(request):
              # 1.获取前端传过来的关键字(查询数据)
              query = request.GET.get('q', None)
              page = int(request.GET.get('page', 1))  # 第几页
              page_size = int(request.GET.get('page_size', RESULTS_PER_PAGE))  # 每页多少条
              # 2.获取查询条件,进行查询
              if query:
                  form = ModelSearchForm(request.GET, load_all=True)  # 将查询条件传递给查询对 象
                  if form.is_valid():
                      results = form.search()  # 查询出来的最终数据
                  else:
                      results = []
              else:
                  return JsonResponse({"code": 404, "msg": 'No file found!', "data": []})
              # 3.对结果集进行分页
              paginator = Paginator(results, page_size)
              try:
                  page = paginator.page(page)  # 从分好的页中拿第几页
              except InvalidPage:  # 如果分页出错
                  return JsonResponse({"code": 404, "msg": 'No file found!', "data": []})
              # 4.把查询的分页结果集对象转换成json格式
              jsondata = []
              for result in page.object_list:  # 分页后的课程查询结果
                  data = {
                      'id': result.object.id,
                      'title': result.object.title,
                      'desc': result.object.desc,
                      'img':
                          request.scheme + '://' + request.META['HTTP_HOST'] + result.object.img.url,
                      # 'follower': result.object.follower,
                      'learner': result.object.learner,
                      'status': result.object.status,
                      'course_type': result.object.course_type.id
                  }
                  jsondata.append(data)
              result = {
                  "code": 200,
                  "msg": 'Search successfully!',
                  "data": {"count": page.paginator.count, "results": jsondata}
              }
              # return JsonResponse(result)
              return HttpResponse(json.dumps(result, ensure_ascii=False))
          
          
      7. syl/urls.py 添加路由

        1. urlpatterns = [
          	path('search/', course_index_search),
          ]
          
      8. 命令构建倒排索引

        1. python manage.py rebuild_index
          
      9. 测试课程全文检索

        1. 测试接口

        2. http://192.168.56.100:8888/search/?q=测试&page=1&page_size=1
          
        3. 测试结果

        4. ![image-20201112212145036](C:\Users\wyx\Desktop\小实训\day14 全文检索kounch es docker安装 docker拉取es镜像\图片\image-20201112212145036.png)

        5. 返回结果
          
          {
          "code": 200,
          "msg": "Search successfully!",
          "data": {
          "count": 1,
          "results": [
          {
          "id": 1,
          "title": "Linux入门课程",
          "desc": "要在实验楼愉快地学习,先要熟练地使用 Linux,本实验介绍 Linux 基
          本操作,shell 环境下的常用命令。",
          "img": "http://192.168.56.100:8888/media/course/linux.jpg",
          "learner": 222,
          "status": "1",
          "course_type": 3
          }
          ]
          }
          

1.docker安装ES

# 从仓库拉取镜像
sudo docker image pull delron/elasticsearch-ik:2.4.6-1.0
docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch delron/elasticsearch-ik:2.4.6-1.0
http://192.168.56.100:9200/
报错安装  pip install elasticsearch

2.使用ES替代whoosh全文检索

# settings.py  修改haystack配置
# ES引擎
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://127.0.0.1:9200/',        # Elasticsearch服务器ip地址,端口号固定为9200
        'INDEX_NAME': 'syl',                    # Elasticsearch建立的反向索引库的名称
    },
}

标签:course,whoosh,apt,django,索引,ubuntu,docker,haystack
来源: https://www.cnblogs.com/wyx-zy/p/14012674.html