美多商城项目(七)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 美多商城项目(七)

每日分享

If you can change your mind, you can change your life.

如果你愿意改变你的想法,你可以改变你的人生。

小闫语录

有时候失败并不是你不够努力,而是你对自己的盲目自信,以及那份固执。坚持该坚持的,改变该改变的,放弃该放弃的,前面将是柳暗花明。有些人明知道自己是错的,但是那可怜的自尊心让其不愿承认其他人的正确,那份小傲娇会让你付出巨大的代价。还有些人是因为缺少从头再来的勇气,宁愿一错再错,其实从头再来并没有那么难,难的是做出这个决定。



美多商城项目(七)

项目仓库

https://github.com/EthanYan6/E-commerce-sites.git

结合代码查看笔记,效果更佳。笔记只是记录重点或者难点。

1.登录用户浏览商品记录

Django开发web项目中,如果是前后端分离的模式,那么基本都是使用rest_framework框架。如果是前后端不分离,就不会使用了。tornado学习难度会大一点。

1.什么时候需要获取登录用户浏览商品的记录?何时取?

答:当登录用户进入个人信息页面时,需要获取登录用户浏览商品的记录。

2.什么时候需要保存登录用户浏览商品的记录?何时存?

答:当登录用户浏览某个商品的详情页面时,需要保存登录用户浏览商品的记录。

3.浏览记录保存在哪里?存在哪?

答:如果将浏览记录保存在MySQL数据库的表中,用户频繁的浏览商品,就需要频繁的操作MySQL数据库,相应性能有所下降。

id user_id sku_id
1 2 3

表格中的信息代表id为2的用户浏览了id为3的商品

将用户浏览记录存储在redis中

4.在redis中怎么存储登录用户浏览记录?怎么存?

答:采用列表的数据类型存储。

list: history_<user_id>: [<sku_id>,...]

redis存储分为五种数据类型。以key-value形式存储。

# 1.string: 字符串
    history_<user_id>: '3,5,1'
    #上述方法存储后,取值时,可以按`,`进行分割。
    例如:
        user_2: '1,5'
        user_3: '3,5'
# 2.hash: 哈希    key: {field:value, field: value}
    history: {
        <user_id>:'3,5,1',
        <user_id>:'1,2',
        ...
    }
# 3.list: 列表    key: [value, ...]
    history_<user_id>: [3, 5, 1]
# 4.set: 无序集合 
    不能使用,因为用户浏览记录是有序的。
# 5.zset: 有序集合
    需要额外加权重值,然后按权重值进行排序。

字符串和hash存储的时候需要额外的字符串操作,而列表直接可以存储,然后直接取值。zset需要额外的权重值来保证有序,而列表不需要。

1.1浏览记录保存

API: POST /browse_histories/
参数:
    通过请求头传递jwt token
    {
        "sku_id": "商品id"
    }
响应:
    {
        "sku_id": "商品id"
    }

在redis中存储浏览记录的过程:

1. history_2: ['1','3','5']
2. # 如果id为2的用户又浏览了id为4的商品,将记录保存在列表左侧
3. history_2: ['4','1','3','5']
4. # 如果id为2的用户又浏览了id为3的商品,我们需要去重
5. 
6. 在redis中存储浏览记录的过程:
7. # 去重:如果商品已经被浏览,需要将商品id先从列表中移除。
8. # 保持有序:最新浏览商品的id添加到list列表最左侧。
9. # 截取:只保留最新几个浏览商品id
lrem
1. lrem <key> <count> <value>

从redis列表中移除元素,有则删除,无则忽略,不会报错。

1. my_list:[1,3,2,3,5,3,6]
2. # 要删除所有的3
3. lrem my_list 0 3
4. # 从左往右将3删除2次
5. lrem my_list 2 3
6. # 从右往左将3删除2次
7. lrem my_list -2 3
lpush
1. lpush <key> <value> ...

向redis列表左侧加入元素。


ltrim
1. ltrim <key> <start> <stop>

保留redis列表指定区间内元素。

业务逻辑

1.获取skuid并进行校验(skuid必传,sku_id商品是否存在)。

定义序列化器类来实现校验。

2.在redis中存储登录用户浏览的记录。(create)

在序列化器类中定义create方法

a.获取redis链接对象 StrictRedis
b.拼接key
c.去重:如果商品已经被浏览,需要将商品id先从列表中移除。
d.保持有序:最新浏览的商品的id添加到list列表最左侧。
e.截取:只保留最新几个浏览商品id。

3.返回应答,浏览记录添加成功。

如果create中返回的是validated_data,那么接口中的serializer.data返回的就是一个对象。

如果create中返回的是一个字典,那么接口中的serializer.data返回的就是一个字典。

在redis中进行查看:

a.打开redis客户端

  1. redis-cli

b.选择4号库

  1. select4

c.查看里面的所有记录

  1. keys *

1.2浏览记录获取

1. API: GET /browse_historise/
2. 参数:
3.     通过请求头传递jwt token
4. 响应:
5.     [
6.         {
7.             "id": "商品id",
8.             "name": "商品名称",
9.             "price": "商品价格",
10.             "default_image_url": "默认图片",
11.             "comments": "评论量"
12.         },
13.         ...
14.     ]
lrange
1. lrange <key> <start> <stop>

返回一个列表,包含指定区间内的元素。超出范围的下标取值不会引起错误。

闭区间

目的:获取redis列表指定区间内的元素。

业务逻辑

1.获取redis链接对象 StrictRedis

2.拼接key

3.从redis中获取登录用户浏览的商品sku_id。

4.根据商品sku_id获取对应商品数据。

5.将商品的数据序列化并返回响应。

2.获取分类SKU商品的数据

根据第三级分类ID获取分类SKU商品的数据。

a.支持分页功能。

b.支持排序功能。

API: 
GET /categories/(?P<category_id>\d+)/skus/?page=<页码>&page_size=<页容量>&ordering=<排序字段>
参数:
    通过url传递第三极分类ID
响应:
    [
        "count": "总数量",
        "next": "下一页链接地址",
        "previous": "上一页链接地址",
        "results": [
            {
                "id": "商品id",
                "name": "商品名称",
                "price": "商品价格",
                "default_image_url": "默认图片",
                "comments": "评论量"
            },
            ...
        ]
    ]

业务逻辑

1.根据 category_id获取分类SKU商品的数据。

2.将商品的数据序列化并返回。

self.kwargs:是一个字典dict,保存的是从url地址中提取的所有命名参数。


总结

1.浏览记录

浏览记录存储:(何时存、何时取、存在哪、怎么存)

浏览记录添加:去重lrem、左侧加入lpush、截取ltrim

浏览记录获取:lrange

2.分类SKU商品数据

根据第三级分类id获取sku商品的数据

支持分页

支持排序


3.商品搜索

3.1需求

根据商品的名称和副标题搜索商品的数据。

举例

关键字:iPhone

sql语句:

select * from tb_sku where name like '%iPhone%' or caption like '%iPhone%';

在SQL语句查询中,like语句查询效率很低,在搜索的时候不会使用SQL,而是使用搜索引擎。

3.2搜索引擎

3.2.1.搜索引擎概念&原理

3.2.2.搜索引擎功能

3.2.3.搜索引擎环境搭建

3.2.4.Django对接搜索引擎

3.2.1概念

可以对数据表中的数据进行处理,建立索引结构数据( 记录索引记录和数据库中真实数据之间对应关系),在搜索引擎建立索引结构数据时,还会对 索引字段进行关键词拆分,然后保存每个关键字在哪些索引记录中存在。

索引字段:根据哪些表字段来搜索数据,这些字段就是索引字段。

id name caption ... ...
1 Apple iPhone 8 Plus (A1864) 256GB 深空灰色 移动联通电信4G手机 选【移动优惠购】新机配新卡,198优质靓号,流量不限量!

2 Apple iPhone 8 Plus (A1864) 256GB 金色 移动联通电信4G手机 选【移动优惠购】新机配新卡,198优质靓号,流量不限量!

AppleiPhone8Plus(A1864)256GB深空灰色移动联通电信4G手机\n选【移动优惠购】新机配新卡,198优质靓号,流量不限量!

搜索引擎作用:针对索引字段的内容进行关键词的分词并建立对应的索引数据。

slor/whoosh/es/....搜索引擎有很多,我们选择es(Elasticsearch)。es是开源的,目前全文搜索引擎的首选。是Java实现的。

3.2.2搜索引擎功能

1.建立索引结构的数据。

2.根据关键字检索对应的索引的记录。

注意:拿到索引记录之后,对应数据库中真实的数据,需要自己进行查询,搜索引擎不会去做。

3.3.3环境搭建

获取镜像,可以通过网络pull

docker image pull delron/elasticsearch-ik:2.4.6-1.0

或者加载其他人提供的镜像文件

docker load -i elasticsearch-ik-2.4.6_docker.tar

修改elasticsearch的配置文件 elasticsearc-2.4.6/config/elasticsearch.yml第54行,更改ip地址为本机ip地址

network.host: 10.211.55.5

创建docker容器运行,注意将elasticsearc-2.4.6目录放置到home目录

docker run -dti --network=host --name=elasticsearch -v /home/python/elasticsearch-2.4.6/config:/usr/share/elasticsearch/config delron/elasticsearch-ik:2.4.6-1.0

检查是否启动成功:

浏览器放问下面的地址,如果返回了内容,那么搜索引擎启动成功。

<自己电脑IP>:9200

es默认端口是9200

3.3.4Django对应es搜索引擎

作为开发者,如果自己写代码对接搜索引擎,需要了解很多搜索引擎内部原理操作。

全文检索框架:帮助开发者使用搜索引擎的功能。

Python中使用haystack框架,它支持多种搜索引擎,帮助开发者使用搜索引擎的功能。

全文检索框架功能

1.帮助开发者利用搜索引擎建立索引结构数据。

2.帮助开发者利用搜索引擎根据关键字来检索索引记录。

3.帮助开发者根据索引记录到数据库中查询真实的数据。

通过使用haystack来调用Elasticsearch搜索引擎

1.安装:

pip install drf-haystack
pip install elasticsearch==2.4.1

drf-haystack是为了在REST framework中使用haystack而进行的封装(如果在Django中使用haystack,则安装django-haystack即可)

2.注册应用

INSTALLED_APPS = [
    ...
    'haystack',
    ...
]

3.配置:在配置文件中配置haystack使用的搜索引擎后端

# Haystack全文检索框架配置
HAYSTACK_CONNECTIONS = {
    'default': {
        # 指定所使用的搜索引擎
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        # 指定es搜索引擎服务器地址
        'URL': 'http://192.168.59.225:9200//',  # 此处为elasticsearch运行的服务器ip地址,端口号固定为9200
        # 指定elasticsearch建立的索引库的名称
        'INDEX_NAME': 'meiduo',  # 指定elasticsearch建立的索引库的名称
    },
}
# 当添加、修改、删除数据时,自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

HAYSTACKSIGNALPROCESSOR 的配置保证了在Django运行起来后,有新的数据产生时,haystack仍然可以让Elasticsearch实时生成新数据的索引

haystack对接es搜索引擎

1.建立索引结构数据。

1.1建立索引类

在子应用下新建文件search_indexes.py

文件名是固定的

在template下面建立目录search,在search目录下建立目录indexes,在indexes目录下建立目录<子应用名>,在这个目录下建立文件,文件名如下:

  1. 文件名格式:<模型类名小写>_text.txt

所有的名称都是固定不变的。

1.2指定索引字段

1.3执行命令,建立索引数据:

python manage.py rebulid_inex

2.编写搜索API接口。

API: GET /skus/search/?text=<搜索关键字>
参数:
    通过text查询字符串传递<搜索关键字>
响应:
    ...

代码:

# GET /skus/search/?text=<搜索关键字>
class SKUSearchViewSet(HaystackViewSet):
    # 指定索引类对应模型类
    index_models = [SKU]
# 指定搜索结果序列化时所使用的序列化器类
    # 搜索结果中每个对象都包含两个属性:
    # text:索引字段的内容
    # object:从数据库中搜索出模型对象
    serializer_class = SKUIndexSerializer

4.购物车记录存储

需求:登录用户和未登录用户都能进行购物车记录添加。

4.1存储方案

4.1.1登录用户的购物车记录存储

1.存在哪?redis

答:存在redis中。因为如果存储在mysql中,用户频繁的操作购物车的记录(删除或这添加),就需要频繁操作mysql数据库。在redis中存储登录用户的购物车记录。读写效率要快很多。

如果采用MySQL数据库,需要设计如下表格:

id user_id sku_id count select(勾选状态)
1 2 1 3 1

2.怎么存?

答:每个登录用户的购物车记录采用redis中两条数据来存:

hash:存储登录用户购物车中添加的商品id和对应数量。

set:存储登录用户购物车中被勾选的商品id。

# hash: 哈希 <key>: {<field>: <value>, ...}
cart_<user_id>: {
    <sku_id>: <count>,
    <sku_id>: <count>,
    ...
}
# set:集合
cart_selected_<user_id>: ('<sku_id>','<sku_id>', ...)
例如:
    cart_2: {
        '1':'3',
        '3':'2',
        '5':'1'
    }
    id为2用户购物车记录:
        id为1的商品添加了3件;
        id为3的商品添加了2件;
        id为5的商品添加了1件;
    cart_selected_2: ('1','5')
        id为1和5的商品对应的购物车记录是被勾选的。

4.1.2未登录用户购物车记录存储

1.存在哪?客户端cookie中

答:未登录用户可能根本不是网站注册用户,只访问一次就永不访问,如果将购物车记录存储到服务器,可能会造成服务器存储空间浪费,所以可以直接未将登录用户购物车记录存储到客户端。

cookie/sessionSrotage/LocalStorage三种存储方式,我们选择存储到cookie中。

2.怎么存?

答:

'cart': {
    <sku_id>: {
        'count': '<count>',
        'selected': '<selected>'
    },
    <sku_id>: {
        'count': '<count>',
        'selected': '<selected>'
    },
    ...
}

例如:
'cart': {
    1: {
        'count':2,
        'selected': False
    },
    5: {
        'count':1,
        'selected': True
    },
    3: {
        'count': 5,
        'selected': False
    }
}
未登录用户购物车包含id为1,3和5的商品。
id为1的商品添加了2件;
id为5的商品添加了1件;
id为3的商品添加了5件;
id为5的商品是被选中的。

3.Django中cookie设置和获取

答:

# 1.设置cookie
response.set_cookie('<key>','<value>',max_age='<有效时间:s>')
# 2.获取cookie
request.COOKIES.get('<key>')
# json模块
json.dumps(dict):将字典转换为json字符串
json.loads(json字符串):将json字符串转化为字典
# pickle模块-python标准模块
pickle.dumps(dict|对象):将传入的数据转换为bytes字节流
pickle.loads(bytes字节流):将bytes字节流转换为dict|对象
# base64模块
base64.b64encode(bytes字节流):将传入的bytes字节流进行base64编码,返回编码之后的bytes内容。
base64.b64decode(编码之后的bytes字节流|str):将传入的内容进行base64解码,返回解码之后的内容。
# 设置cookie中购物车数据:
cart_data = bae64.b64encode(pickle.dumps(cart_dict)).decode()
response.set_cookie('cart',cart_data,max_age='过期时间:s')
# cookie中购物车数据解析
cookie_cart = request.COOKIES.get('cart')
cart_dict = pickle.loads(base64.b64decode(cookie_cart.encode()))
或者cart_dict = pickle.loads(base64.b64decode(cookie_cart))
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
6月前
|
JavaScript Java 测试技术
基于SpringBoot+Vue的博物馆展览与服务一体化平台的详细设计和实现
基于SpringBoot+Vue的博物馆展览与服务一体化平台的详细设计和实现
54 0
|
7月前
|
小程序 关系型数据库 MySQL
Gitee项目分享——学之思开源考试系统,食堂大妈看完都学会了
Gitee项目分享——学之思开源考试系统,食堂大妈看完都学会了
|
7月前
|
安全 Java 关系型数据库
社区团购|生鲜团购|基于Springboot+Vue实现前后端分离社区团购
社区团购|生鲜团购|基于Springboot+Vue实现前后端分离社区团购
159 0
|
Linux 数据库 文件存储
美多商城项目(六)
美多商城项目(六)
|
存储 安全 数据安全/隐私保护
美多商城项目(二)
美多商城项目(二)
|
SQL NoSQL 关系型数据库
美多商城项目(九)
美多商城项目(九)
|
应用服务中间件 API 数据库
美多商城项目(十)
美多商城项目(十)
|
存储 NoSQL 前端开发
美多商城项目(八)
美多商城项目(八)
|
存储 Shell 数据库
美多商城项目(四)
美多商城项目(四)
|
NoSQL 前端开发 API
美多商城项目(一)
美多商城项目(一)

热门文章

最新文章