前言
今天在项目中遇到一个Django的大坑,一个很简单的分页问题,造成了数据重复。最后排查发现是DateTimeField 属性引起的。
下面描述下问题,下面是我需要用到的一个 Task Model 基本定义:
class Task(models.Model): # ...... 省略了其他字段 title = models.CharField(max_length=256, verbose_name=u'标题') created_at = models.DateTimeField(auto_now_add=True, verbose_name=u'创建时间')
问题描述
前端这边的分页方式不是常规的 page、page_size 方式,而是使用标志位的方式进行分页,我这里采用的就是通过创建时间的时间戳作为分页标记。比如下面是返回的第一页的数据:
{ "data": { "count": 5, "has_next": 1, "tasks": [ { "title": "这是一个作业标题1", "ts": 1546829224000, "id": 1 }, { "title": "这是一个作业标题2", "ts": 1546829641000, "id": 2 } ] }, "result": 1}
要请求第2页的数据只需要在请求的 API 中传递上一页最后一条数据的时间戳即可,这里我们就传递 1546829641000,这样当我后台接收到这个值过后就直接过滤大于该时间戳的数据,再取一页数据返回前端即可,逻辑上很简单。过滤核心代码如下:
ts = string_utils.get_num(request.GET.get('ts', 0), 0)alltask = Task.objects.filter(created_at__gt=date_utils.timestamp2datetime(ts))
这段代码很简单,主要就是将前台传递过来的时间戳转换成 DateTime 类型的数据,然后利用created_at__gt来过滤,就是大于这个时间点的就可以。然后问题来了,查询出来的数据始终包含了上一页最后一条数据,感觉很奇怪,我这里明明用的是gt而不是gte,怎么会重复这条数据呢。
于是,我们把上一页最后一条数据的 created_at 字段打印出来和传递过来的时间戳进行对比下:
>>> task = Task.objects.get(pk=2)>>> task.created_atdatetime.datetime(2019, 1, 7, 10, 54, 1, 343136)
然后将时间戳转换成 DateTime 类型的数据:
>>> ts = int(1546829641000/1000)>>> date_utils.timestamp2datetime(ts)datetime.datetime(2019, 1, 7, 10, 54, 1)
现在看到区别没有,从数据库中查询出来的 created_at 字段的值包含了一个微秒,就是后面的 343136,而时间戳转换成 DateTime 类型的值是不包含这个微秒值的,所以我们上面查询的使用created_at__gt来进行过滤很显然 created_at 的值是大于下面的值的,因为多了一个微秒,所以就造成了数据重复了,终于破案了。
解决方法
那么要怎么解决这个问题呢?当然我们可以直接在数据库中就保存一个时间戳的字段,用这个字段直接来进行查询过滤,肯定是可以解决这个问题的。
如果就用现在的 created_at 这个 DateTimeField 类型呢?如果保存的数据没有这个微秒是不是也可以解决这个问题啊?
新闻热点
疑难解答