MongoDB如何查询耗时记录的方法详解

MongoDB是一个开源的NoSQL数据库，它使用BSON（类似于JSON）格式存储数据，在MongoDB中，我们可以使用各种查询方法来获取我们需要的数据，查询耗时记录是一个重要的功能，它可以帮助我们了解查询的性能，以便我们进行优化，本文将详细介绍如何在MongoDB中查询耗时记录的方法。

开启查询日志

在MongoDB中，查询日志默认是关闭的，我们需要手动开启它，开启查询日志的方法如下：

1、打开MongoDB的配置文件，通常位于/etc/mongod.conf或者/usr/local/etc/mongod.conf。

2、在配置文件中找到logging选项，将其设置为以下内容：

logging:
   level: verbose
   formatters:
      standard:
         format: "%Y-%m-%dT%H:%M:%S.%LZ %v"
   logpath: /var/log/mongodb/mongodb.log
   logappend: true

3、保存并关闭配置文件。

4、重启MongoDB服务。

查看查询日志

开启查询日志后，我们可以在指定的日志文件中查看查询耗时记录，查询日志的格式如下：

{
   "ts" : Timestamp(1609459876),
   "connectionId" : ObjectId("5f6a6c7b8d8d8e8f9a0b0c0d"),
   "durationMillis" : NumberLong(123),
   "query" : { ... }, // 查询语句
   "nReturned" : NumberInt(10), // 返回的文档数
   "client" : { ... }, // 客户端信息
   "nInserted" : NumberInt(0), // 插入的文档数
   "nUpdated" : NumberInt(0), // 更新的文档数
   "writeErrors" : [ ... ] // 写入错误信息
}

durationMillis字段表示查询耗时，单位是毫秒。

分析查询日志

我们可以使用各种工具来分析查询日志，例如MongoDB自带的shell命令、Python脚本等，以下是一个简单的Python脚本，用于分析查询日志：

import re
from collections import defaultdict
from datetime import datetime, timedelta
import pytz
读取日志文件
with open('/var/log/mongodb/mongodb.log', 'r') as f:
    logs = f.readlines()
解析日志行
pattern = re.compile(r'\{.*?\}')
parsed_logs = [pattern.findall(line) for line in logs]
parsed_logs = [json.loads(log) for log in parsed_logs if log]
统计查询耗时
query_times = defaultdict(list)
for log in parsed_logs:
    if 'query' in log and 'durationMillis' in log['query']:
        query_time = log['query']['durationMillis'] / 1000.0  convert to seconds
        query_times[log['connectionId']].append(query_time)
计算平均耗时和最大耗时
average_time = sum([sum(times) / len(times) for times in query_times.values()]) / len(query_times) * 1000.0  convert back to milliseconds
max_time = max([max(times) for times in query_times.values()]) * 1000.0  convert back to milliseconds
print('Average query time: {:.2f} ms'.format(average_time))
print('Max query time: {:.2f} ms'.format(max_time))

相关问题与解答

问题1：如何关闭查询日志？

答：关闭查询日志的方法是在MongoDB的配置文件中将logging选项设置为以下内容：

logging: {}

然后重启MongoDB服务即可。

问题2：如何设置查询日志的级别？

答：在MongoDB的配置文件中，可以通过设置logging选项的level字段来设置查询日志的级别，可选的值有off、0、1、2、3、4、5、diagnostic，off表示关闭日志，0表示不记录任何信息，1表示只记录错误信息，2表示记录错误和警告信息，3表示记录错误、警告和一般信息，4表示记录错误、警告、一般和详细信息，5表示记录所有信息，diagnostic表示记录诊断信息。