Найти записи MongoDB, где поле массива не пустое
Во всех моих записях есть поле под названием "картинки". Это поле представляет собой массив строк.
Теперь мне нужны самые новые 10 записей, где этот массив НЕ пуст.
Я искал googled, но, как ни странно, я этого не нашел. Я прочитал параметр $where, но мне было интересно, как медленно это происходит с нативными функциями, и если есть лучшее решение.
И даже тогда это не работает:
ME.find({$where: 'this.pictures.length > 0'}).sort('-created').limit(10).execFind()
Возвращает ничего. Выход из this.pictures без бит длины работает, но затем он также возвращает пустые записи, конечно.
8 ответов
Если у вас также есть документы, которые не имеют ключа, вы можете использовать:
ME.find({ pictures: { $exists: true, $not: {$size: 0} } })
MongoDB не использует индексы, если используется $size, поэтому лучшее решение:
ME.find({ pictures: { $exists: true, $ne: [] } })
[edit] Кроме того, начиная с версии MongoDB 2.6, вы можете сравнить с оператором $gt:
ME.find({ pictures: { $gt: [] } })
После того, как некоторые другие взгляды, особенно в документах mongodb, и загадочные биты вместе, это был ответ:
ME.find({pictures: {$not: {$size: 0}}})
-
14Вы должны пометить этот ответ как принятый.
-
25Это не работает Я не знаю, работало ли это ранее, но это также вернет объекты, у которых нет ключа 'pictures'.
Это также может работать для вас:
ME.find({'pictures.0': {$exists: true}});
-
1Ницца! Это также позволяет проверить минимальный размер. Знаете ли вы, если массивы всегда индексируются последовательно? Был бы когда-нибудь случай, когда
pictures.2существует, ноpictures.1нет? -
2Оператор
$existsявляется логическим, а не смещением. @tenbatsu должен использоватьtrueвместо1.
Начиная с версии 2.6, другой способ сделать это - сравнить поле с пустым массивом:
ME.find({pictures: {$gt: []}})
Тестирование в оболочке:
> db.ME.insert([
{pictures: [1,2,3]},
{pictures: []},
{pictures: ['']},
{pictures: [0]},
{pictures: 1},
{foobar: 1}
])
> db.ME.find({pictures: {$gt: []}})
{ "_id": ObjectId("54d4d9ff96340090b6c1c4a7"), "pictures": [ 1, 2, 3 ] }
{ "_id": ObjectId("54d4d9ff96340090b6c1c4a9"), "pictures": [ "" ] }
{ "_id": ObjectId("54d4d9ff96340090b6c1c4aa"), "pictures": [ 0 ] }
Таким образом, он правильно включает документы, в которых pictures имеет хотя бы один элемент массива и исключает документы, где pictures - либо пустой массив, не массив, либо отсутствует.
-
6ВНИМАТЕЛЬНО этот ответ может вызвать проблемы, если вы попытаетесь использовать индексы. Выполнение
db.ME.createIndex({ pictures: 1 })а затемdb.ME.find({pictures: {$gt: []}})вернет ноль результатов, по крайней мере, в MongoDB v3.0.14 -
0@wojcikstefan Хороший улов. Нужно по-новому взглянуть на это.
Вы заботитесь о двух вещах при запросе - точности и производительности. Имея это в виду, я протестировал несколько разных подходов в MongoDB v3.0.14.
TL; DR db.doc.find({ nums: { $gt: -Infinity }}) является самым быстрым и надежным (по крайней мере, в версии MongoDB, которую я тестировал).
Настройка
Я вставил 1k docs без поля списка, 1k docs с пустым списком и 5 документов с непустым списком.
for (var i = 0; i < 1000; i++) { db.doc.insert({}); }
for (var i = 0; i < 1000; i++) { db.doc.insert({ nums: [] }); }
for (var i = 0; i < 5; i++) { db.doc.insert({ nums: [1, 2, 3] }); }
db.doc.createIndex({ nums: 1 });
Я признаю, что этого недостаточно, чтобы оценить производительность так же серьезно, как и в тестах ниже, но этого достаточно, чтобы представить правильность различных запросов и поведение выбранных планов запросов.
Испытания
db.doc.find({'nums': {'$exists': true}}) возвращает неверные результаты (для чего мы пытаемся выполнить).
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': {'$exists': true}}).count()
1005
-
db.doc.find({'nums.0': {'$exists': true}}) возвращает правильные результаты, но также замедляет использование полного сканирования коллекции (обратите внимание на этап COLLSCAN в объяснении).
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums.0': {'$exists': true}}).count()
5
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums.0': {'$exists': true}}).explain()
{
"queryPlanner": {
"plannerVersion": 1,
"namespace": "test.doc",
"indexFilterSet": false,
"parsedQuery": {
"nums.0": {
"$exists": true
}
},
"winningPlan": {
"stage": "COLLSCAN",
"filter": {
"nums.0": {
"$exists": true
}
},
"direction": "forward"
},
"rejectedPlans": [ ]
},
"serverInfo": {
"host": "MacBook-Pro",
"port": 27017,
"version": "3.0.14",
"gitVersion": "08352afcca24bfc145240a0fac9d28b978ab77f3"
},
"ok": 1
}
-
db.doc.find({'nums': { $exists: true, $gt: { '$size': 0 }}}) возвращает неверные результаты. Это из-за неверного сканирования индекса, не создающего документов. Вероятно, он будет точным, но медленным без индекса.
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $exists: true, $gt: { '$size': 0 }}}).count()
0
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $exists: true, $gt: { '$size': 0 }}}).explain('executionStats').executionStats.executionStages
{
"stage": "KEEP_MUTATIONS",
"nReturned": 0,
"executionTimeMillisEstimate": 0,
"works": 2,
"advanced": 0,
"needTime": 0,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"inputStage": {
"stage": "FETCH",
"filter": {
"$and": [
{
"nums": {
"$gt": {
"$size": 0
}
}
},
{
"nums": {
"$exists": true
}
}
]
},
"nReturned": 0,
"executionTimeMillisEstimate": 0,
"works": 1,
"advanced": 0,
"needTime": 0,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"docsExamined": 0,
"alreadyHasObj": 0,
"inputStage": {
"stage": "IXSCAN",
"nReturned": 0,
"executionTimeMillisEstimate": 0,
"works": 1,
"advanced": 0,
"needTime": 0,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"keyPattern": {
"nums": 1
},
"indexName": "nums_1",
"isMultiKey": true,
"direction": "forward",
"indexBounds": {
"nums": [
"({ $size: 0.0 }, [])"
]
},
"keysExamined": 0,
"dupsTested": 0,
"dupsDropped": 0,
"seenInvalidated": 0,
"matchTested": 0
}
}
}
-
db.doc.find({'nums': { $exists: true, $not: { '$size': 0 }}}) возвращает правильные результаты, но производительность плохая. Он технически выполняет сканирование индекса, но затем он все еще продвигает все документы, а затем фильтрует их).
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $exists: true, $not: { '$size': 0 }}}).count()
5
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $exists: true, $not: { '$size': 0 }}}).explain('executionStats').executionStats.executionStages
{
"stage": "KEEP_MUTATIONS",
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 2016,
"advanced": 5,
"needTime": 2010,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"inputStage": {
"stage": "FETCH",
"filter": {
"$and": [
{
"nums": {
"$exists": true
}
},
{
"$not": {
"nums": {
"$size": 0
}
}
}
]
},
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 2016,
"advanced": 5,
"needTime": 2010,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"docsExamined": 2005,
"alreadyHasObj": 0,
"inputStage": {
"stage": "IXSCAN",
"nReturned": 2005,
"executionTimeMillisEstimate": 0,
"works": 2015,
"advanced": 2005,
"needTime": 10,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"keyPattern": {
"nums": 1
},
"indexName": "nums_1",
"isMultiKey": true,
"direction": "forward",
"indexBounds": {
"nums": [
"[MinKey, MaxKey]"
]
},
"keysExamined": 2015,
"dupsTested": 2015,
"dupsDropped": 10,
"seenInvalidated": 0,
"matchTested": 0
}
}
}
-
db.doc.find({'nums': { $exists: true, $ne: [] }}) возвращает правильные результаты и немного быстрее, но производительность по-прежнему не идеальна. Он использует IXSCAN, который только продвигает документы с существующим полем списка, но затем должен отфильтровывать пустые списки один за другим.
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $exists: true, $ne: [] }}).count()
5
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $exists: true, $ne: [] }}).explain('executionStats').executionStats.executionStages
{
"stage": "KEEP_MUTATIONS",
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 1018,
"advanced": 5,
"needTime": 1011,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"inputStage": {
"stage": "FETCH",
"filter": {
"$and": [
{
"$not": {
"nums": {
"$eq": [ ]
}
}
},
{
"nums": {
"$exists": true
}
}
]
},
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 1017,
"advanced": 5,
"needTime": 1011,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"docsExamined": 1005,
"alreadyHasObj": 0,
"inputStage": {
"stage": "IXSCAN",
"nReturned": 1005,
"executionTimeMillisEstimate": 0,
"works": 1016,
"advanced": 1005,
"needTime": 11,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"keyPattern": {
"nums": 1
},
"indexName": "nums_1",
"isMultiKey": true,
"direction": "forward",
"indexBounds": {
"nums": [
"[MinKey, undefined)",
"(undefined, [])",
"([], MaxKey]"
]
},
"keysExamined": 1016,
"dupsTested": 1015,
"dupsDropped": 10,
"seenInvalidated": 0,
"matchTested": 0
}
}
}
-
db.doc.find({'nums': { $gt: [] }}) ОПАСНО, ПОТОМУ ЧТО В ЗАВИСИМОСТИ ОТ ИНДЕКСА ИСПОЛЬЗУЕМОГО ЭТО МОЖЕТ ПРЕДОСТАВИТЬ НЕОЖИДАННЫЕ РЕЗУЛЬТАТЫ. Это из-за неверного сканирования индекса, который не поддерживает никаких документов.
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $gt: [] }}).count()
0
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $gt: [] }}).hint({ nums: 1 }).count()
0
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $gt: [] }}).hint({ _id: 1 }).count()
5
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $gt: [] }}).explain('executionStats').executionStats.executionStages
{
"stage": "KEEP_MUTATIONS",
"nReturned": 0,
"executionTimeMillisEstimate": 0,
"works": 1,
"advanced": 0,
"needTime": 0,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"inputStage": {
"stage": "FETCH",
"filter": {
"nums": {
"$gt": [ ]
}
},
"nReturned": 0,
"executionTimeMillisEstimate": 0,
"works": 1,
"advanced": 0,
"needTime": 0,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"docsExamined": 0,
"alreadyHasObj": 0,
"inputStage": {
"stage": "IXSCAN",
"nReturned": 0,
"executionTimeMillisEstimate": 0,
"works": 1,
"advanced": 0,
"needTime": 0,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"keyPattern": {
"nums": 1
},
"indexName": "nums_1",
"isMultiKey": true,
"direction": "forward",
"indexBounds": {
"nums": [
"([], BinData(0, ))"
]
},
"keysExamined": 0,
"dupsTested": 0,
"dupsDropped": 0,
"seenInvalidated": 0,
"matchTested": 0
}
}
}
-
db.doc.find({'nums.0’: { $gt: -Infinity }}) возвращает правильные результаты, но имеет плохую производительность (использует полное сканирование коллекции).
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums.0': { $gt: -Infinity }}).count()
5
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums.0': { $gt: -Infinity }}).explain('executionStats').executionStats.executionStages
{
"stage": "COLLSCAN",
"filter": {
"nums.0": {
"$gt": -Infinity
}
},
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 2007,
"advanced": 5,
"needTime": 2001,
"needFetch": 0,
"saveState": 15,
"restoreState": 15,
"isEOF": 1,
"invalidates": 0,
"direction": "forward",
"docsExamined": 2005
}
-
db.doc.find({'nums': { $gt: -Infinity }}) удивительно, что это работает очень хорошо! Он дает правильные результаты и быстро, продвигая 5 документов с этапа сканирования индекса.
MacBook-Pro(mongod-3.0.14) test> db.doc.find({'nums': { $gt: -Infinity }}).explain('executionStats').executionStats.executionStages
{
"stage": "FETCH",
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 16,
"advanced": 5,
"needTime": 10,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"docsExamined": 5,
"alreadyHasObj": 0,
"inputStage": {
"stage": "IXSCAN",
"nReturned": 5,
"executionTimeMillisEstimate": 0,
"works": 15,
"advanced": 5,
"needTime": 10,
"needFetch": 0,
"saveState": 0,
"restoreState": 0,
"isEOF": 1,
"invalidates": 0,
"keyPattern": {
"nums": 1
},
"indexName": "nums_1",
"isMultiKey": true,
"direction": "forward",
"indexBounds": {
"nums": [
"(-inf.0, inf.0]"
]
},
"keysExamined": 15,
"dupsTested": 15,
"dupsDropped": 10,
"seenInvalidated": 0,
"matchTested": 0
}
}
-
0Спасибо за ваш очень подробный ответ @wojcikstefan. К сожалению, предложенное вами решение не работает в моем случае. У меня есть коллекция MongoDB 3.6.4 с 2 млн. Документов, большинство из которых имеют
seen_eventsStringseen_events, который также индексируется.{ $gt: -Infinity }поиск по{ $gt: -Infinity }, я сразу получаю 0 документов. Используя{ $exists: true, $ne: [] }я получаю более вероятные 1,2 млн. Документов, при этом на этапе FETCH тратится много времени: gist.github.com/N-Coder/b9e89a925e895c605d84bfeed648d82c -
0Кажется, вы правы @Ncode - это больше не работает в MongoDB v3.6 :( Я поиграл с этим несколько минут, и вот что я нашел: 1.
db.test_collection.find({"seen_events.0": {$exists: true}})плохо, потому что использует сканирование коллекции. 2.db.test_collection.find({seen_events: {$exists: true, $ne: []}})плохо, потому что его IXSCAN соответствует всем документы, а затем фильтрация выполняется в фазе медленного FETCH. 3. То же самое относится и кdb.test_collection.find({seen_events: {$exists: true, $not: {$size: 0}}}). 4. Все другие запросы возвращают неверные результаты.
Для достижения этой цели вы можете использовать любое из следующих действий.
Оба также заботятся о том, чтобы не возвращать результат для объектов, в которых нет запрошенного ключа:
db.video.find({pictures: {$exists: true, $gt: {$size: 0}}})
db.video.find({comments: {$exists: true, $not: {$size: 0}}})
Вы также можете использовать вспомогательный метод Exists над оператором Mongo $exists
ME.find()
.exists('pictures')
.where('pictures').ne([])
.sort('-created')
.limit(10)
.exec(function(err, results){
...
});
ME.find({pictures: {$exists: true}})
Просто так, это сработало для меня.
Ещё вопросы
- 0Отключить кнопку PAY, когда статус «оплачен»
- 1Лучший способ определить, была ли вызвана функция с правильным количеством аргументов в JavaScript
- 0Как получить содержимое элемента, включая слушателей
- 1Функция re.findAll () в Python не будет работать должным образом
- 0MySQL - JOIN, GROUP BY с порядком группировки
- 0301 Перенаправления после копирования установки Magento
- 0Показать вставленное изображение с предыдущей страницы
- 0Создание сохраненной страницы с помощью Javascript?
- 0Метод uploadStoredFiles не существует в jQuery.fineUploader
- 0Вопрос рисования мульти холста
- 1Вы можете полностью заменить объект внутренним методом?
- 1Обработка событий для переключения видимости родственного элемента SVG?
- 1Схема <[объект объекта]> уже существует с другим определением
- 1Java 2d Game: рендеринг Q
- 0Исправление синтаксической ошибки переменной селектора jQuery
- 1Python argparse, как передать False из командной строки?
- 0Доступ к значению свойства с помощью объекта
- 0Ошибка на Openshift
- 1Как конвертировать stringVar () из tk в pyqt
- 1Как сохранить данные в локальном хранилище, прежде чем покинуть страницу на устройствах IOS?
- 0Можно ли использовать Angular js и jQuery в одном проекте?
- 0карусель css thumb останавливается на 0
- 0Разрешить только часть HTML-тегов в текстовой области ASP.Net
- 0MySQL - Почему в этом случае вторичный индекс не сокращает время этого запроса?
- 0Запустите JavaScript на Btn, но не контейнер
- 1Совместное использование нескольких фотографий с ShareMediaTask
- 0Как я могу вставить количество в эту корзину php
- 0Результаты массива не отображаются при обращении к массиву. Как получить доступ к определенным значениям полей в этом массиве?
- 0jquery / Regex, остановка событий
- 0Вложенный jQuery UI Аккордеон не работает
- 1Панды - создать столбец на основе имен столбцов, на которые есть ссылки в другом столбце
- 0Сравнить символ в строке (который изменяется оператором «=»)
- 1Обнаружить изменения URL в WebView Android
- 1Как установить цвет текста JProgressBar независимо для нескольких JProgressBar без изменения внешнего вида
- 0Codeigniter- Экспорт в CSV Проблемы
- 0Tumblr фотосет, блокирующий HTML
- 0Ошибки округления, дающие неправильные тесты в DFT?
- 1Конвертер байтов в логическое значение (флажок)
- 0C ++ SWIG генерирует код в зависимости от Tcl
- 1время выполнения программы на питоне
- 1Передача параметров get в expressjs
- 0Неправильное сравнение строк с использованием strtok ()
- 0Значение php_value auto_prepend_file кэшировано
- 0Ошибка использования Qt 5.1.1 в code :: blocks
- 0Получение ожидаемой ошибки неквалифицированного идентификатора с C ++ при попытке выполнить
- 0Передача аргумента для фильтра не в шаблоне HTML
- 0Чтение файла, в котором отчество не обязательно
- 0Hover FadeOut для определенного класса
- 0Дополнительное пространство под нижним колонтитулом
- 0MySQL не может отображать полные данные
mongoengine