1 Вопрос: Elasticsearch запрос префикса minhash с подстановочными знаками?

вопрос создан в Thu, Mar 28, 2019 12:00 AM

У меня есть поле minhash, сгенерированное для некоторого текста (на основе алгоритма minhash), теперь мой вопрос: возможно ли каким-то образом дополнить или добавить запрос префикса с подстановочными знаками? Поскольку проблема заключается в том, что значения хэшированной строки основаны на содержании (тексте) позиции shingles /tokens. Поэтому первые несколько символов (префикс) могут не всегда точно совпадать с похожим контентом. Можно ли добавить подстановочный знак, например, * 3AF8659GJ перед префиксом для запроса?

РЕДАКТИРОВАТЬ: Я думаю, что я не думал о проблеме. Различия в хеше могут быть где угодно в строке хеша (на основе различий в тексте в позиции содержимого разницы текста). Поэтому я думаю, что «лучшим» единственным способом будет редактирование расстояния и некоторый порог.

Например, поместите все хэши в массив и отсортируйте их в лексическом порядке (или как бы вы отсортировали шестнадцатеричные строки?), а затем сравните только следующие k документов до достижения порога расстояния редактирования и поместите дубликаты в отдельный массив ..

    
0
  1. Итак, ваша идея - сравнить только суффикс? Если да, готовы ли вы переиндексировать свои данные?
    2019-03-28 11: 50: 45Z
  2. см. мой комментарий ниже. Сначала я хотел сравнить префикс, но может случиться так, что различия в тексте могут появиться не только в начале, но также в конце или где-либо еще, так что редактировать расстояние - это лучший подход. Но нечеткий поиск смешен только с двумя расстояниями редактирования. Я должен был бы реализовать пользовательский поиск в Node.js на основе расстояния редактирования.
    2019-03-28 13: 03: 06Z
1 ответ                              1                         

Поиск по суффиксам крайне нежелателен из соображений производительности, как объясняется в официальный документ :

  

Для предотвращения чрезвычайно медленных запросов с подстановочными символами термин с подстановочными символами не должен начинаться с одного из символов подстановки * или?

Еще есть способ достичь того, чего вы хотите, с помощью искусно созданного анализатора. Идея состоит в том, чтобы индексировать только конец minhash. Вы можете достичь этого, как описано ниже.

Сначала создайте индекс с помощью следующего анализатора:

PUT minhash-index
{
  "settings": {
    "index": {
      "analysis": {
        "analyzer": {
          "suffix": {
            "type": "custom",
            "tokenizer": "keyword",
            "filter": [
              "lowercase",
              "reverse",
              "substring",
              "reverse"
            ]
          }
        },
        "filter": {
          "substring": {
            "type": "edgeNGram",
            "min_gram": 1,
            "max_gram": 10
          }
        }
      }
    }
  },
  "mappings": {
    "doc": {
      "properties": {
        "minhash": {
          "type": "text",
          "analyzer": "suffix",
          "search_analyzer": "standard"
        }
      }
    }
  }
}

Идея анализатора suffix заключается в том, что он будет индексировать все суффиксы длины от 1 до 10 (вы можете решить индексировать более длинные суффиксы) для каждого minhash, который вы добавили в свой индекс.

Так, например, для minhash C50FD711C2C43287351892A4D82F44B055F048C46D2C54197AC1D1E921F11E6699C4057C4B93907518E6DCA51A672D3D3E419160DAE276CB7716D11B94D8C3BB2E4A591329B7AF973D17A7F9336342FFAAFD4D он будет индексировать все следующие суффиксы:

  • d
  • 4d
  • d4d
  • fd4d
  • afd4d
  • aafd4d
  • faffd4d
  • ffaafd4d
  • 2ffaafd4d
  • 42ffaafd4d

Затем вы можете легко найти и найти указанный выше minhash с помощью следующего запроса:

POST minhash-index/_search
{
  "query": {
    "match": {
      "minhash": "42FFAAFD4D"
    }
  }
}
    
1
2019-03-28 12: 19: 32Z
  1. большое спасибо, это хороший подход, однако проблема в том, что его нельзя определить заранее, где есть различия /сходства, основанные на содержании двух документов. Позиции хеш-ключей minhash для одиночных шестнадцатеричных хешей просто объединяются вместе, и они рассчитываются на основе фрагментов текста. Таким образом, это зависит от различий в положении текстового содержимого и от того, где находятся ключевые отличия хеш-кода. Это может быть в начале или в конце или где-то посередине. Другой подход - это расстояние редактирования документа по сравнению с другими документами.
    2019-03-28 12: 59: 07Z
  2. Поэтому я подумал о другом подходе, когда я сначала извлекаю все документы и помещаю их в массив. Затем я сортирую документы в порядке сортировки minhashи сравнивать только следующие k документов на основе некоторого расстояния редактирования, чтобы обнаружить дубликаты ...
    2019-03-28 13: 00: 10Z
источник размещен Вот