ストップ
stop フィルターは、トークン化されたテキストから指定されたストップワードを除去し、一般的で意味の薄い単語を排除するのに役立ちます。ストップワードのリストは、stop_words パラメータを使用して設定できます。
設定
stop フィルターは、stop_words パラメータを介してインラインで指定するか、stop_words_file パラメータを介して登録済みのファイルリソースから、ストップワードリストを受け入れます。
インラインのストップワードリスト
stop フィルターをインラインリストで使用するには、フィルター設定で"type": "stop" を指定するとともに、ストップワードのリストを指定するstop_words パラメータを指定します。
analyzer_params = {
"tokenizer": "standard",
"filter":[{
"type": "stop", # Specifies the filter type as stop
"stop_words": ["of", "to", "_english_"], # Defines custom stop words and includes the English stop word list
}],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter",
Collections.singletonList(
new HashMap<String, Object>() {{
put("type", "stop");
put("stop_words", Arrays.asList("of", "to", "_english_"));
}}
)
);
const analyzer_params = {
"tokenizer": "standard",
"filter":[{
"type": "stop", # Specifies the filter type as stop
"stop_words": ["of", "to", "_english_"], # Defines custom stop words and includes the English stop word list
}],
};
analyzerParams = map[string]any{"tokenizer": "standard",
"filter": []any{map[string]any{
"type": "stop",
"stop_words": []string{"of", "to", "_english_"},
}}}
# restful
analyzerParams='{
"tokenizer": "standard",
"filter": [
{
"type": "stop",
"stop_words": [
"of",
"to",
"_english_"
]
}
]
}'
stop フィルターでは、以下の設定可能なパラメータを受け付けます。
パラメータ |
説明 |
|---|---|
|
トークン化から除外する単語のリスト。デフォルトでは、このフィルタは組み込みの
|
stop フィルターは、トークナイザーによって生成された用語に対して動作するため、トークナイザーと組み合わせて使用する必要があります。Milvus で利用可能なトークナイザーの一覧については、「標準トークナイザー」およびその関連ページを参照してください。
analyzer_params を定義した後、コレクションスキーマを定義する際に、それらをVARCHAR フィールドに適用できます。これにより、Milvusはそのフィールド内のテキストを指定されたアナライザーを使用して処理し、効率的なトークン化とフィルタリングを行うことができます。詳細については、「使用例」を参照してください。
ファイルリソースからストップワードを読み込むCompatible with Milvus 3.0.x
大規模なカスタムストップワードリスト（言語固有のリスト、ドメイン固有の語彙、または多くのコレクションで共有したいリストなど）については、単語をファイルに保存し、そのファイルをリモートファイルリソースとして登録してから、stop_words_file パラメータを介してフィルターから参照します。stop_words_file は単独で使用することも、インラインのstop_words と併用することもできます。両方が設定されている場合、フィルターは2つのソースを1つのストップワードリストに統合します。
ファイルは、1行につき1つのストップワードが記載されたプレーンなUTF-8テキストである必要があります。例：
the
of
for
ファイルを、Milvusクラスタで使用するように設定されているオブジェクトストアにアップロードし、登録します:
from pymilvus import MilvusClient
client = MilvusClient(uri="http://localhost:19530")
# Register the uploaded file under a name you'll reference from analyzer configs.
client.add_file_resource(
name="en_stop_words",
path="file/stop_words.txt", # full S3 object key, including the rootPath prefix
)
stop_words_file を使用して、フィルター内で登録済みのリソースを参照します:
analyzer_params = {
"tokenizer": "standard",
"filter": [{
"type": "stop",
"stop_words_file": {
"type": "remote",
"resource_name": "en_stop_words",
"file_name": "stop_words.txt",
},
}],
}
stop_words_file パラメータは、以下のフィールドを持つオブジェクトを受け付けます:
フィールド |
説明 |
|---|---|
|
リソースタイプ。 |
|
|
|
登録済みリソースのオブジェクトストアパスにおけるファイル名部分（たとえば、リソースが |
例
アナライザー設定をコレクションスキーマに適用する前に、run_analyzer メソッドを使用してその動作を確認してください。
アナライザーの設定
analyzer_params = {
"tokenizer": "standard",
"filter":[{
"type": "stop", # Specifies the filter type as stop
"stop_words": ["of", "to", "_english_"], # Defines custom stop words and includes the English stop word list
}],
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter",
Collections.singletonList(
new HashMap<String, Object>() {{
put("type", "stop");
put("stop_words", Arrays.asList("of", "to", "_english_"));
}}
)
);
// javascript
analyzerParams = map[string]any{"tokenizer": "standard",
"filter": []any{map[string]any{
"type": "stop",
"stop_words": []string{"of", "to", "_english_"},
}}}
# restful
以下の方法を使用した検証run_analyzer
from pymilvus import (
MilvusClient,
)
client = MilvusClient(uri="http://localhost:19530")
# Sample text to analyze
sample_text = "The stop filter allows control over common stop words for text processing."
# Run the standard analyzer with the defined configuration
result = client.run_analyzer(sample_text, analyzer_params)
print("Standard analyzer output:", result)
import io.milvus.v2.client.ConnectConfig;
import io.milvus.v2.client.MilvusClientV2;
import io.milvus.v2.service.vector.request.RunAnalyzerReq;
import io.milvus.v2.service.vector.response.RunAnalyzerResp;
ConnectConfig config = ConnectConfig.builder()
.uri("http://localhost:19530")
.build();
MilvusClientV2 client = new MilvusClientV2(config);
List<String> texts = new ArrayList<>();
texts.add("The stop filter allows control over common stop words for text processing.");
RunAnalyzerResp resp = client.runAnalyzer(RunAnalyzerReq.builder()
.texts(texts)
.analyzerParams(analyzerParams)
.build());
List<RunAnalyzerResp.AnalyzerResult> results = resp.getResults();
// javascript
import (
"context"
"encoding/json"
"fmt"
"github.com/milvus-io/milvus/client/v2/milvusclient"
)
client, err := milvusclient.New(ctx, &milvusclient.ClientConfig{
Address: "localhost:19530",
APIKey: "root:Milvus",
})
if err != nil {
fmt.Println(err.Error())
// handle error
}
bs, _ := json.Marshal(analyzerParams)
texts := []string{"The stop filter allows control over common stop words for text processing."}
option := milvusclient.NewRunAnalyzerOption(texts).
WithAnalyzerParams(string(bs))
result, err := client.RunAnalyzer(ctx, option)
if err != nil {
fmt.Println(err.Error())
// handle error
}
# restful
期待される出力
['The', 'stop', 'filter', 'allows', 'control', 'over', 'common', 'stop', 'words', 'text', 'processing']
