Elasticsearch：使用最新的 Nodejs client 8.x 来创建索引并搜索
站长
· 阅读数 37
针对最新的 Elastic Stack 8.0，Nodejs 的客户端也进行了升级。在今天的文章中，我来介绍如何在 Nodejs 中来连接 Elasticsearch 并创建索引及搜索。最新的 Nodejs client 代码可以在 github 地址 GitHub - elastic/elasticsearch-js: Official Elasticsearch client library for Node.js 找到。
Elasticsearch：使用最新的 Nodejs client 8.x 来创建索引并搜索
Elasticsearch：使用最新的 Nodejs client 8.x 来创建索引并搜索_哔哩哔哩_bilibili
安装
我们可以通过如下的命令来进行安装：
npm install <alias>@npm:@elastic/elasticsearch@<version>
如果我们不指定版本，我们可以通过如下的命令来进行安装。它可以帮我们安装最新的版本：
1. npm install npm:@elastic/elasticsearch
2. npm install config
npm install @elastic/elasticsearch
或者：
npm install es8@npm:@elastic/elasticsearch@8.1.0
在上面的命令中，es8 是我们的别名，而 8.1.0 是我们想要安装的版本。如果我们想要安装以前的版本，我们可以使用如下的命令：
1. npm install es6@npm:@elastic/elasticsearch@6
2. npm install es7@npm:@elastic/elasticsearch@7
如果你想安装最新的在 Elasticsearch main 分支上的客户端版本，你可以使用如下的命令：
npm install esmain@github:elastic/elasticsearch-js
我们一定要注意的是在 main 分支上的版本可能不是稳定的版本。请注意使用！
我们可以通过如下的命令来检查最新的版本：
1. $ npm list | grep elasticsearch
2. └── @elastic/elasticsearch@8.1.0
从上面的展示中，我们可以看到最新的版本是 8.1.0。
快速入门
我们创建一个目录，并在目录中使用如下的命令：
npm init -f
1. $ pwd
2. /Users/liuxg/nodejs/elasticsearch-js8
3. $ npm init -f
4. $ npm init -f
5. npm WARN using --force Recommended protections disabled.
6. Wrote to /Users/liuxg/nodejs/elasticsearch-js8/package.json:
8. {
9. "name": "test",
10. "version": "1.0.0",
11. "description": "",
12. "main": "index.js",
13. "scripts": {
14. "test": "echo \"Error: no test specified\" && exit 1"
15. },
16. "keywords": [],
17. "author": "",
18. "license": "ISC"
19. }
22. $ ls
23. package.json
我们可以在 package.json 修改 scripts 部分：
package.json
1. {
2. "name": "elasticsearch-js8",
3. "version": "1.0.0",
4. "description": "",
5. "main": "index.js",
6. "scripts": {
7. "start": "node index.js"
8. },
9. "keywords": [],
10. "author": "",
11. "license": "ISC",
12. "dependencies": {
13. "@elastic/elasticsearch": "^8.1.0",
14. "es8": "npm:@elastic/elasticsearch@^8.1.0"
15. }
16. }
如上所示，在 main 中定义的是 index.js。我们来创建一个叫做 index.js 的文件。
Elasticsearch 集群不带有任何安全
我们可以参考文章 “如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch” 来安装 Elasticsearch。在我们的练习中，我将安装 Elasticsearch 8.1.2 版本。因为我们不想带有任何的安全，请参阅我的文章 “Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单” 中的 “如何配置 Elasticsearch 不带安全性” 章节。
连接到 Elasticsearch
我们还是尝试按照之前文章 “Elasticsearch：Elasticsearch 开发入门 - Nodejs” 介绍的那样来试试：
index.js
1. const es = require('@elastic/elasticsearch');
2. const client = es.Client({ host: 'http://localhost:9200' });
4. client.ping()
5. .then(res => console.log('connection success', res))
6. .catch(err => console.error('wrong connection', err));
我们使用如下的命令来进行运行：
npm start
我们可以看到如下的错误信息：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. /Users/liuxg/nodejs/elasticsearch-js8/index.js:2
7. const client = es.Client({ host: 'http://localhost:9200' });
8. ^
10. TypeError: Class constructor Client cannot be invoked without 'new'
11. at Object.<anonymous> (/Users/liuxg/nodejs/elasticsearch-js8/index.js:2:19)
12. at Module._compile (node:internal/modules/cjs/loader:1097:14)
13. at Object.Module._extensions..js (node:internal/modules/cjs/loader:1149:10)
14. at Module.load (node:internal/modules/cjs/loader:975:32)
15. at Function.Module._load (node:internal/modules/cjs/loader:822:12)
16. at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:77:12)
17. at node:internal/main/run_main_module:17:47
19. Node.js v17.4.0
这说明了，我们的 Nodejs client API 已经发生改变了。我们需要重新修正我们的代码：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {node: 'http://localhost:9200' });
4. client.ping()
5. .then(res => console.log('connection success', res))
6. .catch(err => console.error('wrong connection', err));
我们运行上面的代码：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
它显示我们的连接是成功的。请注意在上面，我们使用了别名 es8。这个是我们在安装 elasticsearch 包时定以的。
创建索引及搜索
关于 API 的描述可以在地址：elasticsearch-js/src/api/api at main · elastic/elasticsearch-js · GitHub 看到。一旦我们能成功地连接到 Elasticsearch，我们可以使用如下的命令来创建一个索引：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {node: 'http://localhost:9200' });
4. client.ping()
5. .then(res => console.log('connection success', res))
6. .catch(err => console.error('wrong connection', err));
8. const INDEX_NAME = "megacorp";
10. async function run () {
11. // Let's start by indexing some data
12. await client.index({
13. index: INDEX_NAME,
14. id: 1,
15. document: {
16. "first_name":"nitin",
17. "last_name":"panwar",
18. "age": 27,
19. "about": "Love to play cricket",
20. "interests": ["sports","music"]
21. }
22. })
24. await client.index({
25. index: INDEX_NAME,
26. document: {
27. "first_name" : "Jane",
28. "last_name" : "Smith",
29. "age" : 32,
30. "about" : "I like to collect rock albums",
31. "interests": [ "music" ]
32. }
33. })
35. // here we are forcing an index refresh, otherwise we will not
36. // get any result in the consequent search
37. await client.indices.refresh({ index: INDEX_NAME })
39. // Let's search!
40. const result= await client.search({
41. index: INDEX_NAME,
42. query: {
43. match: { first_name : 'nitin' }
44. }
45. })
47. console.log(result.hits.hits)
48. }
50. run().catch(console.log)
在上面的代码中，我们使用 index 的方法来写入数据。它们相当于如下的命令：
1. PUT megacorp/_doc/1
2. {
3. "first_name": "nitin",
4. "last_name": "panwar",
5. "age": 27,
6. "about": "Love to play cricket",
7. "interests": ["sports","music"]
8. }
10. POST megacorp/_doc
11. {
12. "first_name": "Jane",
13. "last_name": "Smith",
14. "age": 32,
15. "about": "I like to collect rock albums",
16. "interests": [
17. "music"
18. ]
19. }
在第一个命令中，我们指定文档的 id，而在第二个命令中，我们让 Elasticsearch 生成一个 id。运行完上面的代码后，我们可以看到如下的输出：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
7. [
8. {
9. _index: 'megacorp',
10. _id: '1',
11. _score: 0.6931471,
12. _source: {
13. first_name: 'nitin',
14. last_name: 'panwar',
15. age: 27,
16. about: 'Love to play cricket',
17. interests: [Array]
18. }
19. }
20. ]
在上面，我们看到一个搜索结果的输出。在代码中的搜索：
1. // Let's search!
2. const result= await client.search({
3. index: INDEX_NAME,
4. query: {
5. match: { first_name : 'nitin' }
6. }
7. })
相当于如下的搜索命令：
1. GET megacorp/_search?filter_path=**.hits
2. {
3. "query": {
4. "match": {
5. "first_name": "nitin"
6. }
7. }
8. }
我们可以在 Kibana 中查看写入的文档：
上面显示写入的两个文档。其中的一个文档的 id 已经被指定为 1。
我们也可以写一些比较复杂一点的搜索，比如：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {node: 'http://localhost:9200' });
4. client.ping()
5. .then(res => console.log('connection success', res))
6. .catch(err => console.error('wrong connection', err));
8. const INDEX_NAME = "megacorp";
10. async function run () {
12. // Let's search!
13. const result= await client.search({
14. index: INDEX_NAME,
15. query: {
16. "bool": {
17. "must": [
18. {
19. "match": {
20. "first_name": "nitin"
21. }
22. }
23. ],
24. "should": [
25. {
26. "range": {
27. "age": {
28. "gte": 40
29. }
30. }
31. }
32. ]
33. }
34. }
35. })
37. console.log(result.hits.hits)
38. }
40. run().catch(console.log)
上面的搜索相当于如下的命令：
1. GET megacorp/_search?filter_path=**.hits
2. {
3. "query": {
4. "bool": {
5. "must": [
6. {
7. "match": {
8. "first_name": "nitin"
9. }
10. }
11. ],
12. "should": [
13. {
14. "range": {
15. "age": {
16. "gte": 40
17. }
18. }
19. }
20. ]
21. }
22. }
23. }
我们也可以获得一个文档：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {node: 'http://localhost:9200' });
4. client.ping()
5. .then(res => console.log('connection success', res))
6. .catch(err => console.error('wrong connection', err));
8. const INDEX_NAME = "megacorp";
10. async function run () {
12. const result = await client.get({
13. index: INDEX_NAME,
14. id: 1
15. })
17. console.log(result)
18. }
20. run().catch(console.log)
运行上面的代码，我们可以看到：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. {
7. _index: 'megacorp',
8. _id: '1',
9. _version: 1,
10. _seq_no: 0,
11. _primary_term: 1,
12. found: true,
13. _source: {
14. first_name: 'nitin',
15. last_name: 'panwar',
16. age: 27,
17. about: 'Love to play cricket',
18. interests: [ 'sports', 'music' ]
19. }
20. }
21. connection success true
显然，它输出了我们想要的搜索的结果。
我们也可以删除一个文档。在下面的代码中，我们删除 id 为 1 的文档：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {node: 'http://localhost:9200' });
4. client.ping()
5. .then(res => console.log('connection success', res))
6. .catch(err => console.error('wrong connection', err));
8. const INDEX_NAME = "megacorp";
10. async function run () {
12. const result = await client.delete({
13. index: INDEX_NAME,
14. id: 1
15. })
17. console.log(result)
18. }
20. run().catch(console.log)
运行上面的代码：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
7. {
8. _index: 'megacorp',
9. _id: '1',
10. _version: 2,
11. result: 'deleted',
12. _shards: { total: 2, successful: 1, failed: 0 },
13. _seq_no: 2,
14. _primary_term: 1
15. }
上面显示，我们已经成功地删除了这个文档。我们可以到 Kibana 中搜索这个 id 为 1 的文档。我们会发现该文档不存在：
GET megacorp/_doc/1
1. {
2. "_index" : "megacorp",
3. "_id" : "1",
4. "found" : false
5. }
更多 API 的使用请参阅文章 elasticsearch-js/src/api/api at main · elastic/elasticsearch-js · GitHub
带有基本安全的 Elasticsearch 集群（不含 HTTPS）
在有些情况下，我们的集群带有基本安全，但是不含有 HTTPS。那么在这种情况下，我们该如何进行连接呢？我们可以参考文章 “Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单” 中的 “如何配置 Elasticsearch 只带有基本安全” 来进行配置。为了说明问题方便，我把 elastic 超级用户的密码设置为 password。
由于添加了用户安全，我们必须修改我们的代码：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {
3. node: 'http://localhost:9200',
4. auth: {
5. username: "elastic",
6. password: "password"
7. }
8. });
10. client.ping()
11. .then(res => console.log('connection success', res))
12. .catch(err => console.error('wrong connection', err));
14. const INDEX_NAME = "megacorp";
16. async function run () {
18. // Let's start by indexing some data
19. const result = cawait client.index({
20. index: INDEX_NAME,
21. id: 1,
22. document: {
23. "first_name":"nitin",
24. "last_name":"panwar",
25. "age": 27,
26. "about": "Love to play cricket",
27. "interests": ["sports","music"]
28. }
29. })
31. console.log(result)
32. }
34. run().catch(console.log)
在上面，在连接 Elasticsearch 时，我们使用 auth 来定义自己的账号信息：
1. const client = new Client ( {
2. node: 'http://localhost:9200',
3. auth: {
4. username: "elastic",
5. password: "password"
6. }
7. });
运行上面的代码，我们可以看到如下的结果：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
7. {
8. _index: 'megacorp',
9. _id: '1',
10. _version: 1,
11. result: 'created',
12. _shards: { total: 2, successful: 1, failed: 0 },
13. _seq_no: 0,
14. _primary_term: 1
15. }
从上面的输出结果中，我们可以看出来，我们的连接是成功的。
在实际的使用中，我们甚至可以简化为：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {
3. node: 'http://elastic:password@localhost:9200'
4. });
6. client.ping()
7. .then(res => console.log('connection success', res))
8. .catch(err => console.error('wrong connection', err));
10. const INDEX_NAME = "megacorp";
12. async function run () {
14. // Let's start by indexing some data
15. const result = await client.index({
16. index: INDEX_NAME,
17. id: 1,
18. document: {
19. "first_name":"nitin",
20. "last_name":"panwar",
21. "age": 27,
22. "about": "Love to play cricket",
23. "interests": ["sports","music"]
24. }
25. })
27. console.log(result)
28. }
30. run().catch(console.log)
在上面，我们把用户信息放到 node 的 url 中。运行上面的代码，我们可以得到同样的结果。
在实际的使用中，我们甚至可以使用 API key 来进行连接。关于如何创建 API key，我们可以参考我之前的文章 “Elasticsearch：创建 API key 接口访问 Elasticsearch”。我们可以创建一个 API key，然后使用如下的方式来访问：
我们把上面生成的 Base64 API key 拷贝到如下的代码中：
index.js
1. const { Client } = require('es8');
2. const client = new Client ( {
3. node: 'http://localhost:9200',
4. auth: { apiKey: "Zm5SdVM0QUJrdHVZQUpLLWRudDU6Z0pxSW1sdFZSdDJKTmlndXg0eFh1dw==" }
5. });
7. client.ping()
8. .then(res => console.log('connection success', res))
9. .catch(err => console.error('wrong connection', err));
11. const INDEX_NAME = "megacorp";
13. async function run () {
15. // Let's start by indexing some data
16. const result = await client.index({
17. index: INDEX_NAME,
18. id: 1,
19. document: {
20. "first_name":"nitin",
21. "last_name":"panwar",
22. "age": 27,
23. "about": "Love to play cricket",
24. "interests": ["sports","music"]
25. }
26. })
28. console.log(result)
29. }
31. run().catch(console.log)
运行上面的代码，我们可以看到：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
7. {
8. _index: 'megacorp',
9. _id: '1',
10. _version: 3,
11. result: 'updated',
12. _shards: { total: 2, successful: 1, failed: 0 },
13. _seq_no: 2,
14. _primary_term: 1
15. }
它说明我们的连接是成功的。
带有 HTTPS 的 Elasticsearch 集群
在有的时候，我们的集群带有 HTTPS，而且证书是自签名的。这种情况适用于自托管类型的 Elasticsearch 集群。我们可以参考文章 “Elastic Stack 8.0 安装 - 保护你的 Elastic Stack 现在比以往任何时候都简单” 来安装自己的集群。
在 Elasticsearch 启动的过程中，我们需要注意如下的输出：
我们需要记下超级用户 elastic 的密码。我们修改代码如下：
index.js
1. const { Client } = require('es8');
2. const fs = require('fs')
3. const client = new Client ( {
4. node: 'https://localhost:9200',
5. auth: {
6. username: "elastic",
7. password: "prJ6hMjqVdQwCD8LEH-*"
8. },
9. tls: {
10. ca: fs.readFileSync('/Users/liuxg/test/elasticsearch-8.1.2/config/certs/http_ca.crt'),
11. rejectUnauthorized: true
12. }
13. });
15. client.ping()
16. .then(res => console.log('connection success', res))
17. .catch(err => console.error('wrong connection', err));
19. const INDEX_NAME = "megacorp";
21. async function run () {
23. // Let's start by indexing some data
24. const result = await client.index({
25. index: INDEX_NAME,
26. id: 1,
27. document: {
28. "first_name":"nitin",
29. "last_name":"panwar",
30. "age": 27,
31. "about": "Love to play cricket",
32. "interests": ["sports","music"]
33. }
34. })
36. console.log(result)
37. }
39. run().catch(console.log)
请根据自己的配置修改在代码中如下的部分：
1. const client = new Client ( {
2. node: 'https://localhost:9200',
3. auth: {
4. username: "elastic",
5. password: "prJ6hMjqVdQwCD8LEH-*"
6. },
7. tls: {
8. ca: fs.readFileSync('/Users/liuxg/test/elasticsearch-8.1.2/config/certs/http_ca.crt'),
9. rejectUnauthorized: true
10. }
11. });
运行我们的代码：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
7. {
8. _index: 'megacorp',
9. _id: '1',
10. _version: 2,
11. result: 'updated',
12. _shards: { total: 2, successful: 1, failed: 0 },
13. _seq_no: 1,
14. _primary_term: 1
15. }
显然我们的连接是成功的。
我们也可以尝试使用 fingerprint 来进行连接。我们使用如下的命令来获得 fingerprint：
openssl x509 -fingerprint -sha256 -in config/certs/http_ca.crt
我们把代码修改如下：
index.js
1. const { Client } = require('es8');
2. const fs = require('fs')
3. const client = new Client ( {
4. node: 'https://localhost:9200',
5. auth: {
6. username: "elastic",
7. password: "prJ6hMjqVdQwCD8LEH-*"
8. },
9. caFingerprint: "E5:E9:FE:62:DC:A6:6F:40:67:3A:55:CF:0E:32:25:AC:1A:3C:04:FD:08:91:27:5D:09:23:B6:B5:84:A8:AE:6A",
10. tls: {
11. rejectUnauthorized: false
12. }
13. });
15. client.ping()
16. .then(res => console.log('connection success', res))
17. .catch(err => console.error('wrong connection', err));
19. const INDEX_NAME = "megacorp";
21. async function run () {
23. // Let's start by indexing some data
24. const result = await client.index({
25. index: INDEX_NAME,
26. id: 1,
27. document: {
28. "first_name":"nitin",
29. "last_name":"panwar",
30. "age": 27,
31. "about": "Love to play cricket",
32. "interests": ["sports","music"]
33. }
34. })
36. console.log(result)
37. }
39. run().catch(console.log)
如果你的证书是签过名的，你可以修改上面的 rejectUnauthorized 为 true。
当然，我们也可以使用 API key 来进行访问：
index.js
1. const { Client } = require('es8');
2. const fs = require('fs')
3. const client = new Client ( {
4. node: 'https://localhost:9200',
5. auth: {
6. apiKey: "YUtxS1M0QUJBdU1aNGY4azAwNks6TnRSYllIX2VUNWVXMUllVk9lYUZDZw=="
7. },
8. tls: {
9. ca: fs.readFileSync('/Users/liuxg/test/elasticsearch-8.1.2/config/certs/http_ca.crt'),
10. rejectUnauthorized: true
11. }
12. });
14. client.ping()
15. .then(res => console.log('connection success', res))
16. .catch(err => console.error('wrong connection', err));
18. const INDEX_NAME = "megacorp";
20. async function run () {
22. // Let's start by indexing some data
23. const result = await client.index({
24. index: INDEX_NAME,
25. id: 1,
26. document: {
27. "first_name":"nitin",
28. "last_name":"panwar",
29. "age": 27,
30. "about": "Love to play cricket",
31. "interests": ["sports","music"]
32. }
33. })
35. console.log(result)
36. }
38. run().catch(console.log)
在上面我们使用 API key 的方法而不使用用户名及密码的方式来进行访问。针对 API key，我们还有另外一种访问方式：
1. POST /_security/api_key
2. {
3. "name": "liuxg-api-key",
4. "expiration": "7d"
5. }
1. {
2. "id" : "bqqsS4ABAuMZ4f8k7E6I",
3. "name" : "liuxg-api-key",
4. "expiration" : 1651141865609,
5. "api_key" : "2KVQCwyNTS295mOqPrthrA",
6. "encoded" : "YnFxc1M0QUJBdU1aNGY4azdFNkk6MktWUUN3eU5UUzI5NW1PcVBydGhyQQ=="
7. }
index.js
1. const { Client } = require('es8');
2. const fs = require('fs')
3. const client = new Client ( {
4. node: 'https://localhost:9200',
5. auth: {
6. apiKey: {
7. id: "bqqsS4ABAuMZ4f8k7E6I",
8. api_key: "2KVQCwyNTS295mOqPrthrA"
9. }
10. },
11. tls: {
12. ca: fs.readFileSync('/Users/liuxg/test/elasticsearch-8.1.2/config/certs/http_ca.crt'),
13. rejectUnauthorized: true
14. }
15. });
17. client.ping()
18. .then(res => console.log('connection success', res))
19. .catch(err => console.error('wrong connection', err));
21. const INDEX_NAME = "megacorp";
23. async function run () {
25. // Let's start by indexing some data
26. const result = await client.index({
27. index: INDEX_NAME,
28. id: 1,
29. document: {
30. "first_name":"nitin",
31. "last_name":"panwar",
32. "age": 27,
33. "about": "Love to play cricket",
34. "interests": ["sports","music"]
35. }
36. })
38. console.log(result)
39. }
41. run().catch(console.log)
运行上面的代码：
1. $ npm start
3. > elasticsearch-js8@1.0.0 start
4. > node index.js
6. connection success true
7. {
8. _index: 'megacorp',
9. _id: '1',
10. _version: 5,
11. result: 'updated',
12. _shards: { total: 2, successful: 1, failed: 0 },
13. _seq_no: 4,
14. _primary_term: 1
15. }
从上面的输出中，我们可以看出来连接是成功的。
参考：
【1】Ingest data with Node.js on Elasticsearch Service | Elasticsearch Service Documentation | Elastic
【2】Introduction | Elasticsearch JavaScript Client [8.1] | Elastic
转载自:https://juejin.cn/post/7089666323646513160