.net core操作ES进行读写数据操作
在Package包项目下,新增NEST包。注意,包版本需要和使用的ES的版本保持一致,可以避免因为不兼容所导致的一些问题。例如我本机使用的ES版本是7.13版本,所以我安装的NEST包也是7.13版本:
在Common文件夹下,新建类库项目 Wsk.Core.ElasticSearch,并新建类ElasticSearchConnection,用于提供一些操作方法。以及新建一个对应的接口IElasticSearchConnection。然后引用包项目,以及AppHelper项目备用:
在Entity项目下,新建一个ES配置实体类,叫ElasticConnectionInfo,以及在appsettings配置文件下,新增一组ES的连接配置信息,包括索引和url地址:
代码:
public class ElasticConnectionInfo { public string Url { get; set; } public string Index { get; set; } } "ES": [ { "Index": "wesky", "Url": "http://localhost:9200" } ]
然后,在ElasticSearchConnection类下面,添加一些构造依赖注入,以及添加一个连接方法ESConnection:
接着新建一个实体类 ElasticTestDataInfo,用于做一个模拟数据测试:
代码:
public class ElasticTestDataInfo { public int Code { get; set; } public string Function { get; set; } public string Message { get; set; } }
现在,在启动项目下面,新建文件夹WskHostedService,用于存放启动项有关内容。以及新建一个类,叫InitialService,并且继承自 IHostedService, IDisposable:
该方法是用于项目启动时候执行的,我们把连接ES的部分,写到这里面来。似乎接口用不到,把ElasticSearchConnection继承的IElasticSearchConnection屏蔽掉,然后把ESConnection方法设置为静态的,然后在上面创建的类中的StartAsync下面,进行ES的初始化连接:
然后在WskService类里面,通过使用AddHostedService添加对该初始化服务的注册:
现在配置完毕,在控制器里面,分别添加单个写入和批量写入的api,大概内容如下:
我配置文件里面的索引是wesky,为了确保实验效果,我先使用kibana的页面进行查询是否wesky索引是否有内容:
没有wesky索引,可以开始启动程序(备注:正常使用期间不需要删除索引,会导致写入的数据丢失,我此处只是为了方便效果验证使用)。
先启动程序,为了查看连接是否成功,我把连接成功信息打印出来:
至此,连接ES部分的类代码如下:
public class ElasticSearchConnection { public static ElasticClient _esClient; //private readonly ILogger<ElasticSearchConnection> _logger; //public ElasticSearchConnection(ILogger<ElasticSearchConnection> logger) //{ // _logger = logger; //} public static void ESConnection() { List<ElasticConnectionInfo> configInfo = AppHelper.ReadAppSettings<ElasticConnectionInfo>(new string[] { "ES" }); if (configInfo.Any()) { var settings = new ConnectionSettings(new Uri(configInfo.FirstOrDefault().Url)) .DefaultIndex(configInfo.FirstOrDefault().Index); _esClient = new ElasticClient(settings); Console.WriteLine("ES已连接"); } else { Console.WriteLine("ES连接未配置\n"); } } }
现在通过swagger写入一个数据看看效果:
Swagger上面调用成功,我们上kibana页面上进行查询看看是否真的写入成功了:
如图所示,说明写入成功了。接下来测试批量写入的,我们发送两条记录进行测试:
使用kibana页面进行查询,看看是不是都写入成功了:
如上,说明写入成功!需要注意的一点是,写入ES里面,ES默认有1秒时间是查不出来的,需要1秒以后才可以查到记录,对于实时性不是特别高,所以不适合用于做数据库,但是用于对实时性要求不高的数据来说,问题就不大了。
现在不使用kibana进行查询,使用es自带的工具进行查询看看效果:
在es根目录下,bin文件夹下有一个elasticsearch-sql-cli.bat文件,双击即可打开:
该工具可以进行使用SQL语句进行查询,咱来示范下通过它来查询刚刚写入的三个数据。由于索引就是一个表,所以我直接使用 select * from wesky; 进行查询,效果如下:
与常见数据库操作几乎一样,我们来个倒序:
接下来在程序上进行查询,先创建一个查询的api进行调用,然后查询出结果进行打印,内容如下:
运行程序,我输入name,进行匹配,返回查询结果:
出于时间关系,就不再演示显示条数的内容了,各位大佬可以自行测试。
由于ES本身也支持sql查询,所以接下来演示下使用SQL语句进行查询的效果。先新建一个实体类EsSearchSql,里面只有一个query字段,用于存放查询的sql语句使用
然后新增一个api,用于可以在swagger上面输入sql语句进行查询,有关内容如下:
至此,控制器类代码整体如下:
[Route("[controller]/[action]")] [ApiController] public class WSKController : ControllerBase { private readonly ITestAutofac _autofac; private readonly ILogger<WSKController> _logger; private readonly IRedisManage _redis; private readonly IHttpClientHelper _httpClient; private readonly IHttpWebRequestHelper _httpWebRequestHelper; public WSKController(ITestAutofac autofac, ILogger<WSKController> logger, IRedisManage redis, IHttpClientHelper httpClient, IHttpWebRequestHelper httpWebRequestHelper) { _autofac = autofac; _logger = logger; _redis = redis; _httpClient = httpClient; _httpWebRequestHelper = httpWebRequestHelper; } [HttpPost] public IActionResult IndexSingle([FromBody] ElasticTestDataInfo info) { ElasticSearchConnection._esClient.IndexDocument(info); return Ok("OK"); } [HttpPost] public IActionResult IndexMany([FromBody] List<ElasticTestDataInfo> info) { ElasticSearchConnection._esClient.IndexMany<ElasticTestDataInfo>(info); return Ok("OK"); } [HttpPost] public IActionResult SearchByLinq(string name) { var searchResponse = ElasticSearchConnection._esClient.Search<ElasticTestDataInfo>(s => s .From(0) .Size(2) .Query(q => q .Match(m => m .Field(f => f.Message) .Query(name) ) ) ); var info = searchResponse.Documents; return Ok(info); } [HttpPost] public IActionResult SearchBySql(string sql) { string res = string.Empty; try { string url = "http://127.0.0.1:9200/_xpack/sql?format=csv"; // format=csv,可以过滤掉其他不需要的内容,仅返回报表格式 EsSearchSql esData = new() { query = sql}; // 赋值对应查询的sql语句 string jsonData = JsonConvert.SerializeObject(esData); res = _httpClient.Post(url, jsonData); // 使用post进行发送查询请求 } catch(Exception ex) { res = ex.Message; } return Ok(res); } }
启动程序,我输入 select * from wesky 当作参数进行查询,看下效果:
如上,说明使用SQL查询也成功了。使用两种方法都可以查询,看个人喜好了~~ 同时,如果需要做一些可视化报表什么的,也都是可以使用的。一些更详细的内容,就不再做过多操作了,大佬们可以自己玩,祝大家好运~~