使用MASA全家桶从零开始搭建IoT平台(一)环境准备

使用MASA全家桶从零开始搭建IoT平台(一)环境准备

前言

本系列文章以IoT开发小白的角度,从零开始使用.Net为主要技术搭建一个简单的IoT平台,由于是入门系列,所有代码以围绕IoT基础业务场景为主,不会涉及DDD等设计思想。

架构图

这里是我们整个IoT平台的架构图。

一、设备接入

1、针对可以联网的设备,直接通过MQTT协议连接到我们的MQTT服务上(可以使用国内的阿里云、Onenet也可以使用开源EMQX实现)。绿色线框部分
2、针对不能联网的设备,例如只能通过红外、短信、等其他非互联网技术通讯的,采用设备网关统一接管,这里主要涉及硬件相关内容我们不深入讨论。橙色线框部分

二、处理设备遥测数据

我们通过MQTT Hub 订阅设备发布到MQTT的消息,并通过Dapr的Pub/Sub 方式发送给我们的IoT Core集群,我们可以通过MQTT 5.0协议中的共享订阅方式实现我们高可用集群。蓝色线框部分

三、设备控制

直接在IoT Core中直接向MQTT发布控制指令。红色箭头所示

四、管理后台

管理后台我们采用Blazor搭建结合MASA Auth实现权限控制,红色线框部分,在IoT Core和IoT UI中间有一层Gateway,主要是方便我们在这一层Mock一些依赖的第三方业务接口,例如某个环节我需要从生产的MES系统获取某些信息才能继续下面的操作,我们可以在Gateway层去Mock这些接口和数据,方便我们测试。

五、数据存储

业务数据我们存储到关系型数据库中,设备的消息数据(遥测数据),我们存储到时序库中,方便统计查找,和生成报表。

六、规则引擎

针对不同类型的消息,我们可以在规则引擎中配置,使消息可以走不同的处理流程,例如接入的第三方系统设备,设备消息可能是加密的,我们就通过规则引擎将这种类型的消息发送到第三方系统解密之后再存储到数据库中,也可以在这里针对遥测数据进行分析和过滤,产生分级告警信息,发送到对应的处理系统或者干系人邮箱等。

环境准备

1、安装EMQX

1、运行以下命令获取 Docker 镜像:

1
docker pull emqx/emqx:5.0.20

2、运行以下命令启动 Docker 容器

1
docker run -d --name emqx -p 1883:1883 -p 8083:8083 -p 8084:8084 -p 8883:8883 -p 18083:18083 emqx/emqx:5.0.20

2、创建解决方案

创建解决方案MASA.IoT,分别添加
1、WebApi项目MASA.IoT.Core,对应架构图中IoT Core
2、WebApi项目MASA.IoT.Hub,对应架构图中IoT Hub
3、Blazor应用MASA.IoT.UI,对应架构图中的IoT.UI,也就是管理后台
4、类库MASA.IoT.Common,存放一些静态的公共方法

3、安装Dapr开发环境

Dapr的全称是 “Distributed Application Runtime”,即 “分布式应用运行时”。是一个开源项目,由微软发起
对Dapr不了解的同学可以学习,鬼老师的Dapr系列文章

使用Masa DaprStarter搭建开发环境

安装Dapr

Windows安装Dapr的方式有很多,可以参考官方文档

https://docs.dapr.io/getting-started/install-dapr-cli/

国内如果访问缓慢,建议直接下载msi文件安装

https://github.com/dapr/cli/releases

安装一路下一步即可。

安装Docker Desktop

直接参考官方文档,这里不过多赘述

https://docs.docker.com/desktop/install/windows-install/

初始化Dapr

命令行执行

1
dapr init

这里如果有类似网络错误,那就需要考虑魔法上网或者直接到dapr的github 上下载 dashboard_darwin_amd64.zip
daprd_windows_amd64.zip 两压缩包,
执行dapr init 有了bin目录后 看准时机 把下载好的两个压缩包复制进去
例如:C:\Users\Administrator\.dapr 下的bin目录中,该目录下的压缩包会自动解压
如果失败可以通过 dapr uninstall 命令卸载后重试。
安装成功后通过 dapr -v 可以看到如下版本信息

在Docker Desktop中会创建三个容器

代码开发

我们新建两个WebApi项目,模拟微服务之间通过dapr调用的场景。
新建webapi项目PubDemoSubDemo,并分别安装Dapr.ClientMasa.Contrib.Development.DaprStarter.AspNetCore后者方便我们在开发环境管理dapr的生命周期。
我们在SubDemo项目中额外安装Dapr.AspNetCore
PubDemoProgram.cs添加

1
2
3
4
if (builder.Environment.IsDevelopment())
{
builder.Services.AddDaprStarter(builder.Configuration.GetSection("DaprOptions"), false);
}

并在配置文件中添加DaprOptions配置

1
2
3
4
5
6
7
8
"DaprOptions": {
"AppId": "pub-demo-webapi",
"AppPort": 18009,
"AppIdSuffix": "",
"DaprGrpcPort": 20333,
"DaprHttpPort": 20334,
"LogLevel": "debug"
}

同样在SubDemo添加上述内容,注意端口号不要重复。

1
2
3
4
5
6
7
8
"DaprOptions": {
"AppId": "sub-demo-webapi",
"AppPort": 19009,
"AppIdSuffix": "",
"DaprGrpcPort": 20233,
"DaprHttpPort": 20234,
"LogLevel": "debug"
}

这里需要注意在SubDemo项目中AppPort需要与launchSettings.json中应用的启动端口保持一致,这里都是19009,这个AppPort不是dapr的端口 而是需要与dapr sidecar通信的应用程序的端口地址。

1
2
3
4
5
6
7
8
9
"SubDemo": {
"commandName": "Project",
"dotnetRunMessages": true,
"launchBrowser": true,
"launchUrl": "swagger",
"applicationUrl": "http://localhost:19009",
"environmentVariables": {
"ASPNETCORE_ENVIRONMENT": "Development"
}

SubDemo中还需要订阅相关的配置,完整代码如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
var builder = WebApplication.CreateBuilder(args);
//注册 Dapr
//将 AddDapr 扩展方法附加到 AddControllers 扩展方法会注册必要的服务以将 Dapr 集成到 MVC 管道中
builder.Services.AddControllers().AddDapr();
if (builder.Environment.IsDevelopment())
{
builder.Services.AddDaprStarter(builder.Configuration.GetSection("DaprOptions"), false);
}
builder.Services.AddEndpointsApiExplorer();
builder.Services.AddSwaggerGen();

var app = builder.Build();
if (app.Environment.IsDevelopment())
{
app.UseSwagger();
app.UseSwaggerUI();
}
app.UseHttpsRedirection();
app.UseAuthorization();
// 将 CloudEvents 中间件添加到 ASP.NET Core 中间件管道中
app.UseCloudEvents();
app.MapControllers();
// 终结点路由配置中对 MapSubscribeHandler 的调用会将 Dapr 订阅终结点添加到应用程序。
app.MapSubscribeHandler();
app.Run();

注意这里,app.MapSubscribeHandler();
此终结点将响应 /dapr/subscribe 上的请求。 调用此终结点时,它将自动查找使用 Topic 属性修饰的所有 WebAPI 操作方法,并指示 Dapr 为这些方法创建订阅。
我们在SubDemo新建一个WebApi接口来订阅Pub数据

1
2
3
4
5
6
7
8
9
10
11
12
13
14
namespace SubDemo.Controllers
{
[Route("api/[controller]")]
[ApiController]
public class SubTestController : ControllerBase
{
[Topic("pubsub", "testdata")]
[HttpPost("testdata")]
public void TestData([FromBody] string testStrData)
{
Console.WriteLine("Subscriber received : " + testStrData);
}
}
}

这里Topic第一个参数为pubsub 组件名称,第二个参数为订阅的主题名称。默认的pubsub组件配置在C:\Users\Administrator.dapr\components目录下。

1
2
3
4
5
6
7
8
9
10
11
12
apiVersion: dapr.io/v1alpha1
kind: Component
metadata:
name: pubsub
spec:
type: pubsub.redis
version: v1
metadata:
- name: redisHost
value: localhost:6379
- name: redisPassword
value: ""

SubDemo编写完毕,接下来再PubDemo中添加一个测试Api

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
using Dapr.Client;
using Microsoft.AspNetCore.Mvc;

namespace PubDemo.Controllers
{
[Route("api/[controller]")]
[ApiController]
public class PubTestController : ControllerBase
{
private readonly Dapr.Client.DaprClient daprClient;
public PubTestController()
{
daprClient = new DaprClientBuilder().Build();
}
[HttpPost]
public async Task PostTestDataAsync([FromBody] string testStrData)
{
await daprClient.PublishEventAsync("pubsub", "testdata", testStrData);
}
}
}

这里直接通过PublishEventAsync方法向testdata写入一条文本信息。

测试效果

我们同时启动SubDemo和PubDemo两个项目。
应用完全启动后,在命令行通过dapr list可以看到DaprStarter已经帮我们启动好了两个dapr实例。

在SubDemo的日志中,我们可以看到Dapr启动和订阅成功的日志

我们调用PubDemo中的测试Api,可以在SubDemo的日志看到消费成功的日志

也可以在redis中看到对应的记录

我们打开zipkin还可以看到链路信息。这里仅作演示,后面我们会接入强大的MASA Stack全家桶,使用其中的TSC服务分析链路信息会更方便和直观。

还可以查看依赖关系,非常方便。

全文结束。
以上就是今天要讲的内容,本文仅仅简单介绍了我们IoT后台的基本架构,下一章我们讲设备的生命周期

如果你对我们的 MASA Framework 感兴趣,无论是代码贡献、使用、提 Issue,欢迎联系我们

WeChat:MasaStackTechOps
QQ:7424099

作者

MASA

发布于

2023-04-21

更新于

2023-05-26

许可协议