代码收藏家 基于Stm32的家庭智能监控系统分享：单片机图像识别、人体检测与AI技术
<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">
0 前言
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。
为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是
🚩 基于Stm32的家庭智能监控系统
🥇学长这里给一个题目综合评分(每项满分5分)
1 简介
结合低功耗AI芯片以及移动网络，将人员/物体检测模型部署到设备端，达到较低功耗、实时响应、节省流量的效果。
2 主要器件
3 实现效果
4 设计原理
主模块原理图
设备端运行 FreeRTOS + LWIP
LWIP协议栈支持的主要功能如下所示，本文将具体介绍各个协议的具体功能。
部分移植过程
修改修改cc.h文件
修改sys_arch.c文件
通过PPPOS驱动4G模块
LTE Standard EC20 R2.1是移远通信推出的 LTE Cat 4 无线通信模块，采用 LTE 3GPP Rel.11 技术，支持最大下行速率 150Mbps 和最大上行速率 50Mbps，使用LCC封装。
系统启动后会加载 yolov2-tiny 模型
yolov2网络结构图
YOLOv2相对v1版本，在继续保持处理速度的基础上，从预测更准确（Better），速度更快（Faster），识别对象更多（Stronger）这三个方面进行了改进。其中识别更多对象也就是扩展到能够检测9000种不同对象，称之为YOLO9000。
#部分代码
def test_net(net, imdb, max_per_image=300, thresh=0.5, vis=False):
num_images = imdb.num_images
# all detections are collected into:
# all_boxes[cls][image] = N x 5 array of detections in
# (x1, y1, x2, y2, score)
all_boxes = [[[] for _ in range(num_images)]
for _ in range(imdb.num_classes)]
# timers
_t = {'im_detect': Timer(), 'misc': Timer()}
det_file = os.path.join(output_dir, 'detections.pkl')
size_index = args.image_size_index
for i in range(num_images):
batch = imdb.next_batch(size_index=size_index)
ori_im = batch['origin_im'][0]
im_data = net_utils.np_to_variable(batch['images'], is_cuda=True,
volatile=True).permute(0, 3, 1, 2)
_t['im_detect'].tic()
bbox_pred, iou_pred, prob_pred = net(im_data)
# to numpy
bbox_pred = bbox_pred.data.cpu().numpy()
iou_pred = iou_pred.data.cpu().numpy()
prob_pred = prob_pred.data.cpu().numpy()
并且通过 MQTT 协议接入后端服务器； 摄像头线程读取图像信息，处理后发送到K210内置的卷积神经网络加速器，得出 yolov2-tiny 的预测结果，如果存在超过预定分类阈值的结果，则通过 MQTT 协议发送到后端。
后端Thingsboard
后端服务器基于 Thingsboard 进行开发，实现图像信息展示以及设备固件OTA功能。
ThingsBoard 是一个基于Java的开源的物联网平台，用于数据收集、处理、可视化和设备管理。它使用物联网行业的标准协议（MQTT、CoAP和HTTP）实现设备连接，并支持云和本地部署。 ThingsBoard 具有可扩展性、容错性和高性能，因此永远不会丢失数据。
Thingsboard 基本特点
部分相关代码
public class MqttTransportService {
.....
@Autowired
private MqttTransportContext context;
@PostConstruct
public void init() throws Exception {
log.info("Setting resource leak detector level to {}", );
ResourceLeakDetector.setLevel(ResourceLeakDetector.Level.valueOf(leakDetectorLevel.toUpperCase()));
b.group(bossGroup, workerGroup)
.channel(NioServerSocketChannel.class)
.childHandler(new MqttTransportServerInitializer(context))
.childOption(ChannelOption.SO_KEEPALIVE, keepAlive);
}
.....
}
private void processDevicePublish(ChannelHandlerContext ctx, MqttPublishMessage mqttMsg, String topicName, int msgId) {
try {
if (topicName.equals(MqttTopics.DEVICE_TELEMETRY_TOPIC)) {
TransportProtos.PostTelemetryMsg postTelemetryMsg = adaptor.convertToPostTelemetry(deviceSessionCtx, mqttMsg);
transportService.process(sessionInfo, postTelemetryMsg, getPubAckCallback(ctx, msgId, postTelemetryMsg));
} else if (topicName.equals(MqttTopics.DEVICE_ATTRIBUTES_TOPIC)) {
TransportProtos.PostAttributeMsg postAttributeMsg = adaptor.convertToPostAttributes(deviceSessionCtx, mqttMsg);
transportService.process(sessionInfo, postAttributeMsg, getPubAckCallback(ctx, msgId, postAttributeMsg));
}
...
} else {
transportService.reportActivity(sessionInfo);
}
} catch (AdaptorException e) {
log.warn("[{}] Failed to process publish msg [{}][{}]", sessionId, topicName, msgId, e);
log.info("[{}] Closing current session due to invalid publish msg [{}][{}]", sessionId, topicName, msgId);
ctx.close();
}
}
