代码收藏家 IoTDB发布端边云原生解决方案，提升工业互联网数据上传效率与资源利用
2023 年 9 月 8 日，由中国通信学会、福建省工业和信息化厅主办的 2023 中国国际工业互联网创新发展大会在厦门举办。大会主论坛中，时序数据库 IoTDB 发表其自研建立的端边云原生解决方案，该方案可实现端侧设备、边缘服务器、数据中心数据的协同汇聚，达到数据实时上传、带宽成本控制、与多终端同步管理。
01
关于大会
为贯彻落实国家两个强国发展战略，推动工业化和信息化融合发展，2023 中国国际工业互联网创新发展大会于 9 月 8 日 – 11 日与第二十三届投治会同期举办，旨在通过政策研读、行业前瞻、成果展示、创新案例发布、投资洽谈等形式，展示我国工业互联网创新技术和应用的现状以及发展成就，同时聚焦工业互联网核心技术领域及前沿应用，发布行业创新成果，助力科技成果产业化，推动我国工业互联网领域高质量发展。大会邀请超 6000 家技术企业与超 1000 家投资机构；致力加强大会在工业互联网行业的辐射范围与影响力，希望共同探讨如何以工业互联网行业前沿的技术、理念服务企业。
02
IoTDB 解决方案概要
IoTDB 是一款在国家自然科学基金、科技部、工信部、中国科协与中国通信学会的大力支持下，由清华大学发起，国产自主研发的工业互联网时序数据库产品。该项目也是我国科研机构目前唯一入选国际 Apache 开源软件基金会的项目，开源社区成员覆盖中、德、美等工业大国。IoTDB 覆盖了时序数据写入、存储、查询、计算全生命周期，具有多协议兼容、高压缩比、高通量读写等多项性能优势。目前在电力能源、飞机制造、车联网、钢铁冶炼、智慧工厂等行业均得到应用，已服务中央骨干、工业龙头企业超过 1000 家。
工业互联网场景下，以设备、传感器等终端上报的时序数据，成为多行业的价值主体。而工业互联网时代是端边云协同的时代：端是终端装备，用于采集数据；边是边缘控制器，用于汇集数据；云是云端服务器，用于处理数据。这种“端侧采集、边侧汇聚、云上处理”的数据上行链路，和“云上训练、边上推理、端侧执行”的数据下行链路，构成了工业互联网端边云场景的闭环。
传统方案下，端侧数据即采即报即丢，但无法将全量数据如数上传，丢失掉了重要的装备运行细节数据；边缘侧存储能力弱，本地难以保留长周期历史数据，阻断了在边缘本地做实时智能化应用的潜在可能；云侧将所有边缘侧数据全部重新处理，其计算资源需求量是边缘侧设备的总和，其资源需求随着边缘侧设备的不断增加最终会难以为继。
为有效解决这一难题，IoTDB 发布的端边云原生解决方案，新增了多个端-边-云版本系统模块，重制了两种端-边-云数据协同模式，实现了多形态部署与端边云协同。
在端侧，IoTDB 全新研制了基于 C++ 的数据库文件形态产品，在数十 M 甚至数 M 内存下，能够以 10 倍以上压缩率、百万点每秒吞吐率实现单设备全量数据管理。在边侧，IoTDB 升级了单机数据库形态产品，在 10M 到 GB 内存下，实现多设备全量长周期数据管理。在云侧，IoTDB 重制了分布式数据库形态产品，能够支持亿级测点，每秒数亿点读写吞吐，并创新了副本机制，较其他系统直接节省 30% 的存储和服务器。此外，IoTDB 天生的语言特性使其能够与当前大数据生态无缝衔接。通过上述三类产品形态，实现了端-边-云多场景的全面覆盖，解决了端侧、边侧设备存储能力弱、丢失细节数据的痛点。
同时，IoTDB 提出基于逐点的实时同步机制和基于 TsFile 列式数据存储文件的批量同步模式，同时覆盖了低延迟同步和高吞吐同步两类场景。以基于 TsFile 数据库文件的同步模式为例，在端侧，通过采用文件形态产品，端侧装备直接生成时序数据高压缩文件，并通过同步模块将数据增量同步至边侧 IoTDB 实例。多个 IoTDB 边缘侧实例再将汇聚的时序数据文件集合增量式上传至云侧 IoTDB，从而使得云侧集群在不消耗额外 CPU、内存的情况下，利用端侧、边侧 CPU 资源整理好的数据，直接落到云侧服务器硬盘中进行管理。从而解决当前云侧重复处理数据、资源需求无上限的痛点。
因数据文件的统一性与实时、批量同步的灵活切换性，该方案兼顾数据上传的时效性、网络带宽的节省、以及接收端的资源消耗，可有效适应边侧、云侧的不同资源、环境要求，提高设备间数据共享的效率和准确性，进而优化工业互联网企业的运营和控制，加速其应用创新和业务变革。
利用该解决方案，IoTDB 帮助宝武集团构建了钢铁冶炼生产场景中设备、车间、工厂、集团的多层级多粒度数据汇聚，打通了端-边-云原始数据协同路径，并在过去半年的应用中多次及时探测到关键设备故障前兆。同时，IoTDB 帮助某航空集团打造了新型试飞数据管理范式，将原本数据从收集到可用需要 4 小时缩短至 0.5 小时，将其数据存储周期从半年扩大至 10 年。
目前，IoTDB 原厂团队已成立商业化公司天谋科技，将继续探索 IoTDB 产品、方案在各行业的应用落地，共同为工业互联网发展贡献力量。
作为全球性开源项目，截至目前，Apache IoTDB 已拥有 258 名贡献者、4K Stars、933 Forks、9594 Commits。我们为大家提供了参与指南，欢迎越来越多的小伙伴助力 Apache IoTDB 项目的不断发展与前进，迈出加入 Apache IoTDB 社区的第一步！
