75秒赛车|75秒赛车|极速赛车|极速赛车

2019-08-03 09:57:49分类冕:行业资讯1370

  物联网是一个很宽泛的概念堕筷酷,是指各种设备浑烂、机器都通过互联网连接起来懊,车联网荚酥、工业互联网等都属于物联网范畴拖关。根据Gartner报告淘,联网的设备在2019年已经超过142亿粗玩,预计2021年将达到250亿氦敢,这是一个巨大的数量部。毫无疑问搓,我们需要一个物联网大数据平台来处理这些联网设备产生的海量数据额搪熊。

  一个物联网大数据平台需要具备哪些功能?与通用的大数据平台相比阶翻巫,它需要具备什么样的特征呢?我们来仔细分析一下句琼村。
 

物联网大数据平台
 

  1.高效分布式

  必须是高效的分布式系统奠蜕恒。物联网产生的数据量巨大衅得柔,仅中国而言箩爆目,就有5亿多台智能电表度然,每台电表每隔15分钟采集一次数据推甜,一天全国智能电表就会产生500多亿条记录密毋裴。这么大的数据量式蕉森,任何一台服务器都无能力处理彻领很,因此处理系统必须是分布式的,水平扩展的届。为降低成本盯,一个节点的处理性能必须是高效的拒,需要支持数据的快速写入和快速查询亢。

  2.实时处理

  必须是实时处理的系统馅。互联网大数据处理巍,大家所熟悉的场景是用户画像袭、推荐系统磷蹈、舆情分析等等嗽宏世,这些场景并不需要什么实时性惫,批处理即可久聚。但是对于物联网场景坟,需要基于采集的数据做实时预警底巳哭、决策抨,延时要控制在秒级以内贬店冈。如果计算没有实时性砰霖,物联网的商业价值就大打折扣揣镭。

  3.高可靠性

  需要运营商级别的高可靠服务嘿。物联网系统对接的往往是生产暑、经营系统烈,如果数据处理系统宕机湾假氨,直接导致停产凹缕惊,产生经济有损失嗜、导致对终端消费者的服务无法正常提供颈荡平。比如智能电表氰不,如果系统出问题闺们时,直接导致的是千家万户无法正常用电节持。因此物联网大数据系统必须是高可靠的帮零借,必须支持数据实时备份舜掳,必须支持异地容灾队,必须支持软件酿吩、硬件在线升级了,必须支持在线IDC机房迁移拼杉,否则服务一定有被中断的可能票丘富。

  4.高效缓存

  需要高效的缓存功能檄拭籍。绝大部分场景响达,都需要能快速获取设备当前状态或其他信息宛铜迟,用以报警徘岭、大屏展示或其他瓮薯恋。系统需要提供一高效机制窝彼护,让用户可以获取全部切、或符合过滤条件的部分设备的最新状态悄耿。

  5.实时流式计算

  需要实时流式计算唱箍。各种实时预警或预测已经不是简单的基于某一个阈值进行呢抒黑,而是需要通过将一个或多个设备产生的数据流进行实时聚合计算卷鳖,不只是基于一个时间点路、而是基于一个时间窗口进行计算奢。不仅如此橙,计算的需求也相当复杂管荣稿,因场景而异暮,应容许用户自定义函数进行计算触。

  6.数据订阅

  需要支持数据订阅睦。与通用大数据平台比较一致表轨黔,同一组数据往往有很多应用都需要此巧墨,因此系统应该提供订阅功能肩仑隋,只要有新的数据更新桶患,就应该实时提醒应用凡驼禄。而且这个订阅也应该是个性化的耪扳撵,容许应用设置过滤条件卡锻幌,比如只订阅某个物理量五分钟的平均值煤焙。

  7.和历史数据处理合二为一

  实时数据和历史数据的处理要合二为一河。实时数据在缓存里遍,历史数据在持久化存储介质里很陕河,而且可能依据时长鸵痊雇,保留在不同存储介质里氯。系统应该隐藏背后的存储毫,给用户和应用呈现的是同一个接口和界面莽惜桃。无论是访问新采集的数据还是十年前的老数据褂炮垫,除输入的时间参数不同之外让,其余应该是一样的沦参腻。
 

物联网大数据平台
 

  8.数据持续稳定写入

  需要保证数据能持续稳定写入柿。对于物联网系统默楼,数据流量往往是平稳的恕,因此数据写入所需要的资源往往是可以估算的肝淡戏。但是变化的是查询涸檬哗、分析促,特别是即席查询趴策侮,有可能耗费很大的系统资源疵故篡,不可控朴跑唉。因此系统必须保证分配足够的资源以确保数据能够写入系统而不被丢失譬。准确的说吨,系统必须是一个写优先系统擞杠。

  9.数据多维度分析

  需要对数据支持灵活的多维度分析蜂会。对于联网设备产生的数据吓,需要进行各种维度的统计分析颅,比如从设备所处的地域进行分析具,从设备的型号会颅、供应商进行分析拷,从设备所使用的人员进行分析等等潜昧。而且这些维度的分析是无法事先想好的彼身,而是在实际运营过程中沫放剖,根据业务发展的需求定下来的奢。因此物联网大数据系统需要一个灵活的机制增加某个维度的分析彻。

  10.支持数据计算

  需要支持数据降频申、插值棠停滩、特殊函数计算等操作靖。原始数据的采集可能频次挺高美,但具体分析时拒,往往不需要对原始收据进行卢,而是数据降频之后赌挽。系统需要提供高效的数据降频操作铅。设备是很难同步的策,不同设备采集数据的时间点是很难对齐的逼糖,因此分析一个特定时间点的值借,往往需要插值才能解决芦,系统需要提供线性插值柏入、设置固定值等多种插值策略才行筛凶。工业互联网里割完,除通用的统计操作之外躺困,往往还需要支持一些特殊函数楔姐醚,比如时间加权平均酬括。

  11.即席分析和查询

  需要支持即席分析和查询禽扒。为提高大数据分析师的工作效率弛畔,系统应该提供一命令行工具或容许用户通过其他工具墙,执行SQL查询霞僚暇,而不是非要通过编程接口乌习。查询分析的结果可以很方便的导出仟龄,再制作成各种图标锌解。

  12.灵活数据管理策略

  需要提供灵活的数据管理策略饺兄喜。一个大的系统旧饯蛙,采集的数据种类繁多芹抒,而且除采集的原始数据外胎寝,还有大量的衍生数据稍态。这些数据各自有不同的特点耽嚎,有的采集频次高扛,有的要求保留时间长读棠钙,有的需要多个副本以保证更高的安全性倦寂磁,有的需要能快速访问香聊乔。因此物联网大数据平台必须提供多种策略弧摄,让用户可以根据特点进行选择和配置京处,而且各种策略并存郸。

  13.开放的系统

  必须是开放的险。系统需要支持业界流行的标准SQL眷,提供各种语言开发接口队,包括C/C++,Java,Go,Python,RESTful等等,也需要支持Spark,R琅任葱,Matlab等等圭,方便集成各种机器学习堪、人工智能算法或其他应用恍瘁弧,让大数据处理平台能够不断扩展摩燎,而不是成为一个孤岛叫痰井。

  14.支持异构环境

  系统必须支持异构环境何。大数据平台的搭建是一个长期的工作韦脖矢,每个批次采购的服务器和存储设备都会不一样胖毙坛,系统必须支持各种档次擅乌书、各种不同配置的服务器和存储设备并存丹酪筛。

  15.支持边云协同

  需要支持边云协同虏律稠。要有一套灵活的机制将边缘计算节点的数据上传到云端椽,根据具体需要痞控童,可以将原始数据搔棉,或加工计算后的数据鞘,或仅仅符合过滤条件的数据同步到云端愧,而且随时可以取消谜逼,更改策略蛊祟。

  16.单一后台管理

  需要单一的后台管理系统挪故。便于查看系统运行状态培谈、管理集群洗努、管理用户递、管理各种系统资源等驮袒,而且系统能够与第三方IT运维监测平台无缝集成迹笆,便于管理穆。

  17.私有化部署

  便于私有化部署绣梆偿。因为很多企业出于安全以及各种因素的考虑晦,希望采用私有化部署吞碱。而传统的企业往往没有很强的IT运维团队场漠教,因此在安装挟、部署上需要做到简单莽狼、快捷梢懦,可维护性强形。

  以上总结了物联网大数据平台的主要功能和特点熄。虽然物联网大数据平台本身也在演变之中氯,但总的目标不会改变存犀,那就是高效蜡尼两、可伸缩颂客、实时叉、可靠肝、灵活彪郡绢、开放煎味谈、简单倍顽趣、易维护腻。

上一篇橇睫彭:下一篇穗隧:
澳洲快乐8 澳洲快乐8开奖 澳洲快乐8开奖结果 澳洲快乐8官方网站 澳洲快乐8官网 澳洲快乐8网站 澳洲快乐8计划 澳洲快乐8 澳洲快乐8 澳洲时时彩 澳洲时时彩 澳洲时时彩开奖 澳洲时时彩开奖结果 澳洲时时彩官方网站 澳洲时时彩官网 澳洲时时彩网站 澳洲时时彩计划 澳洲时时彩 澳洲pk10 澳洲pk10 澳洲pk10开奖 澳洲pk10开奖结果 澳洲pk10官方网站 澳洲pk10官网 澳洲pk10网站 澳洲pk10计划 澳洲pk10 澳洲幸运5 澳洲幸运5开奖 澳洲幸运5开奖结果 澳洲幸运5官方网站 澳洲幸运5官网 澳洲幸运5网站 澳洲幸运5计划 澳洲幸运5 澳洲幸运5 澳洲快三 澳洲快三开奖 澳洲快三开奖结果 澳洲快三官方网站 澳洲快三官网 澳洲快三网站