项目来了2023 | “AI+大年夜数据”:筑牢企业数字化转型“底座”_数据_技巧
从今年8月开始,中国科学院深圳前辈技能研究院(以下简称“深圳前辈院”)云打算研究中央副主任王洋险些每周都会到深圳市广道数字技能有限公司(以下简称“广道数字”)“打卡上课”,而“听课”的学生既有该公司员工,也有深圳前辈院的博士生。
广道数字董秘赵璐见告,今年8月,深圳前辈院与广道数字签约成立“大数据AI技能创新联合实验室”,“这是我们专门为联合实验室打造的办公室和实验园地,方便企业和深圳前辈院两边职员随时互换,加速系统研发和成果落地”。
据王洋先容,联合实验室将利用“AI+大数据”技能,环绕“湖仓一体与智能打算”“公安政务知识图谱构建剖析优化”“工业场景安全生产机器视觉”三大领域展开技能研发,有效办理企业在数字化转型过程中碰着的数据管理问题以及公安政务和工业生产等垂直领域的运用决策问题。
AI助力挖潜大数据代价
当前,数据驱动的人工智能正在改变着各行各业,“AI+大数据”成为当下的热门话题之一。一方面,大数据可以为AI技能供应演习数据支持,另一方面,AI技能也可以通过算法来提取大数据内涵的代价。
“‘AI+大数据’已经成为企业从数字化向数智化发展的一定选择。”赵璐表示,乘着这个“风口”,广道数字希望把AI技能和大数据技能结合起来,去助力企业的数字化转型,“理解到深圳前辈院的前辈打算与数字工程研究所有这方面的技能积累,我们也有运用处景,于是就‘一拍即合’了。”
未来,在双方互助的过程中,深圳前辈院将发挥自身科研上风,快速提升广道数字的技能水平和产品竞争力,广道数字将根据自身多年积累的产品化履历和数据资源,为深圳前辈院供应更加丰富的运用处景,实现双方上风互补。
那么,“AI+大数据”将产生何种“化学反应”?
王洋表示,两者结合将有助于更好地挖掘大数据的代价,实现数据高效运用。“企业做数据管理的终极目标是为了挖掘数据代价,并非只是大略存储。从这个角度来说,AI为大数据的代价挖潜供应了极大的助力。”
在他看来,大数据技能和AI技能是相辅相成的。大数据技能的侧重点之一在于把“数据管好”,包括如何把各业务系统产生的数据集中高效地存储起来、如何担保这些数据的质量、如何做好元数据与数据资源目录的建立等等,紧张是帮助数据利用者可以清晰明了地理解企业有哪些数据,以及数据的含义等等;而AI技能则侧重于“把数据利用好”,包括如何让打算机在数据中提炼出紧张内容、如何建立业务的知识模型等等。
“‘AI+大数据’紧张是帮助企业的业务部门或决策部门更好地创造数据之间的规律,联合实验室是从数据管理的完全过程来核阅大数据技能和AI技能的,终极是让技能做事于企业的业务与发展。”王洋说。
“湖仓一体”冲破大数据孤岛
企业数字化转型,每每须要存储和处理大量的数据。如何以高质量的数据管理激活数据要素潜能、开释数据要素代价,成为企业数字化转型过程中亟需办理的问题。
随着科技的发展,数据的保存形式已经从传统的文件和数据库技能,发展到现在的数据湖、数据仓库技能。数据的存储介质和架构发生了翻天覆地的变革。目前,大数据存储与管理的主流架构有数据库、数据仓库、数据湖三种。
个中,数据仓库和数据湖两个常用的架构各有利害。数据仓库将分散在各个运用程序中的数据复制到一个独立的物理位置中,因此可以存储更多的数据,具备更高的SQL(Structured Query Language,构造化查询措辞)并发访问性能,极大地方便了企业保存业务历史数据,但却难以进行规模扩展以及难以支持保存评论、图片、音***、传感器数据等更繁芜的数据类型;而数据湖技能可以用较低本钱,以可扩展的办法保存构造化和非构造化的所有数据类型,并且文件格式是开放的,有利于机器学习进行数据建模和运用,但却没有数据仓库所拥有的高性能、高并发上风,也无法实时处理数据。
目前,很多企业不得不在内部建立了多种数据存储构造用来存储数据,当须要低本钱存储数据时,企业就把数据迁移到数据湖中,当须要对数据进行实时剖析时,又把数据湖的数据复制到数据库中。
“久而久之,两者就涌现了割裂,形成‘一湖多仓’的管理架构,导致数据孤岛和数据沼泽等征象。”王洋说,传统的大数据处理平台常日将数据存储在数据湖和数据仓库中,分别用于存储原始数据和经由加工处理的数据。
那么,“AI+大数据”如何冲破数据孤岛,助力企业数字化转型?联合实验室将聚焦“必杀技”——湖仓一体。
“‘湖仓一体’的数据处理与存储架构,可实现数据湖和数据仓库一体化,使得原始数据与加工后的数据可以更加高效流动和交互,既可以同时存储构造化和非构造化数据,也具备实时处理数据、支持用户的BI(Business Intelligence,商业智能)、AI以及DS(Data Segment,数据段寄存器)运用对数据访问的需求,提升数据的利用效率。”王洋先容道。
打造数字化转型“底座”
“事实上,‘湖仓一体’实质上是一个大数据存储架构,类似于一个高等的‘数据库’。”王洋说,当有企业尤其是中小企业数字化转型须要数据管理的时候,就可以用上这套技能架构和解决方案,“从某种程度上来讲,我们供应的是‘数据底座’支撑。广道数据湖仓作为这个底座,在创新性上有自己的独到之处,我们针对中小企业数据管理的特点以及他们对AI技能的需求,大概是首家将数字工具技能引入湖仓数据管理之中的公司,提升湖仓内与湖仓间的对AI智能打算的支持,相信这一创新路线将为广道数据湖仓的运用处景带来无限想象。”
有了这套“AI+大数据”赋能的“底座”,许多数字化转型的运用处景都可以直接“套上”。比如在工业园区,通过开拓和优化机器视觉技能,基于湖仓底座可以对工业场景中的图像和***数据进行智能剖析和监测,例如产线的运行情形、工人的事情状态等等,进而提升工业安全生产的效率和质量。
不仅如此,王洋诉,未来随着技能研发的进步,联合实验室将在更多领域发挥浸染。“比如金融领域,大数据和人工智能被广泛运用在风险评估、敲诈检测、交易剖析、个性化推举等金融业务中。特殊是在此过程中,广道湖仓将通过支持联邦湖仓的观点,实现湖仓间(Inter-Lakehouse)的协同AI智能打算,将基于湖仓一体的AI运用深化到一个更高层次。”
从家当链角度来看,这一技能的研发也将助力深圳“20+8”家当集群发展。
“‘数据库’是我们在信息化培植和数字化转型过程中势必要用到的根本软件,也是深圳‘20+8’家当集群政策中‘软件与信息做事家当集群’重点方案须冲要破的问题。”王洋表示,“湖仓一体”未来可能会成为替代现有数据存储架构的方案之一,联合实验室的成立将有助于“湖仓一体”在核心部件上实现自主研发和国产替代,为根本软件的国产化贡献一份力量。
据理解,联合实验室目前已经完成了干系项目的技能预研与可行性剖析,正在进行关键模块的研发。未来,联合实验室的研究成果将会运用在各行各业的数字化转型过程中,为企业在转型过程中的数据管理环节供应干系产品和工具,紧张包括构造化与非构造化数据汇聚与存储管理、数据质量管理、元数据管理、数据分级分类、数据建模与数据开拓、数据可视化呈现等场景。
本文系作者个人观点,不代表本站立场,转载请注明出处!