分享好友 最新动态首页 最新动态分类 切换频道
AI定义本体 - 跨维基于Sim2Real具身智能引擎定义首款人形机器人
2024-12-26 23:45

经典机器人设计通常依赖机器人专家和机械工程师的经验进行正向设计,并针对空间可达性、结构强度、重量分布、重复精度等特性进行有选择性的优化。这个过程非常依赖设计师的经验,并且迭代周期较长,需要开发出数个版本的实体硬件进行测试、迭代,导致研发成本较高。而且在应用场景及任务更加复杂时,经典设计的本体及末端执行器构型等在机器人任务执行成功率、执行效率、硬件成本等方面不能达到最优。

AI定义本体 - 跨维基于Sim2Real具身智能引擎定义首款人形机器人

         

依赖AI技术,尤其是基于Sim2Real具身智能引擎,跨维智能开始尝试是否能够比经典方法更高效地探索广泛的设计空间,最大化强度同时最小化材料使用的创新结构,能够像AlphoGo之于人类经典棋谱一样,突破思维定式,实现机器人本体的更优的设计。   

         

在“AI定义本体”的机器人研发发展趋势下,跨维在这方面进行了首次尝试。近日,跨维智能首款AI定义的具身智能机器人W1即将全球发布。该机器人由跨维智能从电机开始全栈自研,包含基于AI的机械结构设计优化、控制系统开发、感知系统搭建以及具身智能大模型等各个模块,机器人本体在技术协同性、整体稳定性等方面更具优势,能更好、更精准、更快速地展现具身智能大脑的能力,赋予大脑一个“指哪打哪”的躯体,展现出更强劲的性能表现。

 

▍具身智能机器人最高效演化与训练场

         

技术实现上,具身智能机器人W1首先得益于跨维自研DexVerse™引擎,这是全球少有的空间与具身智能模型训练引擎,具备“三维数字资产生成-物理仿真-数据合成与标注计算-模型训练-模型验证”全链条自动化能力,是空间智能、具身智能、生成式AI的核心底座。

                 

机器人想要实现灵巧操作,预先训练具身智能模型是一条捷径。DexVerse™引擎作为人形机器人及不同形态具身智能机器人的最佳设计与演化场,能以落地场景和灵巧操作技能为目标,通过设计强化学习奖惩函数,以可微仿真的方式优化机器人构型、运动学、动力学等参数,实现针对作业场景及技能的最佳机器人形态。

         

基于Sim2Real具身智能引擎,W1具身智能机器人就在本体设计上轻松实现了包含机器人任务执行目标、机器人构型及运动学和动力学参数空间、可微物理仿真引擎等几个关键模块。通过强化学习等方式,跨维智能还针对目标场景和机器人任务技能,在参数空间中进行离散加局部连续优化的方式,实现本体的更优设计;而且这种方式也能实现针对末端执行器以及机器人外观形态等方面的更优设计。   

         

在机器人优化方式上,基于Sim2Real具身智能引擎也可以采用模块化设计加树状搜索的方式,降低学习成本,提升优化效率。这种方式能够在Sim2Real具身智能训练场中,跟机器人技能训练统一目标,在一个框架体系下完成,实现本体设计与任务技能学习的统一。

         

目前,跨维基于DexVerse™引擎,形成了包括具身智能感知套件、RoPilot新一代机器人控制器、移动操作式复合机器人等一系列软硬件产品,以AnyPick, AnyPlace, AnyInsert, AnySort, AnyScrew等通用技能,赋能智能制造、商业服务、家庭助理等业务板块。

                  

▍“大脑+小脑+感知”擦出最闪亮“本体”火花

         

具身智能机器人要想大批量落地,大脑、小脑和感知缺一不可。

         

在一个完整的具身智能机器人中,往往需要“大脑”负责智能规划与决策、自然认知与人机交互、多模态感知与精确定位;“小脑”负责高精度自适应运动控制与身体感知与反馈;传感器作为机器人“感知”物理世界的窗口,才能更好实现任务执行和落地。

         

跨维智能凭借强力的研发团队,在具身智能机器人W1就做到了“大脑+小脑+感知”的融合,最完整大小脑团队在W1机器人这个整体上迸发出创新的火花。

 

港中文(深圳)贾奎教授带队组成“最强大脑”

         

“大脑”是具身智能机器人的核心,由“认知-感知-规划-控制”的具身智能分层模型中的前三个模块组成。针对一个机器人灵巧操作任务,首先机器人“认知”模块需要基于专用于具身任务的大语言模型/多模态大模型,(在认知层面)理解任务目标并拆解成机器人能够执行的基础技能与原动作。随后“感知”模块负责在三维物理世界中进行目标物识别、定位、姿态估计、操作点/姿态估计等;“规划”模块则在空间感知的基础上,规划出机器人用以完成目标任务的动作轨迹。   

         

“认知-感知-规划”作为一个有机的整体形成“大脑”,算法方式上既可以通过分层模型实现,在足量高质量数据下也可以端到端实现。

 

 

跨维拥有全球顶尖的“大脑”研发团队,由具身智能、多模态大模型、3D生成式AI 、强化学习等方向权威专家组成。其中带头人贾奎教授是跨维智能创始人,香港中文大学(深圳)教授,全球Top2%顶尖科学家,广东省“珠江人才计划”创新创业团队带头人,人工智能、具身智能、计算机视觉、机器学习等领域权威专家,发表顶级论文百余篇,获CVPR19最佳论文候选,ICDP最佳论文奖,广东省自然科学一等奖。

         

贾奎教授首创Fantasia3D, Grasp Proposal Networks, PCANet, DehazeNet等深度模型,曾研发出业界领先的深度三维物体检测与姿态估计算法、深度三维物体表面重建算法、深度迁移与域适应学习算法,带领团队多次获得物体抓取与姿态估计等领域权威竞赛冠军;担任TIP, TMLR等顶刊副主编,ICCV/ICML/NeurIPS等AI顶会领域主席。目前带队跨维智能组成了具身智能机器人W1的“最强大脑”。

         

机器人专家、原三星首席工程师金毅博士带队“最灵小脑”

         

除了大脑,具身智能机器人还需要对周边环境和本体状态有全面的感知,并能够根据反馈信息及时调整运动。由于周边环境及任务的复杂性,具身智能机器人的运动需要高度的鲁棒性、协调性和精确性。在这个过程中,机器人“小脑”就负责环境与本体的感知和自适应运动控制,能够将环境及本体的各种传感器信息和本体的状态信息作为“小脑”的输入,预测即将发生的状况,并计算出当下机器人应该做出的反应。“小脑”随即调整运动控制策略并控制机器人的各个关节做出合适的应对。

            

         

机器人领域资深专家、前三星电子首席工程师金毅博士作为CTO带领跨维研发团队,进一步加强跨维在机器人本体控制的协调性和灵活性,为跨维具身智能大脑在各个场景落地提供支撑。

         

金毅博士本科毕业于浙江大学,博士毕业于韩国科学技术院(KAIST),主要研究方向为机器人控制、运动规划及机器人本体设计。后于三星电子生产技术研究所担任首席工程师,带领百人团队,主导了多款机械臂、移动机器人和复合机器人的研发及量产,攻克了一系列世界级难题,在工业及服务机器人领域拥有二十年的丰富的研发、量产及管理经验。目前支撑起了跨维智能W1的“最灵小脑”打造。

         

传感器专家吴迪带队研发“最慧双眼”

         

传感器是机器人感知物理世界的窗口,也是机器人迈向智能化的基础。在机器人在智能化发展过程中,不断对感知、交互、运动和控制等多个模块提出更高要求,而传感器在这些模块中发挥着重要作用。

         

而视觉传感器是机器人的“双眼”,拥有视觉能使机器人更敏锐地获取外界环境信息。为了让机器人的感知能力接近人类的水平,关键在于充分发挥传感器的感知潜力。跨维智能自研的全系列空间与具身智能传感器,尤其是纯视觉双目结构的Kingfisher系列,能有效适配各类工作环境,无论是室外强光、高反光物品、透明/黑色物品等,均能获取到精确的空间位置信息,交由机器人“大脑”进行与环境的交互。

 

                 

这背后是资深传感器专家吴迪带队研发的“最慧双眼”。吴迪曾任腾讯高级算法工程师,研发机器人及视觉产品;作为华为高级算法工程师负责华为首款双摄手机三维重建算法,并曾在霍尼韦尔等世界500强企业担任高级工程师职位,具备丰富的视觉传感器产品、三维重建算法等领域的实战经验,获授权发明专利16件。   

         

▍结语与未来

         

具身智能机器人的落地应用,是从研发到工程落地的系统性问题,从底层运动控制,到上层AI技术,到相互协调配合,都非常具有挑战性,也是贾奎教授、金毅博士、吴迪等一直在探索的事业。

         

目前,跨维智能拥有全球顶尖的大脑团队,在具身智能引擎、具身智能大模型上取得的成就有目共睹,结合小脑控制、本体研发、传感器研发等方面的专长,尤其是基于“AI定义本体”的新理念,跨维通过自研的DexVerse™引擎,正以最高效、最低成本的方式打通具身智能机器人全链路,加快跨维具身智能机器人的整体研发与落地进程,并稳步迈向Physical AGI的实现。

                

最新文章
阿里云盘的几个资源搜索平台(应有尽有)
Kafka是一个分布式流处理平台,它具有高吞吐量、可扩展性和容错性的特点。下面是Kafka代码分析的一般步骤:1. 了解Kafka的基本概念和架构:在进行代码分析之前,首先需要了解Kafka的基本概念,例如topic、partition、producer、consumer等
漫蛙漫画app下载
漫蛙漫画app是一款热门的手机漫画资源app。软件上的漫画资源都是免费的,各种类型的题材应有尽有,感兴趣的小伙伴快来下载漫蛙漫画app体验吧!一款提供超多优质彩漫的追漫平台,这里的动漫资源非常的丰富,每天都会更新大量的高清动漫,各
计算器软件大全 热门计算器软件排行
探索科技助手:深入解析计算器软件大全 热门计算器软件排行,为你揭示当前最热门的计算工具,无论是日常生活中的简单加减,还是专业复杂的运算需求,一文带你领略高效便捷的数字生活。从排行榜单中挑选最适合你的那款神器,提升工作学习效
许昌企业网络营销新突破,专业推广公司助力飞跃
许昌一家优化推广公司,专注于帮助企业实现网络营销新突破。通过精准策略与高效执行,助力企业提升品牌影响力,扩大市场份额,实现业绩增长。随着互联网的普及,越来越多的企业开始重视网络营销,希望通过网络平台拓展市场、提升品牌知名度
被星爷邀约,张全蛋的10年演员梦,拼尽全力终究入不了影视圈主流
“初代网红”“6亿票房傍身”“富士康质检小王子”。张全蛋身上的任何一个标签,都注定他会在娱乐圈风生水起。可事实却不是这样。爆火10年之后,演艺圈的“潜规则”在张全蛋身上再一次应验了。01卖惨还是炒作?12月中旬,企鹅出品的纪录片
白杨SEO:工具推荐第一期——关键词挖掘工具使用实例
  引言:常言道,工欲善其事,必先利其器。我们在做SEO的时候,会用到很多工具。而如何找到及用好这些工具,让我们工作事半功倍,白杨SEO会慢慢分享大家。本篇即第一期——关键词挖掘工具(注,本文讲中文工具)   多说两句,如果是之
让AI激发创作!首届豆包MarsCode AI编程挑战赛报名开启
在科技变革浪潮中,编程领域持续演进,AI为其注入无限活力。我们的目标是期望为广大编程爱好者与专业开发者打造一个开放、多元且相当挑战性的平台,促进技术交流与创新思维的碰撞,加速AI技术在编程领域的深度融合与应用落地。在这里你的创
考研区域经济学专业容易上岸的大学怎么选择
对于准备考研的同学来说,选择一个合适的学校和专业至关重要。在众多专业中,考研区域经济学大学排名引起了越来越多同学的关注。区域经济学不仅涉及经济学的基本理论,还结合了地理、社会等多方面的知识,非常适合对社会发展有兴趣的同学。
管家婆2024精准资料大全|讲解词语解释释义
管家婆2024精准资料大全——词语解释释义详解本文将详细介绍管家婆2024精准资料大全中的相关词语,并对其中的关键词进行解释和释义,通过本文,读者可以了解管家婆资料的准确性和可靠性,掌握相关术语的含义,从而更好地利用这些资料。管家
相关文章
推荐文章
发表评论
0评