蚂蚁集团已推出20亿参数多模态遥感基础模型SkySense,这是蚂蚁百灵大模型在多模态领域最新的研发成果,其论文已被世界计算机视觉顶会CVPR 2024接收。SkySense可用于地貌、农作物观测和解译等,有效辅助农业生产和经营。
据介绍,SkySense在总计17项国际权威公开数据集进行了测评,其测试任务类型包括了土地利用监测、高分辨率目标识别、地物变化检测等7种常见遥感感知任务,并与国际上已发布的包括IBM和NASA联合研发的Prithvi等共18个全球主流同类模型做了测试结果比较。数据显示,17项测评中SkySense均名列第一。譬如,在国际高清遥感地物检测榜单FAIR1M 2.0中,SkySense平均精度(mAP)领先第二名超3%。
在刚刚公布的CVPR2024论文入选结果上,SkySense的研究成果亦被收录。据了解,蚂蚁集团正在计划开放Skysense模型参数,与行业共建,促进智能遥感技术与应用发展。
SkySense由蚂蚁AI创新研发部门NextEvo与武汉大学联合研发。NextEvo是蚂蚁AI核心技术研发团队,主导了蚂蚁百灵大模型的研发工作,其研发方向涉及CV、NLP、多模态、AIGC、数字人、AI工程化等核心技术。去年,该部门升级了多模态团队,由杨铭带队全面布局多模态技术。