SkySense A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery

• 论文名称: SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
• Link: https://arxiv.org/pdf/2312.10115
• Published in: CVPR 2024
• Type: Pretrain
• Code/Project: —
• 备注: 自监督多粒度对比学习，关注多模态和区域上下文
• Short Summary: 通用的十亿级模型，在包含 2150 万个时间序列的多模态遥感图像 (RSI) 数据集上进行了预训练。通过多粒度对比学习对分解后的编码器进行预训练，从不同的模态和空间粒度构造特征。此外，我们提出了地理环境原型学习，从给定地理位置的RSI特征生成区域原型。该方法通过利用隐藏在大量未标记RSI中的区域上下文线索来增强多模态时空表征学习。