MetaTransformer多模态一体化

[www.ziwang.com]

https://github.com/invictus717/MetaTransformer
变压器在多模态学习中的潜力和可扩展性。我们利用变压器的优势来处理长度变化的序列。然后，我们按照元方案提出数据到序列标记化，然后将其应用于 12 种模态，包括文本、图像、点云、音频、视频、红外、高光谱、X 射线、表格、图形、时间序列和惯性测量单元 （IMU） 数据。
12 modalities including text, image, point cloud, audio, video, infrared, hyper-spectral, X-Ray, tabular, graph, time-series, and Inertial Measurement Unit (IMU) data.