lavida2009 / fy4_image_dp

FY-4号卫星数据处理程序系统

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

fy4_image_dp

FY-4a卫星成像仪数据处理系统

本说明主要针对WpfTestFy4Class程序。

今年5月初,CMACast开始广播下发FY4号卫星扫描辐射计观测数据。其中成像仪数据包含1个500米分辨率可见光通道、3个1公里分辨率可见光通道、7个2公里分辨率可见光、近、中红外通道、14个4公里可见光、近、中、远红外通道的数据。大约15分钟即可完成一次观测循环,使我们得到的卫星数据空间、时间分辨率、光谱通道数得到革命性提高。一个小时的数据量可达4GB以上。如此巨大的高质量数据真正把我们气象工作者带进了国际气象行业的“富人”俱乐部。那么这些数据我们怎么用呢?怎么才能成为一个真正的富人而不是“土豪”呢?无疑要求我们必须定量使用、科学使用。可是FY4号卫星数据结构复杂、体量巨大,很多朋友从底层做起有很多障碍,如果投入过多精力势必转移了对气象本专业的关注,费神、费力。我通过近一段时间的努力,开发完成了FY4卫星数据应用类库,为庞大、繁杂的数据设计了一个调用接口,目前适应Windows系统.NET托管代码环境,使用.NET框架的朋友们可以直接引用、调用这个类库,从而大大简化、甚至不用再去关心具体的数据组织形式,可以更多、更快的集中精力在气象应用问题上。有关这个类库的说明,请大家参考我的类库的专门的说明文档:说明Fy4HDF5Dat类库.txt。与此同时,我编制了测试这个类库功能的测试程序:WpfTestFy4Class。这个文档就是为这个测试程序做的说明。

我非常自豪的告诉大家,WpfTestFy4Class程序从2018年8月起,原本只是为了测试应用类库的这个测试程序,已经成长为一款功能强大的FY-4成像仪数据处理软件(就正式叫FY-4成像仪数据处理程序吧,哈哈!)。因此,对于FY-4号卫星成像仪数据的应用,我们不仅是“授人以渔,而且也同时再进一步授人以鱼了”。除去设计器自动生成的代码,这个程序已多达数千行,它不仅可以读取FY-4卫星广播下发的,包括4、2、1公里、5百米分辨率1到14个光谱通道的成像仪HDF5格式数据文件,而且加入了众多处理功能,使之成为了一款强大的数据/图像处理软件,同时这些强大的功能也展示了FY-4号卫星成像仪数据类库Fy4HDF5Dat.dll的强大。

一、WpfTestFy4Class支持三种提取处理Fy4卫星成像仪数据的方法。 1、从用户界面上,启动数据文件选择框,选择Fy4相应数据,处理并生成1—14个通道的等经纬格点数据和图像。 提供经纬范围可选、分辨率可选、图像是否带经纬网格可选、数据存储路径可选的选项。 用户界面上的每一幅图均支持双击激活专用显示框的功能。这个激发出的专用显示框,支持图像个点的数值读取显示、支持图像放大缩小、支持图像平移,同时也支持另行存储数据和存储图像。 这一部分功能特别展示了Fy4HDF5Dat.dll类库所提供的数据操纵方法。 2、在用户界面上右上角的下拉菜单中,支持Fy4卫星成像仪数据的批量处理。你可以用这个功能批量处理Fy4相应数据,并依照程序启动参数确定处理的方式(如算法、经纬区域、存储路径等等),但这种批处理,只在用户界面显示最后处理数据的图像,中间处理文件不显示,主要是节省时间。 3、在用户界面上右上角的下拉菜单中,支持Fy4卫星成像仪数据的自动侦测处理。这是这个程序最强大的功能。它可以针对Fy4卫星数据生成的目录,执行自动侦测,一旦有新文件产生,就立即处理,从而满足实时业务部署。其处理方式、处理经纬范围、分辨率、文件自动保存时间、文件名的命名规则等等,均可在启动参数文件中自行设置,提供了灵活的部署方式。

二、关于WpfTestFy4Class生成的产品。FY-4成像仪处理程序生成两种格式的数据。 1、Bmp格式图像。这个产品是成像仪各通道灰度图像。存储路径在程序启动参数文件中定义,并且按照通道、分辨率的下一级目录存储。这个图可以用任何图像软件打开并查看。但是,由于FY-4成像仪的灰度数据层级多达4096级,因此,这个图也就看看,对于数据应用,建议使用经纬网格数据文件里的数据。 2、Grd经纬网格数据。这个数据是为了操作方便专门定义的一种简单数据格式的经纬网格数据。它是在CommonGridDat.dll中定义的网格数据。我专门为此编制了操作类库。有专门的说明文件给予说明。参阅:说明CommonGridDat.txt文件。 为什么要定义这样一个数据。主要是方便经纬网格数据的操作。比如:读写、压缩读写,整块操作,方便提取等等。这可能是会造成大家吐槽这个软件的原因。但这个数据的定义,我个人认为还是非常值得的,极大地方便了数据的操纵。我也希望能有更多的人为这个数据编写接口,使之成为一种广泛接受的格式。可能过于理想了。

三、关于WpfTestFy4Class即FY-4成像仪数据处理程序的部署。 这个程序的部署比较简单:将Fy4HDF5Dat.dll;HDF5DotNet.dll;hdf5_hldll.dll;hdf5dll.dll;szip.dll;zlib.dll这六个动态链接库和WpfTestFy4Class.exe执行文件,FY4A成像仪数据处理程序参数.ini文件拷贝到一个要执行的目录路径下即可。

四、关于“FY4A成像仪数据处理程序参数.ini”程序启动初始化文件中各项的意义。 这个初始化文件是用户用于定义程序启动参数的。相应的意义在下用()注释

[经度范围]
western boundary=70000	(经纬范围中的西边界经度)
eastern boundary=100000	(东界经度)

[纬度范围]
northern boundary=50000	(北界纬度)
southern boundary=30000	(南界纬度)

[经纬步长]
latitude and longitude step=50		(经纬步长也就是经纬分辨率)

[保存文件路径]
data file path=D:\FY4AData\Data\	(经纬数据文件保存路径)
image file path=D:\FY4AData\Bitmap\	(图像数据文件保存路径)

[文件保存属性]
regular file expression=FY4A-_AGRI--_N_(REGC|DISK)_1047E_L1-_(FDI|GEO)-_MULT_NOM_\d{14}_\d{14}_(05|10|20|40)00M_V0001.HDF	(文件名正则表达式)
file retention=2		(文件保存时间,防止文件池溢满)
file compression=true	(文件保存是否是以压缩格式保存,用压缩格式只有原格式的四分之一,不仅节约存储而且提高了I/O效率)

[数据属性]
multiresolution identifier=true		(是否使用源数据的分辨率,如果false,不管源数据的分辨率都将采用界面上的人机交互数据)
data algorithm=bilinearity		(算法选择,formula / bilinearity;公式值取整 / 双线性插值)

五、关于部署环境。 由于Fy4号卫星分辨率高,文件超大,程序运行较费时,同时,这个成像仪数据处理软件同时操纵了多达14个通道的数据,同时显示15张图,所以,程序必须运行在64位系统上,内存最好16G以上,屏幕最好支持1920X1080或以上。 由于FY-4卫星数据量巨大,一般部署时,应当将数据节点上的文件下载到本地路径,否则,I / O路径长、速度慢,甚至出现断续,将严重影响程序运行。我可以提供专门编制的配套的Ftp下载程序。

六、本程序修订、升级记录 2018年07月01日(发布)——>22日(修订)——>08月07日升级修订记。 今天,对WpfTestFy4Class程序再次进行修订升级,特别高兴的是,现在有底气说这个程序的业务化已完全成立了,因为,它已经稳定运行在了信息中心虚拟服务器10.xxx.xxx.xxx上多日了,这次升级的内容主要是围绕实时监控自动化处理的功能方面: **与FY4成像仪实时数据下载本地的程序完美衔接; **优化了实时监控处理; **优化了等经纬数据处理的算法,提高了效率。 **增加了保存实时图像的功能,从而支持用任何图像工具实时浏览最新云图。 **增加了对产品数据和图像保存时间的支持,自动删除过期产品数据文件,从而维护了稳定的产品存储空间,防止存储满溢引起程序不稳定,保证了程序业务化不间断长期运行。 2018年09月07日升级修订记。 今天,对FY4号卫星应用系列程序再次进行了修订升级,再次更新群文件里的共享。这次升级主要是围绕程序系统运行效率的提高,改进前后的处理效率整体提高了大约3—4倍,所以新程序处理同样的数据,耗时将只有此前的三分之一甚至四分之一。主要改进包括: ##改进了数据处理中内存访问方式,大幅提高了数据吞吐效率,从而整体上提高了运行效率。 ##提高了投影变换计算数据的复用率,从而整体上减少了重复运算,提高了运行效率。 ##提高了本地存储的检查频率,减小了本地存储占用的摆动幅度,有利于用户把握硬盘资源的占用。 ##增加了界面文本显示的内容,使程序执行状态从界面上更容易理解。 全部软件系统已经部署在虚拟服务器上,运行已超过一个月了。其处理产品存放在此服务器FY4AData目录下。由于观测频率超高(5—9次/小时),数据量巨大,只保留了两天资料,这个数据资料对于短临预报、高分辨率监测极具价值,欢迎使用,使用时请尽量拷贝回本地,以免过多占用服务器资源。 2018年10月02日升级修订记。 最后,由于软件功能也全了,体量也大了,完全实现了业务化部署,因此,此次提供了执行程序包(FY4AGRIProc处理程序)和(FY4AViewProc处理后产品浏览程序),有更多需求的同仁请单独与我们联系。

    特别声明:本程序虽然代码公开,但未经许可授权,禁止下载者再次转让或销售,作者保留追责权力。
    欢迎质询、咨询、讨论、拍砖!电话:0991-2695070。QQ:591589408

About

FY-4号卫星数据处理程序系统


Languages

Language:C# 100.0%