设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 美洲华人圈 › 美国华人圈 › 城市传感器气象数据集Urban Innovation Eclipse Sensor ...
回复 发帖
返回列表 发新帖
开启左侧

[问答] 城市传感器气象数据集Urban Innovation Eclipse Sensor Data ...

[复制链接]
79675 0
mic0475 发表于 2022-9-7 06:26:27 | 只看该作者 打印 上一主题 下一主题
 
​
   此数据集包含PM2.5,湿度、臭氧和二氧化氮、一氧化碳等。数据集的时间范围为2021年1月1日至现在
概述
  Project Eclipse Network 是一个低成本的城市空气质量传感网络，是微软研究院城市创新小组领导的一个研究项目。
该网络于 2021 年 7 月开始部署，通过与芝加哥市、物联网项目、JCDecaux Chicago、环境法律和政策中心以及该市当地环境正义组织的合作。本演讲记录了网络设计和数据校准策略。
存储资源
数据存储在西欧 Azure 区域的 Azure Blob 存储中的Parquethttps://AI4edataeuwest.blob.core.windows.net/eclipse文件中，位于.
在该容器中，定期发生的快照存储在 中chicago/YYYY-MM-DD，其中YYYY-MM-DD对应于快照的日期。
每个快照都包含从文件夹名称 YYYY-MM-DD 上的日期开始的 Parquet 格式的未来 7 天的传感器读数。
许可和归属
请引用：Daepp、Cabral、Ranganathan 等人。(2022) Eclipse：用于城市低成本、超本地环境传感的端到端平台。传感器网络中的 ACM/IEEE 信息处理。意大利米兰。https://www.microsoft.com/en-us/research/uploads/prod/2022/05/ACM_2022-IPSN_FINAL_Eclipse.pdf
接触
有关此数据集的问题，请联系msrurbanops@microsoft.com@microsoft.com
学到更多
Eclipse 项目包含 Microsoft Research 项目 Eclipse的概述。

  

  STAC 集合
https://planetarycomputer.microsoft.com/api/stac/v1/collections/eclipse
  提供者
城市创新 （生产者、许可者、加工者）微软 （主持人）
   执照
使用条款
  DOI
  Eclipse：用于城市中低成本、超本地环境传感的端到端平台




       空间范围

  
   Location: IL, United States.

  Map style: grayscale_light.

地图快捷方式：缩小：连字符。放大：加。向右平移 100 像素：右箭头。向左平移 100 像素：左箭头。向上平移 100 像素：向上箭头。向下平移 100 像素：向下箭头。顺时针旋转 15 度：shift + 右箭头。逆时针旋转 15 度：shift + 左箭头。将俯仰增加 10 度：shift + 向上箭头。将俯仰角减小 10 度：shift + 向下箭头。将焦点跳转到地图：逃生。

  




  



   ©2022 TomTom






  时间范围
2021 年 1 月 1 日 – 至今





项目级资产
数据集项目包含以下资产。
      标题

STAC 密钥

角色

类型

存储选项



          每周数据集
data
数据
镶木地板
    帐户名称
ai4edataeuwest















列
每个表包括以下列。
      姓名

描述

类型



          城市
部署 Microsoft Eclipse 设备的城市
字节数组



    设备ID
给定设备的 ID
整数32



    地点名称
描述设备位置的唯一字符串
字节数组



    纬度
设备位置的纬度
双倍的



    经度
设备位置的经度
双倍的



    阅读日期时间UTC
记录 Eclipse 传感器读数时的 UTC 日期时间字符串（如 2022-03-04 20:27:25.000）
整数96



    PM25
未校准的细颗粒物 (PM 2.5)，单位为 µg/m³
双倍的



    校准PM25
校准后的 PM 2.5，单位为 µg/m³
双倍的



    湿度
相对湿度
双倍的



    O3
ppb 中未校准的臭氧
双倍的




     NO2
未校准的二氧化氮（ppb）
双倍的



    一氧化碳
PPM 中未校准的一氧化碳 (CO)
双倍的



    电池电量
以伏特为单位的设备电池电量
双倍的



    百分比电池
设备电池百分比
双倍的



    细胞信号
以 dB 为单位的蜂窝信号强度
双倍的













数据集资产
      资产

STAC 密钥

描述

角色

内容类型



          abfs://eclipse/Chicago/
data
完整的镶木地板数据集
数据
应用程序/x-镶木地板



    abfs://items/eclipse.parquet
geoparquet-items
导出为 GeoParquet 格式的集合的 STAC 项目的快照。
静态项目
应用程序/x-镶木地板













Project Eclipse Network是一个低成本的城市空气质量传感网络，是微软研究院城市创新小组领导的一个研究项目。
使用 STAC API

Eclipse 项目数据以一组 parquet 文件的形式分发——每周一个。我们可以使用 STAC API 来搜索特定周的文件。
代码：
import pystac_client import planetary_computer  catalog = pystac_client.Client.open(     "https://planetarycomputer.microsoft.com/api/stac/v1", ) search = catalog.search(collections=["eclipse"], datetime="2022-03-01") items = planetary_computer.sign(search.get_all_items()) print(f"Found {len(items)} item") item = items[0] item


Found 1 item

<Item id=Chicago-2022-02-27>We'll load the parquet file with pandas.
import geopandas import pandas as pd  asset = item.assets["data"] df = pd.read_parquet(     asset.href, storage_options=asset.extra_fields["table:storage_options"] ) df


CityDeviceIdLocationNameLatitudeLongitudeReadingDateTimeUTCPM25CalibratedPM25HumidityO3NO2COBatteryLevelPercentBatteryCellSignal
0Chicago2002State & Garfield (SB)41.804031-87.6311802022-02-27 00:04:049.12607110.3959.70306437.728996142.7701870.1051934.14390691.634804-83.0
1Chicago2002State & Garfield (SB)41.793957-87.6314852022-02-27 00:09:1410.92793711.6060.22338940.901974142.8987730.1140154.14281291.634804-80.0
2Chicago2002State & Garfield (SB)41.804031-87.6311802022-02-27 00:14:2410.39528211.0160.88409433.247395137.3016820.0963864.14109491.634804-82.0
3Chicago2002State & Garfield (SB)41.804031-87.6311802022-02-27 00:19:339.43124210.6161.98425337.036892130.6221010.1193554.14296991.385475-81.0
4Chicago2002State & Garfield (SB)41.793957-87.6314852022-02-27 00:24:449.64822110.7962.37793036.423344149.2838900.1256824.14234491.385475-82.0
................................................
195436Chicago2212EPA Springfield Pump Station E41.909859-87.7220462022-03-05 23:34:3312.48056514.4655.67016640.41765696.0798030.2527984.15671987.191406-86.0
195437Chicago2212EPA Springfield Pump Station E41.909859-87.7220462022-03-05 23:39:4310.86601313.3955.93872144.40731096.9096150.2493604.15671987.191406-86.0
195438Chicago2212EPA Springfield Pump Station E41.909859-87.7220462022-03-05 23:44:5312.15315914.2656.14318837.700886101.7641370.2548164.15718787.074219-86.0
195439Chicago2212EPA Springfield Pump Station E41.909859-87.7220462022-03-05 23:50:0315.43907216.1756.40869128.14700197.0748060.2423354.15593787.074219-85.0
195440Chicago2212EPA Springfield Pump Station E41.909859-87.7220462022-03-05 23:55:1310.18990612.8056.70471234.585629101.6086730.2384994.15625087.074219-87.0
195441 rows × 15 columns
# 41.8556863344578, -87.93552154031771
df = df[(df.Longitude > -89) & (df.Longitude < -86)] len(df)


187943 ts = df.resample("H", on="ReadingDateTimeUTC")[     ["CalibratedPM25", "Humidity", "O3", "NO2", "CO"] ].mean() ts.plot(subplots=True, sharex=True, figsize=(12, 12));


城市传感器气象数据集Urban Innovation Eclipse Sensor Data ... 第1张图片
​编辑
该数据集包含了每个传感器的许多观测数据。我们可以通过选择每个传感器的第一个观测值，用地理坐标绘制每个传感器的位置。
代码：
gdf = geopandas.GeoDataFrame(     df, geometry=geopandas.points_from_xy(df.Longitude, df.Latitude), crs="epsg:4326" )   gdf[["LocationName", "geometry"]].drop_duplicates(     subset="LocationName" ).dropna().explore(marker_kwds=dict(radius=8))


城市传感器气象数据集Urban Innovation Eclipse Sensor Data ... 第2张图片

城市传感器气象数据集Urban Innovation Eclipse Sensor Data ... 第3张图片
​编辑
使用一个命名的聚合，我们可以计算出每个传感器的摘要，并将其绘制在地图上。悬停在标记上可以看到每个传感器的平均校准PM25。
average_pm25 = geopandas.GeoDataFrame(     gdf.groupby("LocationName").agg(         mean_pm25=("CalibratedPM25", "mean"), geometry=("geometry", "first")     ),     crs="epsg:4326", ) average_pm25.explore(     marker_kwds=dict(radius=10), )


城市传感器气象数据集Urban Innovation Eclipse Sensor Data ... 第4张图片
​编辑
阅读完整的数据集
STAC集合包括一个数据资产，它链接到parquet数据集的根。这可以用来读取所有跨时间的数据。我们将使用Dask来读入数据集。
eclipse = catalog.get_collection("eclipse") asset = planetary_computer.sign(eclipse.assets["data"])


import dask.dataframe as dd  ddf = dd.read_parquet(     asset.href, storage_options=asset.extra_fields["table:storage_options"] ) ddf


Dask DataFrame Structure:
CityDeviceIdLocationNameLatitudeLongitudeReadingDateTimeUTCPM25CalibratedPM25HumidityO3NO2COBatteryLevelPercentBatteryCellSignal
npartitions=44
objectint32objectfloat64float64datetime64[ns]float64float64float64float64float64float64float64float64float64
.............................................
................................................
.............................................
.............................................
Dask Name: read-parquet, 44 tasks
​​往期推荐：

Google Earth Engine（GEE）——Sentinel-2数据你真的用对了吗？

Google Earth Engine（GEE）—— GRIDMET: 爱达荷大学网格化地表气象数据集

Google Earth Engine——全球陆地冰层空间数据的介绍（内含常见错误）

利用GEE-APP（LT-GEE Time Series Animator）快速实现1984-2021年gif动图的下载

Google Earth Engine APP——不写代码实现影像图例添加和全球底图添加

Google Earth Engine APP——不写代码实现影像图例添加和全球底图添加

Google Earth Engine APP——gee-ui geetemp 前端团队组件库

​Google Earth Engine——1980-至今全球50米压力、2 米温度、地表压力数据集


上一篇：申请美国工程类专业哪些学校比较好？
下一篇：爷青回！看特朗普幽默地嘲讽拜登，并现场进行模仿秀，太搞笑了！
标签：意大利2021年1月1月1日至微软研究院一氧化碳
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报

关联主题
回复

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

mic0475白金会员

0关注

6粉丝

464帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-6-5 08:32