Wsparcie dla aqi.eco#314

Jest wiele czujników w Polsce które korzystają z Nettigo Air Monitor ale nie raportują danych do Luftdaten a jedynie do aqi.eco (taki polski luftdaten i ma więcej danych niż pm2,5+pm10 i myślę że głównie dla tego że można tam też podać dane sponsora).

Nettigo Air Monitor to bardzo solidna konstrukcja z grzanym torem powietrza i solidną czerpnią więc są to bardzo wartościowe czujniki (https://nettigo.pl/products/nettigo-air-monitor-0-3-kompletny-zlutowany-zestaw-wersja-pro-z-zewnetrzna-antena-sht31-bmp180) więc to wartościowe dane pomiarowe.

Wiele miast swoją sieć pomiarową opiera właśnie na tym urządzeniu (przykładowo miasto Włoszczowa https://smog.tlw24.pl/pl).

API tutaj https://aqi.eco/map/data.json)

Wyzwaniem na pewno będzie fakt że sporo czujników jednak wysyła dane równocześnie do luftdaten oraz aqi.eco więc dublowałyby się więc trzeba by było je jakoś korelować.

Bardzo chętnie dodam to źródło danych aleee..

1. Nie znalazłem kontaktu do twórców czy zasad użycia API
2. Pojawia się problem z duplikatami stacji - jeśli stacja jest w Luftdaten i w AQI.eco to będzie widoczna podwójnie bo nie ma jak jej zidentyfikować.

1. Kontakt do twórcy serwisu aqi.eco jest na dole strony https://tomek.rekawek.eu/

2. Identyfikacja mogła by sie odbyć po współrzędych albo tworca aqi.eco powiniem móc wystawić do api numer ID czytnika który jest dostepny w luftdaten

Dziękuję za znalezienie kontaktu - już zwróciłem sie do autora z intencją podłączenia AQI.eco do Kanarka. Trzymajcie kciuki :)

Co do odróżnienia stacji - niestety lokalizacja to za mało (ja sam mam parę stacji obok siebie na balkonie więc lokalizacja nie jest unikatowa), jestem otwarty na wszelkie inne pomysły.
np.

• wspólny identyfikator stacji w AQI.eco i Luftdaten (wymaga zapewne zmian po stronie AQI i może być trudne w realizacji).
• Ręczna lista takich stacji i wykrywanie duplikatów po stronie Kanarka - minus jest ilość ręcznej pracy i weryfikowania czy stacja jest duplikatem czy nie.
• Pobieranie tylko wskazanych stacji z AQI.eco przez ich właścicieli do Kanarka.

Cześć, tu Tomek z aqi.eco

Na początku przepraszam za problemy ze znalezieniem kontaktu do mnie, dodam odpowiednią podstronę na aqi.eco.

Jestem jak najbardziej za integracją, wszystko dla dobra sprawy ;) Kilka myśli:

1. Czujniki NAM/Luftdaten wysyłają uniknalny ESP8266ID. Mogę udostępnić ten identyfikator w data.json, ale niestety wydaje mi się, że nie jest on dostępny w danych z sensors.community (choć mogę się mylić). O ile mi wiadomo, po rejestracji w sensors.community, serwis sam przetwarza ESP8266ID na własny, wewnętrzny identyfikator urządzenia (device id) i czujników (sensor id - jedno urządzenie może mieć kilka czujników).

Ale może się mylę, ostatni raz tym API zajmowałem się jakoś 2 lata temu.

Przykład:
https://grunwald.aqi.eco/
esp8266-2392534 (to mogę udostępnić)

sensors.community: https://maps.sensor.community/[#16](/16)/52.3987/16.8796
sensor id: 24335

Może dałoby się to korelować np. po lokalizacji + dokładnej wartości któregoś z ostatnich pomiarów.

1. Chciałbym aby z poziomu widoku czujnika w Kanarku dało się przejść do odpowiedniej podstrony w AQI, aby jakoś uhonorować właściciela urządzenia.

2. W tej chwili data.json zawiera ostatnie dane + średnią godzinową. Myślę, że jest to wystarczające, ale możemy tam też dodać inne średnie (jest dostępna jeszcze 24h).

3. aqi.eco obsługuje kilka sposobów otrzymywania danych:

4. metoda push przez HTTP API,

5. metoda pull z sensors.community,
6. metoda pull ze Smogtok, syngeos lub GIOŚ

Domyślam się, że dla Kanarka najbardziej wartościowy jest push, bo to jedyne “oryginalne” dane których nie można znaleźć gdzieś indziej. Dlatego być może udostępniłbym oddzielny endpoint HTTP, gdzie lądowałyby jedynie dane z pierwszej kategorii.

Pozdrowienia,
Tomek

Gdyby komuś się udało znaleźć kod źródłowy do API https://api.sensor.community/ to chętnie podejme się analizy czy da się wyciągnąć id urządzenia. Mnie się nie udało go znaleźć. Na pewno jest do nich wysyłana - w nagłówku “X-Sensor”.

https://github.com/opendata-stuttgart/meta/wiki/EN-APIs

Nagłówek X-Sensor w rodzaju esp8266-2392534 w dokumentacji nazywa się chipID, a w kodzie serwisu https://api.sensor.community to node.uid, używane do uwierzytelnienia:

https://github.com/opendata-stuttgart/feinstaub-api/blob/master/feinstaub/sensors/authentication.py#L5

Wydaje się, że to ID jest dostępne tylko dla właścicieli czujnika:

https://github.com/opendata-stuttgart/feinstaub-api/blob/master/feinstaub/sensors/views.py#L103-L117

Myślałem trochę o tej duplikacji. Moglibyśmy spróbować podejścia w którym na aqi.eco chodzi batchowy job, powiedzmy co 15 minut. Job ten:

1. Ściągnąłby wszystkie czujniki z maps.sensor.community
2. Znalazł czujniki z aqi.eco które leżą w promieniu około 1km.
3. Spróbował połączyć czujniki które zaraportowały dokładnie te same wartości PM10 i PM2.5.

Takie czujniki w data.json na aqi.eco moglibyśmy oznaczyć ich publicznym identyfikatorem z sensor.community.

Hej,
Po pierwsze ogromne dzięki Tomek za otwartość i aktywny udział w dyskusji nad problemem.

Z mojej strony - jestem sceptyczny niestety do łączenia po lokalizacji i pomiarach (np. mój case - czujniki 3 sieci obok siebie na balkonie o podobnych pomiarach łatwo mogą trafić w przypadek że cos zostałoby uznane za duplikat).

Chyba już nawet bym preferował manualne oznaczanie stacji które są unikatowe dla AQI.

Co do danych (AQI-Kanarek), na ten moment ze względu na design pozostałych API z którymi się integrujemy to Kanarek pobiera batchowo dane (pull) do siebie (co ok. 10-20 min). Także istniejace API AQI (https://aqi.eco/map/data.json) powinno być wystarczające 👍

Chyba już nawet bym preferował manualne oznaczanie stacji które są unikatowe dla AQI.

OK, tak będzie najprościej.

Dodałem nowy checkbox w ustawieniach urządzenia, “Udostępnij w Kanarku”.

Pomiary z urządzeń oznaczonych w ten sposób są dostępne pod:
https://api.aqi.eco/data/kanarek.json

Gdy uda się to jakoś zintegrować, możemy pomyśleć o wzajemnej promocji, itd.

Jeśli chodzi o warunku użycia, to zależy mi jedynie by przy pomiarach z aqi.eco pojawiał się link do strony, oznaczony jako “path” w danych z JSONa, aby jakoś uhonorować właścicieli czujników.

Hej, kudosy i dzięki!

Co warunków to podeślę takie obustronne na maila (to że mam serwować link jest też w nich właśnie 👍).

Cześć, tu Rafał z eko.edial.pl

Przyznam, że trochę się pogubiłem czytając powyższą dyskusję.

Jeśli moje wszystkie czujniki NAM, zrzucają dane do AQI oraz Luftdaten i tym samym są widoczne w Kanarku, to mam dodatkowo zaznaczać nowododany checkbox Udostępnij w Kanarku w aqi.eco czy też nie? 🤔

Cześć Rafał! Jeśli Twoje czujniki wysyłają już dane do sensor.community, to nie musisz dodatkowo zaznaczać nowej opcji w aqi.eco.

Może przydałby się tam opis z wyjaśnieniem, że ta opcja ma sens jedynie dla czujników nie zintegrowanych z sensor.community. Od strony aqi.eco niestety nie jestem w stanie sprawdzić, czy czujnik wysyła dane do również do sensor.community czy też nie. Dodam taki opis.

@Michał - nie otrzymałem jeszcze dokumentu. Gdy będzie gotowy, podeślij go może na trekawek@gmail.com.

Może przydałby się tam opis z wyjaśnieniem, że ta opcja ma sens jedynie dla czujników nie zintegrowanych z sensor.community. Od strony aqi.eco niestety nie jestem w stanie sprawdzić, czy czujnik wysyła dane do również do sensor.community czy też nie. Dodam taki opis.

Bardzo dobry pomysł. Dodatkowy opis pomoże każdemu.