Jak zbieramy i publikujemy dane

Skrót: co, skąd i jak często

Indeksy frachtu morskiego

Drewry World Container Index

Z publicznie dostępnej strony indeksu pobieramy wartość składową (composite) wyrażoną w dolarach za kontener 40 stóp oraz tygodniową zmianę procentową. Drewry publikuje aktualizację raz w tygodniu, dlatego między publikacjami wartość się nie zmienia i dokładnie tak ją prezentujemy: z datą odczytu, a nie z datą dzisiejszą.

Odczyt przechodzi kontrolę zakresu. Wartości spoza sensownego przedziału dla tego indeksu traktujemy jako błąd parsowania i odrzucamy, zamiast zapisywać podejrzaną liczbę.

SCFI (Shanghai Containerized Freight Index)

Indeks publikuje Shanghai Shipping Exchange. Bierzemy wartość składową (comprehensive index) z publicznej tabeli na stronie giełdy, również raz w tygodniu, wraz z datą publikacji. SCFI jest indeksem punktowym, więc podajemy punkty, a nie dolary, i nie mieszamy go z WCI w jednym szeregu.

Bieżące wartości obu indeksów razem ze zmianą tydzień do tygodnia pokazujemy na stronie stawki frachtu z Chin.

Kolej Chiny do Europy

Korzystamy z ERAI, indeksu publikowanego przez Eurasian Rail Alliance. Pobieramy kierunek zachodni, czyli przewozy z Chin do Europy, w dolarach za FEU. Ze strony indeksu bierzemy również datę ostatniej zmiany wartości i to ona jest datą odczytu w naszym szeregu.

Fracht lotniczy

Śledzimy Drewry Airfreight Price Index dla tras East-West, publikowany w dolarach za kilogram. Ten indeks aktualizowany jest w cyklu miesięcznym, więc również w naszym serwisie zmienia się raz w miesiącu. Jeżeli wydawca opisuje wartość zdaniem odnoszącym się do konkretnego miesiąca, przypisujemy odczyt do tego miesiąca, a nie do dnia pobrania.

Środki ochronne Unii Europejskiej

Informacje o cłach antydumpingowych, antysubsydyjnych i środkach ochronnych zbieramy z dwóch miejsc naraz. Pierwszym jest TRON, czyli portal postępowań ochronnych Komisji Europejskiej: stamtąd bierzemy trwające dochodzenia, ich numery i status. Drugim jest EUR-Lex, z którego pobieramy akty opublikowane w Dzienniku Urzędowym Unii Europejskiej: rozporządzenia nakładające cła, zawiadomienia o wszczęciu i o zbliżającym się wygaśnięciu środków.

Zapisujemy wyłącznie dane deterministyczne, czyli takie, które da się jednoznacznie odczytać z dokumentu: numer sprawy, przedmiot postępowania, kody CN, daty i link do aktu. Wpisy przygotowane ręcznie przez redakcję mają pierwszeństwo i automat nigdy ich nie nadpisuje. Gotowe zestawienie w podziale na kody CN publikujemy w rejestrze ceł antydumpingowych na towary z Chin.

Po stronie polskiej śledzimy dodatkowo komunikaty PUESC, platformy Krajowej Administracji Skarbowej: informacje o obsłudze zgłoszeń celnych i o zmianach w systemach celnych trafiają do wydań radaru, bo zmieniają przebieg odprawy, a nie samą stawkę.

Kursy walut

Kursy pobieramy z publicznego API Narodowego Banku Polskiego, z tabeli A (kursy średnie). Przy każdym kursie pracujemy na dacie obowiązywania podanej przez NBP (pole z datą efektywną), a nie na dacie naszego zapytania. NBP nie publikuje tabeli w dni wolne, więc w weekend i w święta obowiązuje ostatni opublikowany kurs i tak go opisujemy.

Data odczytu i częstotliwość

Rozróżniamy trzy daty i staramy się ich nie mylić:

• Data publikacji przez wydawcę: kiedy indeks został ogłoszony (na przykład tygodniowa aktualizacja WCI).
• Data odczytu: kiedy nasz kolektor pobrał wartość. To ona jest widoczna przy liczbach w serwisie.
• Data wydania radaru: dzień, którego dotyczy konkretne wydanie przeglądu.

Kolektory uruchamiamy automatycznie, codziennie. Indeks tygodniowy nie zmienia się jednak częściej, niż publikuje go wydawca, nawet jeżeli sprawdzamy go każdego dnia.

Gdy źródło nie odpowiada

Każde źródło pobieramy niezależnie i w izolacji: awaria jednego nie zatrzymuje pozostałych. Gdy strona źródła nie odpowiada, zmieni układ albo zwróci wartość spoza dopuszczalnego zakresu, dzieje się co następuje:

• nowy punkt nie powstaje, w szeregu zostaje luka zamiast zmyślonej wartości;
• w serwisie nadal widoczny jest ostatni potwierdzony odczyt razem ze swoją datą, żeby było widać, że dane się nie odświeżyły;
• błąd trafia do logu kolektora, a redakcja weryfikuje, czy to chwilowa awaria, czy zmiana struktury strony wymagająca poprawki parsera;
• jeżeli przerwa się przedłuża, opisujemy to wprost w wydaniu radaru.

Korekty

Wydawcy indeksów czasem korygują opublikowaną wartość. Jeżeli tak się stanie, poprawiamy punkt w naszym szeregu do wartości po korekcie i zachowujemy datę odczytu źródłowego. Gdy korekta zmienia wnioski z opublikowanego wcześniej tekstu lub wydania radaru, dopisujemy do niego notę o korekcie z datą, zamiast po cichu podmieniać liczbę. Zasadę tę stosujemy również do naszych własnych błędów, a tryb zgłaszania opisuje polityka redakcyjna.

Prawa do danych źródłowych

Indeksy pozostają własnością ich wydawców. Cytujemy wartości udostępniane publicznie, zawsze z podaniem wydawcy i linkiem do jego strony. Nie redystrybuujemy pełnych, licencjonowanych szeregów ani danych trasowych, do których dostęp jest płatny.