PODSTAWY OBLICZENIA BAROMETRU RYZYKA NADUŻYĆ W ZAMÓWIENIACH PUBLICZNYCH

PODSTAWY OBLICZENIA BAROMETRU RYZYKA NADUŻYĆ W ZAMÓWIENIACH PUBLICZNYCH


Barometr opiera się na idei, że zamówienia publiczne są konkurencyjnym rynkiem. Dostęp do rynku zamówień powinien być swobodny, otwarty i transparentny. Tylko w ten sposób, zasadniczo, możliwe jest zagwarantowanie konkurencyjności i uzyskanie, w interesie publicznym, najlepszych cen w stosunku do jakości dostaw, usług, czy robót budowlanych.

Mając powyższe na względzie każdy czynnik, który może negatywnie wpływać na zachowanie tych podstawowych zasad należy uznać za ryzykowny. Natomiast wiodącym wskaźnikiem ryzyka nadużyć jest sytuacja, w której w ramach zamówienia występuje tylko jeden oferent – trudno o bardziej klarowny przejaw deficytu konkurencji. Wszystkie czynniki, które uprawdopodabniają wystąpienie takiej sytuacji powinny zostać uznane za „czerwone flagi” – wskaźniki ryzyka.

Drugie założenie znajdujące się u podstaw Barometru bazuje na przekonaniu, że wiele „czerwonych flag” może zostać zidentyfikowanych i poddanych bieżącej analizie dzięki informacjom, które zmawiający (przede wszystkim instytucje publiczne) są zobowiązani udostępniać w domenie publicznej. W przypadku Polski takimi źródłami informacji jest Biuletyn Zamówień Publicznych oraz Dziennik Zamówień Publicznych UE (tzw. TED). Zawierają one informacje na temat zamówień – od momentu zamieszenia ogłoszenia o zamówieniu, do chwili zamieszczenia ogłoszenia o udzieleniu zamówienia. A zatem Barometr szacuje ryzyko powstające na etapie procedury udzielania zamówienia publicznego. Niestety ani polski Biuletyn ani baza TED nie zawierają informacji dotyczących realizacji zamówień (takie rejestry jednak istnieją, na przykład w Czechach).  Mimo tego oraz innych ograniczeń (np. błędów, czy braków danych) obie bazy stanowią zasób ogromnej wiedzy o rynku, umożliwiający pogłębione analizy, także pod kątem ryzyka powstawania nadużyć.

Skonstruowanie Barometru polegało zatem na przejrzeniu dostępnych publicznie danych, znalezieniu możliwie wielu wskaźników ryzyka oraz poddaniu ich analizie statystycznej pod kątem tego czy uprawdopodobniają wystąpienie sytuacji jednego oferenta. W tabeli poniżej przedstawiamy listę wskaźników, które są potencjalnie do uzyskania w Polskich warunkach. Spośród nich ostatecznie zostało wybranych 9, które są ze sobą związane i przyczyniają się do zmniejszenia konkurencyjności rynku zamówień publicznych, a zatem mogły zostać uznane także za wskaźniki ryzyka nadużyć.

Lp. Nazwa Źródło Etap postępowania Możliwe wartości Sposób pozyskania

Typ postępowania CRCB ogłoszenie kategorie UZP / TED

Objętość kryteriów do spełnienia przez oferenta CRCB ogłoszenie wartość UZP / TED
wymaga policzenia

Objętość opisu przedmiotu zamówienia w ogłoszeniu CRCB ogłoszenie wartość UZP / TED
wymaga policzenia

Ilość dni od publikacji ogłoszenia do terminu składani ofert CRCB ogłoszenie wartość UZP / TED

Szacunkowy koszt przygotowania oferty CRCB ogłoszenie wartość UZP / TED
własny algorytm

Zmiany warunków w trakcie postępowania CRCB ogłoszenie tak/nie UZP / TED
Data mining

Sumaryczna waga kryteriów innych niż cena CRCB ogłoszenie wartość UZP / TED
wymaga policzenia

Występowania kryteriów innych niż cena POP ogłoszenie tak/nie UZP / TED

Anulowanie / ponowne ogłoszenie postępowania CRCB ogłoszenie tak/nie UZP / TED
W przypadku UZP wymagany data mining
W przypadku UZP nie zawsze się podaje

Deklarowana długość od momentu zakończenia składania ofert do podjęcia decyzji (okres związania ofertą) CRCB ogłoszenie wartość UZP / TED

Modyfikacje umowy w trakcie realizacji zlecenia CRCB realizacja
OGŁOSZENIE
tak/nie UZP / TED
Jeżeli jest zapis dopuszczający taką modyfikację - Data mining
Jeżeli jest dokonywana modyfikacja na etapie realizacji - nie posiadamy informacji

Przedłużanie czasu realizacji  zlecenia CRCB realizacja
OGŁOSZENIE
tak/nie UZP / TED
Jeżeli jest zapis dopuszczający taką modyfikację - Data mining
Jeżeli jest dokonywana modyfikacja na etapie realizacji - nie posiadamy informacji

Udział zwycięscy postępowania w rynku CRCB ogłoszenie wartość UZP / TED
Obliczenia własne
Brak możliwości jednoznaczengo rozpoznawania beneficjentów

Zamówienie jest częścią większego zamówienia (dzielenie zamówień) TI/GANIS ogłoszenie tak/nie UZP / TED
Data Mining
Nie zawsze jest ta informacja podawana

Informacja o wartości zamówienia jest podana w ogłoszeniu TI/GANIS ogłoszenie tak/nie UZP / TED

Szczegółowość specyfikacji istotnych warunków zamówienia sugeruje, że postępowanie jest ukierunkowane na jednego wykonawcę TI/GANIS ogłoszenie ocena SIWZ
Wymagana analiza człowieka

Ogólna ocena przejrzystość informowania o postępowaniu POP ogłoszenie ocena Strona www zamawiającego

Etap realizacji zamówienia w momencie badania POP realizacja kategorie UZP / TED

Typ zlecającego POP ogłoszenie kategorie UZP
Konieczność analizy i ręcznego przeczyszczenia ponad 20 000 rekordów

Typ oferenta POP ogłoszenie kategorie Brak informacji o innych oferentach

Typ wygrywającego POP zakończenie postępowania kategorie UZP / TED
Data mining z nazwy beneficjenta

Liczba unikalnych oferentów w branży POP ogłoszenie wartość BZP / TED
Obliczenia własne
Brak możliwości jednoznaczengo rozpoznawania beneficjentów

Liczba unikalnych oferentów na zamawiającego POP ogłoszenie wartość UZP / TED
Obliczenia własne
Brak możliwości jednoznaczengo rozpoznawania beneficjentów

Występowanie w ogłoszeniu konkretnych nazw produktów / komponentów wymaganych w ramach realizacji zamówienia POP ogłoszenie tak/nie UZP / TED
Data Mining
Konieczność stworzenia słownika produktów
Wymagana duża moc obliczeniowa maszyn

Występowanie związków między oferentami POP zakończenie postępowania tak/nie Baza zewnętrzna
brak możliwości jednoznaczengo rozpoznania beneficjentów
brak informacji o innych oferentach
trudność w powiązaniu danych na podstawie posiadanych informacji

Częstotliwość wygranych przez tego samego oferenta POP / CMI zakończenie postępowania wartość UZP / TED
brak możliwości jednoznaczengo rozpoznania beneficjentów

Radykalnie wysokie oferty POP /CMI zakończenie postępowania tak/nie UZP / TED
Analiza własna rynku
Opracowane na średnich dla rynków
Dane nieostre

Radykalnie niskie oferty POP / CMI zakończenie postępowania tak/nie UZP / TED
Analiza własna rynku
Opracowane na średnich dla rynków
Dane nieostre

Wygrywająca oferta bardzo bliska wartości zmówienia POP / CMI zakończenie postępowania tak/nie UZP / TED

Stosunek liczby oferentów do liczby potencjalnych wykonawców WB zakończenie postępowania wartość UZP / TED
Obliczenia własne
brak możliwości jednoznaczengo rozpoznania beneficjentów

Krótki czas między decyzją o wyborze oferenta i podpisaniem umowy WB zakończenie postępowania tak/nie Brak informacji o podpisaniu umowy

Istotna różnica między ceną wybranej oferty a drugą w kolejności WB / OECD zakończenie postępowania tak/nie brak informacji o pozostałych oferentach

Ograniczenia dotyczące oferentów (np. zagranicznych) OECD ogłoszenie tak/nie UZP / TED

Wysokie wadium OECD ogłoszenie tak/nie UZP / TED
Obliczenia własne
Obliczenia uśrednione
Wynik nieostry

Zastosowanie jednoetapowej procedury OECD ogłoszenie tak/nie UZP / TED

Wymóg złożenia oświadczeń o związkach z innymi potencjalnymi oferentami OECD ogłoszenie tak/nie UZP / TED
Data Mining

Zastosowanie e-procedury POP/EBRD ogłoszenie tak/nie UZP / TED

Dokumentacja zamówienia zawiera instrukcje dot. zachowania przejrzystości i unikania konfliktu interesów OECD ogłoszenie tak/nie UZP / TED
Data Mining

Dokumentacja zamówienia zawiera wymóg przedstawienia podwykonawców OECD ogłoszenie tak/nie UZP / TED
Data Mining
Czasami zapis ten znajduje się w ogłoszeniu, częściej jednak w innej dokumentacji do której nie mamy dostępu

Zamówienie ma charakter łączony (z innymi zamówieniami) OECD ogłoszenie tak/nie UZP / TED
Możliwość określenia na podstawie statystyki, które rynki często idą w parze. W przypadku wyjścia poza standard w CPV - oznaczenie jako łączone. Możliwość popełnienia dużego błędu. Niemożliwość wychwycenia większości przypadków.

Ogłoszenie o zamówieniu zawiera ostrzeżenie o sankcjach za naruszenia prawa (w szczególności przepisów dot. zmów) OECD ogłoszenie tak/nie UZP / TED
Data mining

Ogłoszenie o zamówieniu zawiera ostrzeżenie o możliwości nierozstrzygnięcia postępowania w sytuacji podejrzenia naruszeń zasad uczciwej konkurencji OECD ogłoszenie tak/nie UZP / TED
Data mining

Najtańszą ofertę składa oferent występujący relatywnie najczęściej w postępowaniach dot. tej samej kategorii zamówień OECD zakończenie postępowania tak/niewartość UZP / TED
Obliczenia własne

Duża koncentracja wygrywających oferentów w określonych obszarach geograficznych OECD zakończenie postępowania tak/niewartość UZP / TED
wymaga geolokalizacji

W postępowaniu pojawiają się oferenci, którzy mimo udziału w innych postępowaniach nigdy ich nie wygrywają lub wygrywają relatywnie rzadko OECD zakończenie postępowania tak/nie UZP / TED
Obliczenia własne

Występowanie w dokumentacji postępowania specyficznych sformułowań, np. „sugerowanych cen”, „standardowych cen”, wykazu cen” OECD ogłoszenie tak/nie SIWZ
Data mining

Użycie w dokumentacji postępowania konkretnych nazw produktów, usług, dostawców, etc. POP/OECD ogłoszenie tak/nie SIWZ
Data mining

Wysoka kwota zamówienia PwC ogłoszenie/wynik tak/nie UZP / TED
Można przyjąć, że jeżeli w TED to ma wysoką wartość

Mała liczba oferentów PwC ogłoszenie tak/nie UZP / TED

Skargi od oferentów, którzy nie wygrali postępowania PwC zakończenie postępowania tak/niewartość KIO
Brak możliwości powiązania spraw
Można jednak się zastanowić nad powiązanie po nazwie zamawiającego lub beneficjenta

Zmiany warunków zamówienia po rozstrzygnięciu postępowania PwC zakończenie postępowania tak/nie Brak możliwości uzyskania informacji

Ceny wszystkich złożonych ofert przekracza wartość zamówienia PwC zakończenie postępowania tak/niewartość UZP / TED

Wygrywający postępowanie jest członkiem organizacji zrzeszające przedsiębiorców PwC zakończenie postępowania tak/nie Baza zewnętrzna
Brak jednoznacznej identyfikacji beneficjentów

Udział środków unijnych PwC ogłoszenie tak/nie UZP / TED

Wielkość udziału środków publicznych pochodzących bezpośrednio z budżetu państwa PwC ogłoszenie wartość Brak informacji w ogłoszeniach

Braki danych na temat zlecającego w bazie TED PwC ogłoszenie tak/nie TED

Brak upublicznienia dokumentów dot. wyboru oferty oraz kontraktu PwC zakończenie postępowania tak/nie UZP / TED

Udział środków samorządowych PwC ogłoszenie wartość UZP / TED
przy założeniu że skutecznie przeczyścimy typy zamawiających i określimy grupy dla których zamówienia są realizowane ze środków samorządowych

Liczba zamówień publicznych udzielanych poniżej progu przetargowego CBA ogłoszenie wartość Brak takiej informacji - posiadamy częściowe informacje - w większości są one dobrowolne.

Wartość ofert różni się od siebie względnie stałymi kwotami CBA zakończenie postępowania wartość Brak informacji o innych oferentach

Ilość wymaganych od oferentów dokumenty / certyfikaty Własny ogłoszenie wartość BZP

Tryb postępowania Własny ogłoszenie wartość BZP / TED

Czas od terminu składania ofert do ogłoszenia wyniku Własny zakończenie postępowania wartość BZP / TED

Termin składania ofert znajduje się w ciągu długiego weekendu lub czas jest krótki i obejmuje święta. Własny zakończenie postępowania TAK / NIE obliczenia własne

Powyższa lista wskaźników stanowiła punkt wyjścia do dyskusji i ich wstępnej analizy w grupie ekspertów, którzy specjalizują się w problematyce zamówień publicznych. Podczas spotkań osób zaangażowanych bezpośrednio w projekt zredukowaliśmy liczbę wskaźników. Eliminacji w pierwszej kolejności zostały poddane wskaźniki trudne do pozyskania z istniejących zasobów. Następnie te, które dało się uzyskać i obliczyć dla większości przypadków zamówień zostały poddane testom statystycznym.

BAZA DANYCH POSTĘPOWAŃ PRZETARGOWYCH

Po wybraniu wskaźników została przygotowana baza danych zawierająca rekordy z Biuletynu Zamówień publicznych.
Skompletowane bazy danych, obejmujące wyniki postępowań, na podstawie których przygotowano Barometr są dostępne do pobrania w dziale "Do pobrania". Obejmują one przetargi i wyniki umieszczone w Biuletynie Zamówień Publicznych, za okres od 1 stycznia 2010 roku do 30 grudnia 2015 roku, łącznie ok. 2 milionów rekordów.

Barometr dla zamówień powyżej progów unijnych, które są zamieszczane w europejskiej bazie TED został przygotowany przez zespół analitykówz Government Transparency Institute. Ze względu na różnice między strukturą danych w polskim Biuletynie Zamówień Publicznych oraz w TED, Barometr dla zamówień powyżej progu unijnego jest obliczany w oparciu o nieco inny zestaw wskaźników.

Uwaga! Proces gromadzenia i uzdatniania danych może być trudny do odwzorowania w innych systemach. Większość wskaźników będzie ta sama, jednak sposób czyszczenia danych może być różny. Dla przykładu w systemie, który został wykorzystany przez twórców Barometru zastosowano algorytmy wiążące rekordy firm na podstawie nazwy i adresu. Trudno będzie odwzorować identyczny proces w innym systemie informatycznym. Wiąże się to z tym, że dla przykładu wskaźnik ilości konkurentów w danej branży może być inny niż uzyskany przez nas. Z tego powodu w "Plikach do pobrania", publikujemy i udostępniamy uzyskane przez nas wartości Barometru oraz jego składowych w tablach dla każdego roku z osobna. Zabieg ten umożliwi uzyskacie tych samych wyników w przypadku zastosowania algorytmu w innych systemach informatycznych.

CZYSZCZENIE I WZBOGACANIE DANYCH

Zlecający i wykonawcy

Jednym z największych problemów źródeł na podstawie, których powstał Barometr jest brak możliwości jednoznacznej identyfikacji Zlecających i Wykonawców. A jest to informacja niezbędna do wyliczenia kilku składowych Barometru, np. wielkości danego rynku. Zarówno w bazie TED jaki i BZP wykonawcy i zamawiający są identyfikowani na podstawie nazw oraz danych teleadresowych. Brak jest jakichkolwiek numerów identyfikacyjnych (np. REGON). Ponieważ dane wprowadzane są ręcznie przez urzędników, wartości określające tego samego wykonawcę, czy zamawiającego bywają różne (literówki, przestawienie kolejności wyrazów w nazwie, używanie różnych skrótów, np. sp. z o.o. czy SP ZOO, niekompletne adresy pocztowe, brak prawidłowego rozdzielenia konsorcjantów, etc.).

Wskaźniki

Ponadto, żeby zminimalizować liczbę wynikających stąd błędów dane na potrzeby przygotowania Barometru zostały oczyszczone. W skrócie procedura czyszczenia danych wyglądała następująco:

  1. Ujednolicenie nazw wykonawców / zamawiających – polega to na wykryciu np. adresu w nazwie i usunięciu wszelkich wariantów określających typ firmy np. typy spółki itp. Następnie wartość tekstową adresu rozbijana jest na: miasto, ulicę, kod pocztowy i województwo. Wartości rozbite w ten sposób służą nam do określenia geolokalizacji beneficjenta (kordynaty gx i gy na mapie Google). Na podstawie danych geolokalizacyjnych bierzemy wszystkie firmy w okręgu o średnicy 10 km. Następnie specjalnie sporządzony w tym celu skrypt wyszukiwał różne warianty (przestawianie wyrazów) nazwy beneficjenta i porównywał je z wartościami w bazie danych. Jeżeli nie znaleziono odpowiedniego rekordu, skrypt szukał podmiotów o tym samym adresie (dokładność do ulicy) i na podstawie algorytmu Levenstein'a określał podobieństwo nazwy beneficjentów. Jeżeli współczynnik prawdopodobieństwa osiągał wartości rzędu 90% i więcej, skrypt łączył rekordy najbardziej zbliżonej nazwach. Jeżeli wartość współczynnika była niższa skrypt tworzył nowy rekord.
  2. Wadium – informacja o wadium nie jest dostępna jako odrębna wartość. Jest ona jednak niezbędna, ponieważ ta wartość w stosunku, na przykład do całej grupy badanego rynku jest istotnym czynnikiem wpływającym na konkurencyjność zamówień publicznych. Pozyskanie Wadium wymagało zastosowanie technik Data Mining, ponieważ dana ta jest zawarta w tekście ogłoszenia o zamówieniu. Jest to wartość tekstowa, co przysparza wiele problemów. Różne notacje wartości (zapis liczby w różnych postaciach, z przecinkami, ze spacjami z kropkami itp.), usytuowanie w różnych miejscach ogłoszenia sprawia powoduje, że nie jest to informacja łatwa do uzyskania. Dodatkowy kłopot sprawiają postępowania podzielone na części. W takim przypadku, wartość wadium może być równa ilości części postępowania przetargowego, ale nie koniecznie. Trzeba zatem tę informację pozyskać z tekstu ogłoszenia a następnie zsumować. Skrypt zastosowany na potrzeby Barometru, aby ograniczyć ryzyko pomyłki, dodatkowo zapisywał minimalną wartość wadium, maksymalną wartość oraz sumę wadium, która zazwyczaj była szukaną wartością. Pozyskanie wartości wadium w ten sposób jest niestety obarczone pewnym ryzykiem błędu. Szacujemy, że skrypt trafnie obliczał wartość wadium ze skutecznością nieco ponad 93%. Istnieje zatem pewien margines błędu. Stąd też przeprowadzono także weryfikację wartości wadium Weryfikacja wadium porównując informacje z ogłoszeń o zamówieniu z informacjami z ogłoszeń o udzieleniu zamówienia. Jeżeli sumaryczne wadium okazywało się większe niż 0,8 sumarycznej wartość postępowania (uwzględniają wszystkie części) skrypt oznaczał taki przypadek jako błąd.
  3. Wartość części – informacje o wartości części zamówienia niestety  również nie są zapisywane w sposób jednoznaczny – ani w BZP ani w TED. Dodatkowo bywam, że wartości zamówień podawane są w innej walucie. Wtedy należy zastosować odpowiedni przelicznik EUR, który jest zmieniany i ustalany na sztywno co 2 lata. W przypadku wygrania danej części lub postępowania przez konsorcjum, wartość może się zmienić – inna będzie w ogłoszeniu o zamówieniu, inna w ogłoszeniu o udzieleniu zamówienia. Na potrzeby Barometru zastosowano zasadę, że  kwota zamówienia jest dzielona na równe części pomiędzy wszystkich rozpoznanych wykonawców / konsorcjantów. W analizach brana jest także wartość w przeliczeniu na EUR.
  4. Długość opisu przedmiotu zamówienia – jest to ilość znaków wraz z przecinkami, po usunięciu wszelkich tagów HTML stylujących i formatujących tekst wyciągniętego z pola formularzy pn. "Określenie przedmiotu oraz wielkości lub zakresu zamówienia:".  Obliczenie długości uwzględnia także odstępy pomiędzy wszystkimi wyrazami – po znaku zamknięcia tagu HTML najpierw dodawana jest spacja, przed usunięciem wszystkich tagów.
  5. Długość opisu kryterium przystąpienia do zamówienia – Jest to ilość znaków wraz z przecinkami, po usunięciu wszelkich tagów HTML stylujących i formatujących tekst wyciągniętego ze wszystkich pól (włącznie z ich nazwami) znajdującymi się w polu formularzy pn.: "Warunki udziału w postępowaniu oraz opis sposobu dokonywania oceny spełniania tych warunków". Aby uwzględnić odstępy pomiędzy wszystkimi wyrazami, po znaku zamknięcia tagu HTML najpierw dodawana jest spacja, przed usunięciem wszystkich tagów.
  6. Okres, od upływu terminu składania ofert, do ogłoszenia wyniku –  jest to liczba dni pomiędzy datą składania ofert a publikacją decyzji o udzieleniu zamówienia lub danej jego części. Należy mieć na uwadze, że jeżeli w postępowaniu zostanie zmieniony termin składania ofert algorytm podczas przeliczania uwzględnia ostateczny termin składania ofert, czyli na potrzeby obliczenia Barometru zostanie on skrócony. Ostateczny pomiar jest bowiem dokonywany dla zamówień lub ich części co, do których ogłoszono decyzję o udzieleniu zamówienia.
  7. Ilość dni od publikacji ogłoszenia do upływu terminu składani ofert – jest to liczba dni pomiędzy datą publikacji a upływem terminu składania ofert. Należy mieć na uwadze, że jeżeli w postępowaniu zostanie zmieniony termin składania ofert algorytm podczas przeliczania uwzględni ostateczny termin składania ofert, czyli zostanie on wydłużony.
  8. Sumaryczna waga kryteriów innych niż cena – pomimo że w ogłoszeniach o zamówieniu wartość kryterium ceny jest określana, nie jest ona jednoznaczna. Dodatkowo trzeba mieć na uwadze, że niektóre wartości, choć nie są ceną sensu stricte, mogą także być traktowane jako kryterium ceny – np. odsetki. W tym celu przeanalizowaliśmy około 1000 przetargów z wieloma kryteriami ceny i ustaliliśmy dodatkowe formuły Data Mining, które określają czy dane kryterium oceny jest związane z ceną lub nie. W większości przypadków sprowadza się to do wyszukania sformułowań " cen%", "koszt%" czy "oprocent%". Przy obliczaniu wagi kryterium należy także uważać na formę, jakiej używają zamawiający. Nie jest ona podawana w ściśle określonej wartości np. 0-100. Wartości mogą być różne od 0-100, 0-10, 0-1 (zmiennoprzecinkowe). My radzimy sobie z tym tak, że obliczamy sumę wartości kryteriów cenowych i dzielimy ją przez sumę wszystkich wskazanych wartości, dzięki czemu uzyskujemy procentową wartość wskaźnika.

Mając wskaźniki oraz zbiór, mogliśmy rozpocząć analizę korelacji wskaźników pod kątem oceny na ile przyczyniają się one do wystąpienia sytuacji, w której pojawił się tylko jeden oferent.

UWAGA! Powyższy opis dotyczy wyliczenia Barometru dla danych pochodzących z polskiego Biuletynu Zamówień Publicznych. W podobny sposób, lecz przy użyciu mnijszej liczby wskaźników ocena ryzyka była szacowana dla danych pochodzących z Europejskiego Biuletynu Zamówień Publicznych (TED). Dodatkowy opis metodologii znajduje się w zakładce. DO POBRANIA