PODSTAWY OBLICZENIA BAROMETRU RYZYKA NADUŻYĆ W ZAMÓWIENIACH PUBLICZNYCH
Barometr opiera się na idei, że zamówienia publiczne są konkurencyjnym rynkiem. Dostęp do rynku zamówień powinien być swobodny, otwarty i transparentny. Tylko w ten sposób, zasadniczo, możliwe jest zagwarantowanie konkurencyjności i uzyskanie, w interesie publicznym, najlepszych cen w stosunku do jakości dostaw, usług, czy robót budowlanych.
Mając powyższe na względzie każdy czynnik, który może negatywnie wpływać na zachowanie tych podstawowych zasad należy uznać za ryzykowny. Natomiast wiodącym wskaźnikiem ryzyka nadużyć jest sytuacja, w której w ramach zamówienia występuje tylko jeden oferent – trudno o bardziej klarowny przejaw deficytu konkurencji. Wszystkie czynniki, które uprawdopodabniają wystąpienie takiej sytuacji powinny zostać uznane za „czerwone flagi” – wskaźniki ryzyka.
Drugie założenie znajdujące się u podstaw Barometru bazuje na przekonaniu, że wiele „czerwonych flag” może zostać zidentyfikowanych i poddanych bieżącej analizie dzięki informacjom, które zmawiający (przede wszystkim instytucje publiczne) są zobowiązani udostępniać w domenie publicznej. W przypadku Polski takimi źródłami informacji jest Biuletyn Zamówień Publicznych oraz Dziennik Zamówień Publicznych UE (tzw. TED). Zawierają one informacje na temat zamówień – od momentu zamieszenia ogłoszenia o zamówieniu, do chwili zamieszczenia ogłoszenia o udzieleniu zamówienia. A zatem Barometr szacuje ryzyko powstające na etapie procedury udzielania zamówienia publicznego. Niestety ani polski Biuletyn ani baza TED nie zawierają informacji dotyczących realizacji zamówień (takie rejestry jednak istnieją, na przykład w Czechach). Mimo tego oraz innych ograniczeń (np. błędów, czy braków danych) obie bazy stanowią zasób ogromnej wiedzy o rynku, umożliwiający pogłębione analizy, także pod kątem ryzyka powstawania nadużyć.
Skonstruowanie Barometru polegało zatem na przejrzeniu dostępnych publicznie danych, znalezieniu możliwie wielu wskaźników ryzyka oraz poddaniu ich analizie statystycznej pod kątem tego czy uprawdopodobniają wystąpienie sytuacji jednego oferenta. W tabeli poniżej przedstawiamy listę wskaźników, które są potencjalnie do uzyskania w Polskich warunkach. Spośród nich ostatecznie zostało wybranych 9, które są ze sobą związane i przyczyniają się do zmniejszenia konkurencyjności rynku zamówień publicznych, a zatem mogły zostać uznane także za wskaźniki ryzyka nadużyć.
Lp. | Nazwa | Źródło | Etap postępowania | Możliwe wartości | Sposób pozyskania |
---|---|---|---|---|---|
|
Typ postępowania | CRCB | ogłoszenie | kategorie | UZP / TED |
|
Objętość kryteriów do spełnienia przez oferenta | CRCB | ogłoszenie | wartość | UZP / TED wymaga policzenia |
|
Objętość opisu przedmiotu zamówienia w ogłoszeniu | CRCB | ogłoszenie | wartość | UZP / TED wymaga policzenia |
|
Ilość dni od publikacji ogłoszenia do terminu składani ofert | CRCB | ogłoszenie | wartość | UZP / TED |
|
Szacunkowy koszt przygotowania oferty | CRCB | ogłoszenie | wartość | UZP / TED własny algorytm |
|
Zmiany warunków w trakcie postępowania | CRCB | ogłoszenie | tak/nie | UZP / TED Data mining |
|
Sumaryczna waga kryteriów innych niż cena | CRCB | ogłoszenie | wartość | UZP / TED wymaga policzenia |
|
Występowania kryteriów innych niż cena | POP | ogłoszenie | tak/nie | UZP / TED |
|
Anulowanie / ponowne ogłoszenie postępowania | CRCB | ogłoszenie | tak/nie | UZP / TED W przypadku UZP wymagany data mining W przypadku UZP nie zawsze się podaje |
|
Deklarowana długość od momentu zakończenia składania ofert do podjęcia decyzji (okres związania ofertą) | CRCB | ogłoszenie | wartość | UZP / TED |
|
Modyfikacje umowy w trakcie realizacji zlecenia | CRCB | realizacja OGŁOSZENIE |
tak/nie | UZP / TED Jeżeli jest zapis dopuszczający taką modyfikację - Data mining Jeżeli jest dokonywana modyfikacja na etapie realizacji - nie posiadamy informacji |
|
Przedłużanie czasu realizacji zlecenia | CRCB | realizacja OGŁOSZENIE |
tak/nie | UZP / TED Jeżeli jest zapis dopuszczający taką modyfikację - Data mining Jeżeli jest dokonywana modyfikacja na etapie realizacji - nie posiadamy informacji |
|
Udział zwycięscy postępowania w rynku | CRCB | ogłoszenie | wartość | UZP / TED Obliczenia własne Brak możliwości jednoznaczengo rozpoznawania beneficjentów |
|
Zamówienie jest częścią większego zamówienia (dzielenie zamówień) | TI/GANIS | ogłoszenie | tak/nie | UZP / TED Data Mining Nie zawsze jest ta informacja podawana |
|
Informacja o wartości zamówienia jest podana w ogłoszeniu | TI/GANIS | ogłoszenie | tak/nie | UZP / TED |
|
Szczegółowość specyfikacji istotnych warunków zamówienia sugeruje, że postępowanie jest ukierunkowane na jednego wykonawcę | TI/GANIS | ogłoszenie | ocena | SIWZ Wymagana analiza człowieka |
|
Ogólna ocena przejrzystość informowania o postępowaniu | POP | ogłoszenie | ocena | Strona www zamawiającego |
|
Etap realizacji zamówienia w momencie badania | POP | realizacja | kategorie | UZP / TED |
|
Typ zlecającego | POP | ogłoszenie | kategorie | UZP Konieczność analizy i ręcznego przeczyszczenia ponad 20 000 rekordów |
|
Typ oferenta | POP | ogłoszenie | kategorie | Brak informacji o innych oferentach |
|
Typ wygrywającego | POP | zakończenie postępowania | kategorie | UZP / TED Data mining z nazwy beneficjenta |
|
Liczba unikalnych oferentów w branży | POP | ogłoszenie | wartość | BZP / TED Obliczenia własne Brak możliwości jednoznaczengo rozpoznawania beneficjentów |
|
Liczba unikalnych oferentów na zamawiającego | POP | ogłoszenie | wartość | UZP / TED Obliczenia własne Brak możliwości jednoznaczengo rozpoznawania beneficjentów |
|
Występowanie w ogłoszeniu konkretnych nazw produktów / komponentów wymaganych w ramach realizacji zamówienia | POP | ogłoszenie | tak/nie | UZP / TED Data Mining Konieczność stworzenia słownika produktów Wymagana duża moc obliczeniowa maszyn |
|
Występowanie związków między oferentami | POP | zakończenie postępowania | tak/nie | Baza zewnętrzna brak możliwości jednoznaczengo rozpoznania beneficjentów brak informacji o innych oferentach trudność w powiązaniu danych na podstawie posiadanych informacji |
|
Częstotliwość wygranych przez tego samego oferenta | POP / CMI | zakończenie postępowania | wartość | UZP / TED brak możliwości jednoznaczengo rozpoznania beneficjentów |
|
Radykalnie wysokie oferty | POP /CMI | zakończenie postępowania | tak/nie | UZP / TED Analiza własna rynku Opracowane na średnich dla rynków Dane nieostre |
|
Radykalnie niskie oferty | POP / CMI | zakończenie postępowania | tak/nie | UZP / TED Analiza własna rynku Opracowane na średnich dla rynków Dane nieostre |
|
Wygrywająca oferta bardzo bliska wartości zmówienia | POP / CMI | zakończenie postępowania | tak/nie | UZP / TED |
|
Stosunek liczby oferentów do liczby potencjalnych wykonawców | WB | zakończenie postępowania | wartość | UZP / TED Obliczenia własne brak możliwości jednoznaczengo rozpoznania beneficjentów |
|
Krótki czas między decyzją o wyborze oferenta i podpisaniem umowy | WB | zakończenie postępowania | tak/nie | Brak informacji o podpisaniu umowy |
|
Istotna różnica między ceną wybranej oferty a drugą w kolejności | WB / OECD | zakończenie postępowania | tak/nie | brak informacji o pozostałych oferentach |
|
Ograniczenia dotyczące oferentów (np. zagranicznych) | OECD | ogłoszenie | tak/nie | UZP / TED |
|
Wysokie wadium | OECD | ogłoszenie | tak/nie | UZP / TED Obliczenia własne Obliczenia uśrednione Wynik nieostry |
|
Zastosowanie jednoetapowej procedury | OECD | ogłoszenie | tak/nie | UZP / TED |
|
Wymóg złożenia oświadczeń o związkach z innymi potencjalnymi oferentami | OECD | ogłoszenie | tak/nie | UZP / TED Data Mining |
|
Zastosowanie e-procedury | POP/EBRD | ogłoszenie | tak/nie | UZP / TED |
|
Dokumentacja zamówienia zawiera instrukcje dot. zachowania przejrzystości i unikania konfliktu interesów | OECD | ogłoszenie | tak/nie | UZP / TED Data Mining |
|
Dokumentacja zamówienia zawiera wymóg przedstawienia podwykonawców | OECD | ogłoszenie | tak/nie | UZP / TED Data Mining Czasami zapis ten znajduje się w ogłoszeniu, częściej jednak w innej dokumentacji do której nie mamy dostępu |
|
Zamówienie ma charakter łączony (z innymi zamówieniami) | OECD | ogłoszenie | tak/nie | UZP / TED Możliwość określenia na podstawie statystyki, które rynki często idą w parze. W przypadku wyjścia poza standard w CPV - oznaczenie jako łączone. Możliwość popełnienia dużego błędu. Niemożliwość wychwycenia większości przypadków. |
|
Ogłoszenie o zamówieniu zawiera ostrzeżenie o sankcjach za naruszenia prawa (w szczególności przepisów dot. zmów) | OECD | ogłoszenie | tak/nie | UZP / TED Data mining |
|
Ogłoszenie o zamówieniu zawiera ostrzeżenie o możliwości nierozstrzygnięcia postępowania w sytuacji podejrzenia naruszeń zasad uczciwej konkurencji | OECD | ogłoszenie | tak/nie | UZP / TED Data mining |
|
Najtańszą ofertę składa oferent występujący relatywnie najczęściej w postępowaniach dot. tej samej kategorii zamówień | OECD | zakończenie postępowania | tak/niewartość | UZP / TED Obliczenia własne |
|
Duża koncentracja wygrywających oferentów w określonych obszarach geograficznych | OECD | zakończenie postępowania | tak/niewartość | UZP / TED wymaga geolokalizacji |
|
W postępowaniu pojawiają się oferenci, którzy mimo udziału w innych postępowaniach nigdy ich nie wygrywają lub wygrywają relatywnie rzadko | OECD | zakończenie postępowania | tak/nie | UZP / TED Obliczenia własne |
|
Występowanie w dokumentacji postępowania specyficznych sformułowań, np. „sugerowanych cen”, „standardowych cen”, wykazu cen” | OECD | ogłoszenie | tak/nie | SIWZ Data mining |
|
Użycie w dokumentacji postępowania konkretnych nazw produktów, usług, dostawców, etc. | POP/OECD | ogłoszenie | tak/nie | SIWZ Data mining |
|
Wysoka kwota zamówienia | PwC | ogłoszenie/wynik | tak/nie | UZP / TED Można przyjąć, że jeżeli w TED to ma wysoką wartość |
|
Mała liczba oferentów | PwC | ogłoszenie | tak/nie | UZP / TED |
|
Skargi od oferentów, którzy nie wygrali postępowania | PwC | zakończenie postępowania | tak/niewartość | KIO Brak możliwości powiązania spraw Można jednak się zastanowić nad powiązanie po nazwie zamawiającego lub beneficjenta |
|
Zmiany warunków zamówienia po rozstrzygnięciu postępowania | PwC | zakończenie postępowania | tak/nie | Brak możliwości uzyskania informacji |
|
Ceny wszystkich złożonych ofert przekracza wartość zamówienia | PwC | zakończenie postępowania | tak/niewartość | UZP / TED |
|
Wygrywający postępowanie jest członkiem organizacji zrzeszające przedsiębiorców | PwC | zakończenie postępowania | tak/nie | Baza zewnętrzna Brak jednoznacznej identyfikacji beneficjentów |
|
Udział środków unijnych | PwC | ogłoszenie | tak/nie | UZP / TED |
|
Wielkość udziału środków publicznych pochodzących bezpośrednio z budżetu państwa | PwC | ogłoszenie | wartość | Brak informacji w ogłoszeniach |
|
Braki danych na temat zlecającego w bazie TED | PwC | ogłoszenie | tak/nie | TED |
|
Brak upublicznienia dokumentów dot. wyboru oferty oraz kontraktu | PwC | zakończenie postępowania | tak/nie | UZP / TED |
|
Udział środków samorządowych | PwC | ogłoszenie | wartość | UZP / TED przy założeniu że skutecznie przeczyścimy typy zamawiających i określimy grupy dla których zamówienia są realizowane ze środków samorządowych |
|
Liczba zamówień publicznych udzielanych poniżej progu przetargowego | CBA | ogłoszenie | wartość | Brak takiej informacji - posiadamy częściowe informacje - w większości są one dobrowolne. |
|
Wartość ofert różni się od siebie względnie stałymi kwotami | CBA | zakończenie postępowania | wartość | Brak informacji o innych oferentach |
|
Ilość wymaganych od oferentów dokumenty / certyfikaty | Własny | ogłoszenie | wartość | BZP |
|
Tryb postępowania | Własny | ogłoszenie | wartość | BZP / TED |
|
Czas od terminu składania ofert do ogłoszenia wyniku | Własny | zakończenie postępowania | wartość | BZP / TED |
|
Termin składania ofert znajduje się w ciągu długiego weekendu lub czas jest krótki i obejmuje święta. | Własny | zakończenie postępowania | TAK / NIE | obliczenia własne |
Powyższa lista wskaźników stanowiła punkt wyjścia do dyskusji i ich wstępnej analizy w grupie ekspertów, którzy specjalizują się w problematyce zamówień publicznych. Podczas spotkań osób zaangażowanych bezpośrednio w projekt zredukowaliśmy liczbę wskaźników. Eliminacji w pierwszej kolejności zostały poddane wskaźniki trudne do pozyskania z istniejących zasobów. Następnie te, które dało się uzyskać i obliczyć dla większości przypadków zamówień zostały poddane testom statystycznym.
BAZA DANYCH POSTĘPOWAŃ PRZETARGOWYCH
Po wybraniu wskaźników została przygotowana baza danych zawierająca rekordy z Biuletynu Zamówień publicznych.Skompletowane bazy danych, obejmujące wyniki postępowań, na podstawie których przygotowano Barometr są dostępne do pobrania w dziale "Do pobrania". Obejmują one przetargi i wyniki umieszczone w Biuletynie Zamówień Publicznych, za okres od 1 stycznia 2010 roku do 30 grudnia 2015 roku, łącznie ok. 2 milionów rekordów.
Barometr dla zamówień powyżej progów unijnych, które są zamieszczane w europejskiej bazie TED został przygotowany przez zespół analitykówz Government Transparency Institute. Ze względu na różnice między strukturą danych w polskim Biuletynie Zamówień Publicznych oraz w TED, Barometr dla zamówień powyżej progu unijnego jest obliczany w oparciu o nieco inny zestaw wskaźników.
CZYSZCZENIE I WZBOGACANIE DANYCH
Zlecający i wykonawcy
Jednym z największych problemów źródeł na podstawie, których powstał Barometr jest brak możliwości jednoznacznej identyfikacji Zlecających i Wykonawców. A jest to informacja niezbędna do wyliczenia kilku składowych Barometru, np. wielkości danego rynku. Zarówno w bazie TED jaki i BZP wykonawcy i zamawiający są identyfikowani na podstawie nazw oraz danych teleadresowych. Brak jest jakichkolwiek numerów identyfikacyjnych (np. REGON). Ponieważ dane wprowadzane są ręcznie przez urzędników, wartości określające tego samego wykonawcę, czy zamawiającego bywają różne (literówki, przestawienie kolejności wyrazów w nazwie, używanie różnych skrótów, np. sp. z o.o. czy SP ZOO, niekompletne adresy pocztowe, brak prawidłowego rozdzielenia konsorcjantów, etc.).
Wskaźniki
Ponadto, żeby zminimalizować liczbę wynikających stąd błędów dane na potrzeby przygotowania Barometru zostały oczyszczone. W skrócie procedura czyszczenia danych wyglądała następująco:
- Ujednolicenie nazw wykonawców / zamawiających – polega to na wykryciu np. adresu w nazwie i usunięciu wszelkich wariantów określających typ firmy np. typy spółki itp. Następnie wartość tekstową adresu rozbijana jest na: miasto, ulicę, kod pocztowy i województwo. Wartości rozbite w ten sposób służą nam do określenia geolokalizacji beneficjenta (kordynaty gx i gy na mapie Google). Na podstawie danych geolokalizacyjnych bierzemy wszystkie firmy w okręgu o średnicy 10 km. Następnie specjalnie sporządzony w tym celu skrypt wyszukiwał różne warianty (przestawianie wyrazów) nazwy beneficjenta i porównywał je z wartościami w bazie danych. Jeżeli nie znaleziono odpowiedniego rekordu, skrypt szukał podmiotów o tym samym adresie (dokładność do ulicy) i na podstawie algorytmu Levenstein'a określał podobieństwo nazwy beneficjentów. Jeżeli współczynnik prawdopodobieństwa osiągał wartości rzędu 90% i więcej, skrypt łączył rekordy najbardziej zbliżonej nazwach. Jeżeli wartość współczynnika była niższa skrypt tworzył nowy rekord.
- Wadium – informacja o wadium nie jest dostępna jako odrębna wartość. Jest ona jednak niezbędna, ponieważ ta wartość w stosunku, na przykład do całej grupy badanego rynku jest istotnym czynnikiem wpływającym na konkurencyjność zamówień publicznych. Pozyskanie Wadium wymagało zastosowanie technik Data Mining, ponieważ dana ta jest zawarta w tekście ogłoszenia o zamówieniu. Jest to wartość tekstowa, co przysparza wiele problemów. Różne notacje wartości (zapis liczby w różnych postaciach, z przecinkami, ze spacjami z kropkami itp.), usytuowanie w różnych miejscach ogłoszenia sprawia powoduje, że nie jest to informacja łatwa do uzyskania. Dodatkowy kłopot sprawiają postępowania podzielone na części. W takim przypadku, wartość wadium może być równa ilości części postępowania przetargowego, ale nie koniecznie. Trzeba zatem tę informację pozyskać z tekstu ogłoszenia a następnie zsumować. Skrypt zastosowany na potrzeby Barometru, aby ograniczyć ryzyko pomyłki, dodatkowo zapisywał minimalną wartość wadium, maksymalną wartość oraz sumę wadium, która zazwyczaj była szukaną wartością. Pozyskanie wartości wadium w ten sposób jest niestety obarczone pewnym ryzykiem błędu. Szacujemy, że skrypt trafnie obliczał wartość wadium ze skutecznością nieco ponad 93%. Istnieje zatem pewien margines błędu. Stąd też przeprowadzono także weryfikację wartości wadium Weryfikacja wadium porównując informacje z ogłoszeń o zamówieniu z informacjami z ogłoszeń o udzieleniu zamówienia. Jeżeli sumaryczne wadium okazywało się większe niż 0,8 sumarycznej wartość postępowania (uwzględniają wszystkie części) skrypt oznaczał taki przypadek jako błąd.
- Wartość części – informacje o wartości części zamówienia niestety również nie są zapisywane w sposób jednoznaczny – ani w BZP ani w TED. Dodatkowo bywam, że wartości zamówień podawane są w innej walucie. Wtedy należy zastosować odpowiedni przelicznik EUR, który jest zmieniany i ustalany na sztywno co 2 lata. W przypadku wygrania danej części lub postępowania przez konsorcjum, wartość może się zmienić – inna będzie w ogłoszeniu o zamówieniu, inna w ogłoszeniu o udzieleniu zamówienia. Na potrzeby Barometru zastosowano zasadę, że kwota zamówienia jest dzielona na równe części pomiędzy wszystkich rozpoznanych wykonawców / konsorcjantów. W analizach brana jest także wartość w przeliczeniu na EUR.
- Długość opisu przedmiotu zamówienia – jest to ilość znaków wraz z przecinkami, po usunięciu wszelkich tagów HTML stylujących i formatujących tekst wyciągniętego z pola formularzy pn. "Określenie przedmiotu oraz wielkości lub zakresu zamówienia:". Obliczenie długości uwzględnia także odstępy pomiędzy wszystkimi wyrazami – po znaku zamknięcia tagu HTML najpierw dodawana jest spacja, przed usunięciem wszystkich tagów.
- Długość opisu kryterium przystąpienia do zamówienia – Jest to ilość znaków wraz z przecinkami, po usunięciu wszelkich tagów HTML stylujących i formatujących tekst wyciągniętego ze wszystkich pól (włącznie z ich nazwami) znajdującymi się w polu formularzy pn.: "Warunki udziału w postępowaniu oraz opis sposobu dokonywania oceny spełniania tych warunków". Aby uwzględnić odstępy pomiędzy wszystkimi wyrazami, po znaku zamknięcia tagu HTML najpierw dodawana jest spacja, przed usunięciem wszystkich tagów.
- Okres, od upływu terminu składania ofert, do ogłoszenia wyniku – jest to liczba dni pomiędzy datą składania ofert a publikacją decyzji o udzieleniu zamówienia lub danej jego części. Należy mieć na uwadze, że jeżeli w postępowaniu zostanie zmieniony termin składania ofert algorytm podczas przeliczania uwzględnia ostateczny termin składania ofert, czyli na potrzeby obliczenia Barometru zostanie on skrócony. Ostateczny pomiar jest bowiem dokonywany dla zamówień lub ich części co, do których ogłoszono decyzję o udzieleniu zamówienia.
- Ilość dni od publikacji ogłoszenia do upływu terminu składani ofert – jest to liczba dni pomiędzy datą publikacji a upływem terminu składania ofert. Należy mieć na uwadze, że jeżeli w postępowaniu zostanie zmieniony termin składania ofert algorytm podczas przeliczania uwzględni ostateczny termin składania ofert, czyli zostanie on wydłużony.
- Sumaryczna waga kryteriów innych
niż cena – pomimo że w ogłoszeniach o zamówieniu wartość
kryterium ceny jest określana, nie jest ona jednoznaczna. Dodatkowo
trzeba mieć na uwadze, że niektóre wartości, choć nie są ceną sensu
stricte, mogą także być traktowane jako kryterium ceny – np. odsetki. W
tym celu przeanalizowaliśmy około 1000 przetargów z wieloma kryteriami
ceny i ustaliliśmy dodatkowe formuły Data Mining, które określają czy
dane kryterium oceny jest związane z ceną lub nie. W większości
przypadków sprowadza się to do wyszukania sformułowań " cen%", "koszt%"
czy "oprocent%". Przy obliczaniu wagi kryterium należy także uważać na
formę, jakiej używają zamawiający. Nie jest ona podawana w ściśle
określonej wartości np. 0-100. Wartości mogą być różne od 0-100, 0-10,
0-1 (zmiennoprzecinkowe). My radzimy sobie z tym tak, że obliczamy sumę
wartości kryteriów cenowych i dzielimy ją przez sumę wszystkich
wskazanych wartości, dzięki czemu uzyskujemy procentową wartość
wskaźnika.
Mając wskaźniki oraz zbiór, mogliśmy rozpocząć analizę korelacji wskaźników pod kątem oceny na ile przyczyniają się one do wystąpienia sytuacji, w której pojawił się tylko jeden oferent.
UWAGA! Powyższy opis dotyczy wyliczenia Barometru dla danych pochodzących z polskiego Biuletynu Zamówień Publicznych. W podobny sposób, lecz przy użyciu mnijszej liczby wskaźników ocena ryzyka była szacowana dla danych pochodzących z Europejskiego Biuletynu Zamówień Publicznych (TED). Dodatkowy opis metodologii znajduje się w zakładce. DO POBRANIA