Zamknięty

Skrypt zbierające dane

Zlecę napisanie skryptu.

Skrypt działający na serwerze (wywoływany z CRON) zbierający dane ze stron:

[url removed, login to view]

[url removed, login to view]

[url removed, login to view]

+możliwe inne

Wszystkie dane gromadzone muszą być ze względu na sporą ilość danych - docelowo kilkaset tysięcy rekordów - w bazie danych o wysokiej wydajności.

Program powinien działać w sposób ciągły ze sporą wydajnością - kilka wątków jednocześnie - kilka wywołań CRON ?

Program powinien zbierać dane ze wszystkich baz w tym samym czasie - osobne CRON dla każdej ze stron.

Program musi pobierać dane ze stron przy użyciu proxy.

Będą to darmowe proxy, które często nie działają lub mają spore opóźnienia, dlatego program powinien testować proxy przed jego użyciem.

Większość stron, z których pobierane będą dane posiada captche - konieczna integracja z api [url removed, login to view]

Dane z bazie muszą być unikalne - primary key np. no NIPie firmy

Druga część programu to mechanizm umożliwiający pobieranie danych z tworzonej bazy danych wg zadanych kryteriów - np. firmy z branży A znajdujące się w woj. Mazowieckim.

Dodatkowo:

- możliwość sprawdzenia ilości rekordów w bazie wg zadanych kryteriów

- możliwość pobrania wpisów wg zadanych kryteriów + dodanie informacji do bazy danych kiedy i kto pobrał dane - tak aby dane o jednej firmie nie były pobierane kilkukrotnie w ciągu krótkiego okresu czasu.

Tutaj konieczna będzie druga tabela w bazie danych

W bazie musi być informacja kto i kiedy pobierał dane - pełna historia, choć najbardziej istotna będzie data ostatniego pobrania danych.

Dodatkowe możliwe filtry:

- pobranie rekordów, które posiadają telefon a nie posiadają emaila lub odwrotnie

- pobranie wszystkich rekordów, które posiadają adres strony a nie posiadają emaila i telefonu itp.

Umiejętności: PHP

Zobacz więcej: spore, np api, ems, deathbycaptcha, CE, deathbycaptcha php api, data proxy php, program deathbycaptcha, deathbycaptcha proxy, deathbycaptcha api php, php deathbycaptcha api, deathbycaptcha api, deathbycaptcha php, php deathbycaptcha, api proxy, captche, neobux skrypt, action skrypt flv, crack programu, skrypt programu pay per bid

O pracodawcy:
( 1 ocena ) Wrocław, Poland

Numer ID Projektu: #6312407

2 freelancerów złożyło ofertę na kwotę zł783 do tego projektu

Infowaze21

Hi There, (1). I have fully analzyed the Portal website [login to view URL] which you described and will provide you quality and result oriented work . Please provide me complete detail of project in US engli Więcej

zł789 PLN w ciągu 20 dni
(11 Oceny)
4.9
zahariash

Witam, Jestem zainteresowany zleceniem. Wykonanie w PHP + mySQL + UI w Boostrap. Logowanie kto i kiedy pobrał które dane. Bez blokowania pobierania danych, tylko logowanie. Po napisaniu skryptu udostępnię demo do Więcej

zł777 PLN w ciągu 14 dni
(6 Oceny)
4.0