Web crawler databaseprojekty
...programistę II. Założenia ogólne: 1. Zaprojektowanie tematycznej wyszukiwarki internetowej w skład której wchodzić ma Front End, Back End oraz Crawler stron WWW. 2. Technologia wykonania wyszukiwarki: JAVA (servlets + jsp) + Cassandra, lub JAVA (servlets + jsp) + MySQL, oraz doraźnie dynamiczne elementy wykonane w JavaScript/AJAX/JSON/YouNameIt 3. Środowisko działania: wyszukiwarka będzie funkcjonował w środowisku UNIX; podczas projektowania od razu należy nastawić się, że skrypt będzie dość mocno obciążony. Front End będzie stał za loadbalancerem + klaster WWW, oddzielny klaster dla bazy danych, nielimitowaną ilość samodzielnych nodów pod Crawler 4. Możliwość wykorzystania istniejących komponentów dostępnych na wolnych licencjac...
Szukam sprytnych osób lubiących i znających się na pisaniu crawlerów, spiderów i tym podobnych spraw. Zlece napisanie crawlerow i spiderow nawet wiecej niz 1 osobie gdyz do napisania w najbliższym czasie od kilkunastu do kilkudziesięciu robaków. Chętni powinni być z Krakowa. Proszę o kontakt na email @ wraz z krotkim info o sobie pod katem powyzszych zapotrzebowan czyli np. dosiwadczenie w podobnych programach. CV mile widziane choc na tym etapie nie niezbedne.
...com/wt_24475/index.html. Możliwe że po kliknięciu na poszczególną "zakładkę" będzie gdzieś przenosić; - Przerobić CSS modułu ArtForms tak żeby wyświetlał zdjęcie jako tło. W projekcie będą dwa formularze z dwoma różnymi zdjęciami w tle; - Zmodyfikowanie menu Joomli do wyglądu przedstawionego na projekcie; - Pomoc w zmienieniu tła modułu images crawler oraz modułu do wyświetlania galerii (jeszcze nie zdecydowałem co to będzie za moduł) Należy brać pod uwagę ewentualne drobne poprawki szablonu zgodnie z sugestiami klienta. Zlecenie łatwe szybkie i przyjemne. W razie konieczności zapewniam Joomla na moim serwerze z wszystkimi potrzebnymi modułami + dostęp do serwera. Rozliczenie
Poszukuje osób z doświadczeniem w obsłudze Oracle Database Lite Mobile Server 10g. Proszę licytować stawkę za godzinę konsultacji. Przy licytacji proszę nawiązać kontakt i podać doświadczenie związane z Oracle Database Lite Mobile Server 10g (nie ze zwykłym Oraclem!!!).
Witam, Poszukuję osoby która napisze w php crawler/harvester czyli skrypt do pobierania danych. Skrypt ten powinien łączyć się przez strony typu web proxy () lub zwykłe proxy. Zatem najpierw pobiera listę dostępnych proxy a następnie wybiera losowo jeden i łączy się z docelową stroną. Wykonanie w cURL + preg_match Przykładowy skrypt powinien pobierać np. ogłoszenia automoto wraz z danymi i linkami do zdjęć a następnie dane zapisywać w mysql. Posiadamy już wykonany taki skrypt zatem pozostało zaimplementowanie kodu odpowiadającego za łączenie przez proxy + dopasowanie zrzutu danych do aktualnej struktury mysql. Proszę o: 1) wycenę napisania takiego kodu (proxy) 2) koszt godziny pracy podczas dopasowywania do mysql. 3) określenie czasu wykonania samego
Potrzebuję kogoś kto potrafi pisać crawlery. Zadania będą polegały na przejrzeniu wybranych sklepów internetowych i wydobyciu z nich informacji na temat asortymentu (Kategoria, Podkategoria, Podkategoria II rzędu, Nazwa produktu, Marka, Cena, Opis, Kod EAN, Jednostka miary, Miara). Uwaga: Proszę podać skąd jest zleceniobiorca (miasto) oraz łatwy namiar kontaktowy (najlepiej telefon). Bez tych danych oferty usuwam. Forma realizacji: umowa o dzieło, może być faktura. Proszę o podawanie kwoty brutto w przypadku umowy o dzieło i kwoty netto w przypadku faktury.
Potrzebuję kogoś kto potrafi pisać crawlery. Zadania będą polegały na przejrzeniu stron wybranych sklepów internetowych i wydobyciu z nich informacji statystycznych na temat np. asortymentu. Uwaga: Proszę podać skąd jest zleceniobiorca. Bez podanego miasta będę usuwał bez zastanawienia się. Forma realizacji: umowa o dzieło, może być faktura. Proszę o podawanie kwoty brutto w przypadku umowy o dzieło i netto w przypadku faktury.
Zlecę wykonanie (może być dostosowanie już istniejącego) skryptu w PHP do generowania Sitemap'y dla Googla w XML dla strony w PHP/HTML, ok. 1000-1500 stron. Podstawowe wymagania: 1) musi to być crawler (nie korzystać z systemu plików na serwerze) 2) bez bazy danych 3) + strona do administrowania - tylko z jednym przyciskiem generuj i wyślij do Google, Bing, Yahoo 4) skrypt zezwalający na stosowanie względnych i bezwzględnych ścieżek url i mod_rewrite 5) dodanie dodatkowych linków (hardcoded) to na początek tyle informacji (w razie pytań proszę o mail) cena - max. 19.99USD ok. 100PLN - tyle kosztuje gotowy skrypt Unlimited Sitemap Generator, który doskonale sobie z tymi wymaganiami radzi, zatem szukam tańszej opcji
Zaplace za zrobienie crawlera lub dodanie 5 tyś wpisów do tej strony proszę wybrać opcje kontakt gg 5526616 email pisulc@
Witam, Poszukuje programisty PHP, który napisze pobieracz danych ze strony takiej jak Crawler należy w efekcie końcowym przystosować pod Wordpress`a tak aby dodawał opisy programów w postaci postów. Należy tutaj przemyśleć kwestię sortowania na kategorie. Crawler powinien działać non-stop tak aby po podłączeniu do cron`a uzupełniał bazę o nowe wpisy. Sugerowane zatem rozwiązanie to rozłożenie pracy na dwa crawlery. Jeden całościowy, drugi np. z RSSów z danego dnia. Widziałem już "gotowce". M.in. ;cpn=1 Szukam jakkolwiek rozwiązania, które będzie przede wszystkim skuteczne. W przypadku poprawnego wykonania, gwarantuję kolejne zlecenia tego typu. Proszę o wstępną wycenę oraz czas wykonania. Uwaga. Tylko PHP + MySQ...
Potrzebny jest prosty robot sprawdzajacy KOD (nie tresc) stron www. MA to byc aplikacja pod windows lub serwer www (lub aplikacja wykorzystujaca baze mysql itp) Opis dzialania: 1) Robot zbiera URLe i je kolejkuje. Przed odwiedzeniem URLa sprawdza czy juz nie byl sprawdzany. 2) Jesli w KODZIE strony (nie tresci) znajdzie zadany lancuch (np: "<!--zlecenia przez net --> + "keywords=najlepsze zlecenia" ) to zapisuje w bazie/osobnym pliku URL i tytull strony. Jezeli ciag nie wystepuje w dokumencie, to zatwierdza jako juz odwiedzony. Nie potrzebne jest ponowne odwiedzanie adresow - tylko jednorazowe sprawdzenie. Nie wymagane jest przechowywanie jakichkolwiek informacji o odrzuconych stronach. Wymagane funkcje: 1) Mozliwosc zatrzymania i wznawiania dzialania...
Crawler ma udostępniać następujące funkcje: a) Pobranie strony (całej) oraz stron, na które ona wskazuje (ale tylko pierwszy poziom linków), a nie rekurencyjnie. a1) tylko w domenie bazowej a2) w dowolnej domenie b) Pobieranie stron rekurencyjnie (czyli podążaj za linkami bez końca) c) filtr typu: pobieraj strony, które mają w domenie "abc" lub w całym url "abc" lub nie mają ... d) Pamięć o pobranej już stronie, żeby uniknąć zapętlenia (nadpisuj, jeśli starsza niż N, gdzie N jest konfigurowalne). e) Zapisywanie wszystkich napotkanych zdjęć do bazy (obiekty typu BLOB) f) Podążanie za wszystkimi linkami, nie tylko a href=, ale też javascript, i inne. g) Zapisywanie informacji o odpowiedzi serwera (404, ...) h) rozbicie sprawdzan...
Witam, Zlecę napisanie artykułów w języku angielskim. Długość artykułu to min. 1500 znaków. Tematyka artykułów to mniej więcej: spare parts for dresser, dresser bulldozers parts, earthmoving and construction machines, dressta crawler dozers itd Proszę podawać cenę za napisanie jednego artykułu.
Witam. Jak w temacie, interesuje mnie robot ktory zczyta baze danych Interesuje mnie tylko informacje na temat plikow muzycznych. Chce aby dane byly pobierane przez moj PC [zmienne IP] a nie przez serwer docelowy gdzie dopiero pozniej dane beda wyslane. Dane jakie maja byc zapisane do bazy danych to : -Nazwa piosenki -Dokładny link na serwerze -Czas trwania piosenki -Rozmiar w MB -Tagi Robot po zczytaniu pierwszego zaproponowanego wyrazu od ktorego ma zaczac wyszukiwanie w serwisie pozniej powinnien sam pobierac wyrazy z TAGOW (kazda piosenka jest opisana takim tagiem) i sciagac kolejne informacje. Interesuje mnie raczej prosta konfiguracja: -aby podawac naglowek "przegladarki" pod jaka bedzie ten robot widoczny dla -predkosc sciagania/odwiedz...
Witam serdecznie, Przedmiotem aukcji jest: skrypt typu web crawler (po prostu skrypt który będzie zbierał dane z innych stron) z interfejsem do konfigurowania. Technologia wykonania: PHP, MySQL, JS, Ajax Strony z jakich będą pobierane dane to sklepy internetowe. W przypadku pytań proszę o kontakt. Pozdrawiam Wiesław Płotka
Witam, Zlecę napisanie lub przygotowanie crawlera open-source pod kątem moich wymagań. Celem pracy aplikacji ma być kilka... Zlecę napisanie lub przygotowanie crawlera open-source pod kątem moich wymagań. Celem pracy aplikacji ma być kilka stron polskich i zagranicznych o charakterze katalogowym, w których dane są publicznie dostępne, jednak z racji ich ilości ręczne ich zbieranie mija się z celem. Co ma umożliwiać aplikacja? Chciałbym w łatwy sposób móc "wskazywać" np. kategorię strony, którą crawler miałby przeanalizować i dostarczyć w postaci pliku DB (najlepiej MySQL lub XML), lub innym, który będzie można sparsować PHP'em. Możliwość wystawienia FVAT, po zakończeniu projektu mile widziana dalsza współprac...
Przedmiotem licytacji jest wykonanie prostego skryptu typu 'crawler' który pobierze dane z serwisu dla różnych wersji językowych. Skrypt powinien mieć wysoką wydajność, tj, bezproblemowo pobrać do 50k ogłoszeń w jednej sesji oraz wgrać je do bazy.
I'm in need of an experienced developer who can build a completely custom database website that primarily serves as a customer relationship management (CRM) tool. In addition to the standard CRM functionalities, I'm looking for the following: - Expertise in complex Java and YAML scripting - Ability to create custom database scripts - Proficiency in API integration for seamless data transfer and communication - Prior experience in designing and implementing CRM front-end and back-end relations The most crucial aspect of this project for me is the user interface design and experience. I want a website that not only functions efficiently, but also looks and feels intuitive for users. I'm looking for someone who: - Is an advanced-level developer - Has a strong...
I need someone who can create a database in MS Excel for Invoices Log (tracking for already processed invoices) with the following features. 1- A list of all invoices (Master List). 2- A list of all Contracts. 3- A list of all Purchase Orders. 4- A list of Approvers who is approving the invoices. 5- A list of Accounts. 5- All of these list should be linked with each other. There should be a Dashboard (Main Page) with link to the pages (Add Invoice, Search Invoice, Search Approver, Search Contract, Search PO, Search Account and Reports pages) on the top, and below the page list there should be the statistical data of the database. For Add New Invoice page, I should be able to add an invoice details, and if it's related to a contract or purchase order, I should be able ...
I need a simple web application developed using the Scriptcase platform. The main functionality of the project will be integrating a database into the application. This will include data for user profiles and product listings. Key Requirements: - Development experience with the Scriptcase platform is a must - Proficiency in PHP and web application development - Experience in integrating databases into web applications Other Details: - The application must be user-friendly and intuitive - No specific user roles or permissions are required, all users will have the same level of access.
...need of a skilled computer expert to help me develop a database. This database will essentially serve as an accounting tool for food. It's crucial for me to keep track of various aspects of my food-related transactions, including purchases, sales, and expenses. I require a professional who can translate these needs into a well-structured database. Key requirements include: - Data on food purchases, sales, and expenses should be efficiently stored and easily accessible - The database should be designed to facilitate clear accounting procedures - The system should be user-friendly and reliable, making it easy for me to input data and generate reports as needed Ideal skills and experience for this project are: - Proficient in database design, part...
...with our Oracle database under heavy loads, leading to frequent hangs and disruptions in our operations. To address this critical situation, we are seeking the expertise of an experienced Oracle Advanced DBA freelancer. We require a professional with the following qualifications and skills: - Extensive experience in Oracle Database Administration, particularly in high-load environments - Proficiency in performance tuning, query optimization, and troubleshooting - Familiarity with Oracle Enterprise Manager and other monitoring tools like aws performance insights The main responsibilities will include: - Diagnosing and resolving performance issues - Implementing best practices for database management and optimization - Ensuring high availability and reliability ...
I am in need of an experienced Visual C# developer with expertise in User Interface (UI) design and database integration. The ideal freelancer for this project should have: - Proven experience in Visual C# programming - Ability to create a clean and minimalist user interface. - Proficiency in database integration, specifically with handling user data and profiles. Main tasks and features include: - Developing an intuitive and minimalist UI using Visual C#, to ensure easy navigation and optimal user experience. - Integrating the system with a database that handles user data and profiles. This includes setting up, managing, and maintaining the database to ensure its smooth operation. This project requires a successful blend of programming skills and a keen eye...
ONLY RESPOND IF YOU CAN WORK ON THIS NOW. I urgently need assistance with my potentially damaged Microsoft Exchange 2016 database. I'm not sure if it's damaged, but I'd like an expert to mount it.
I am in need of an experienced SQL database administrator to help me move an entire SQL database from one server to another. The new server has Windows Server 2012 R2 installed and the SQL software is up and running. However, I am unsuccessful in attempting to access this via the network. Key Tasks: - Transfer the entire SQL database to a new server - Setup proper network access - Continue all ongoing operations from the source server on the new server Ideal Skills: - Rich experience with SQL and Windows Server 2012 R2 - Understanding of maintaining active operations during server shift - Firewall setup and operations Security isn't to be compromised during this relocation. The current server has a firewall in place for the SQL database that requires c...
I'm in need of a web crawler that can extract specific data from a large online ads website. The extracted data should then be neatly exported to a Google Sheet. Key requirements: - The crawler should not be intrusive to the host website. - I want the crawler to crawl current and expired ads based on links present in the site map, as historic data is also of importance to me - You should be able to provide a way for me to run this crawler myself at any time - ideally on a monthly basis. I haven't yet decided on the precise fields to be extracted. I'm looking for someone with the skills to recommend suitable fields that could be beneficial for my project. It's important that the extracted data is organized and easily readable once ...
Proszę, Zarejestruj się lub Zaloguj, żeby zobaczyć szczegóły.
I'm looking for an exhaustive list of Australian gym owners, with a focus on capturing between 100 to 500 individual records. The data needed includes, but not limited to: - Owner's Email Address - Gym's Name - Gym's Website Ideal candidates for this job are experienced data miners and researchers. Having a good understanding of the Fitness industry would be beneficial. Strong attention to detail is paramount, ensuring accuracy in data collection and entry. Additionally, demonstrating respect for privacy laws and guidelines, including GDPR, is essential. Experience with spreadsheets and CRM systems would be advantageous. Gyms must be privately owned only, non franchise. Offer Personal Training. Boutique Exclude: Category - Fitness Equipment Category - Community He...
...capable of updating a database based on the scanned QR code information. I'm not entirely sure whether an existing database can be used for this project, so your experience in setting up databases would be a plus. Key requirements and decisions to be made: - Setting up a Laravel project with QR scanner functionality - Integration of the scanner with a database to update it according to scanned QR codes - The system should handle multiple scans of the same QR code by the same user by ignoring subsequent scans - The primary action the system should take is a check-in/check-out registration process, triggered by the QR scan Ideal skills and experience for the job: - Proficiency in Laravel and PHP - Experience with database setup, management and integr...
We are seeking an experienced developer or team to create a comprehensive web software and database system for the remote monitoring and control of cathodic protection stations (SKZ) equipped with TE-RCU control units. This project involves developing web applications, database design, and integration of communication modules for real-time data acquisition, SMS/GPRS control, and SCADA system interfacing. More details will be sent in private.
I need a bash script that can import and export data from my database to CSV files. Ideal candidate should be able to: - Create a bash script that can effectively import and export data - Have experience working with database management systems such as MySQL, PostgreSQL, or MongoDB - Ensure that the script securely creates user accounts and manages their access to the database. The script will be used for daily database management tasks, so it needs to be reliable, secure, and efficient.
...looking for an experienced developer to work on a web project of mine. The project involves HTML, CSS, JavaScript, and some light database functions. The work will mainly focus on: - Implementing text input fields and dropdown menus: These are crucial elements for user interaction and data input. Your job would be to make them look and function as required. - Basic database functions: While the exact nature of these is yet to be decided, they will likely include retrieving and adding data. Your task will be to integrate these functions seamlessly into the site. Ideal skills for this project would include: - Proficiency in HTML, CSS, and JavaScript, with experience in creating user-friendly and responsive UIs. - Familiarity with basic database manipulation. -...
We're seeking a detail-oriented and web-savvy freelancer/contractor to build a comprehensive database of sign manufacturers/companies in France. Project Scope: • Research and identify qualified sign manufacturers/companies/suppliers/sellers/stores across France. • Utilize various online resources, including: o Search engines (Google, Bing, etc.) o Social media platforms (Facebook, Instagram, LinkedIn) o Industry directories and publications (list specific resources if known) o Business databases (mention specific databases if known) • Gather and verify contact information (name, email, phone number) for each lead. • Compile lead data into a Excel format . Qualifications: • French reading and understanding - ONLY • Excellent research and da...
I'm looking for a...developer to help with real-time text data scraping via API and management using BeautifulSoup. This project is primarily focused on retrieving text data and storing it in a database. Key Responsibilities: - Implement an API scraper to continuously retrieve text data in real-time - Utilize BeautifulSoup for data extraction and management - Develop a robust database to store all the scraped text data The ideal candidate should have: - Proficiency in Python programming language - Strong experience with API scraping and BeautifulSoup - Previous work involving real-time data scraping - A good understanding of database management It is important that the data scraping runs seamlessly and accurately in real-time. Prior experience with similar pr...
I want someone who can create a database in MS Access for Invoices Log (tracking for already processed invoices) with the following features. 1- A list of all invoices (Master List) with the field names I will provide. 2- A list of all Contracts with the field names I will provide. 3- A list of all Purchase Orders. 4- A list of Approvers who is approving the invoices. 5- A list of Accounts. 5- All of these list should be linked with each other. The database should have a login page. After Login, there should be a a Main Page, with link to the above mentioned list pages plus, Add Invoice, Search Invoice, Search Approver, Search Contract, Search PO, Search Account and Reports pages. For Add New Invoice page, I should be able to add an invoice details in it, and if it's...
I require an advanced database to streamline church operations. It must include: - Member management: This involves recording personal details of each member, tracking attendance, and allocating to the right departments. Each member's record should also include household and family details, with specific fields for spouse and children. - Functionalities: Capacity to sort data based on each individual (organize by member). It should also capture other input fields like gender, age, membership status, notes, and whether they serve as workers or ministers. - Financial management: The platform should have capabilities for recording and tracking financial contributions. Ideal freelancers will have experience in building similar database systems, with a keen understanding ...
I am looking for a skilled Elasticsearch expert to help with data indexing and analysis for a large dataset. The data to be indexed is primarily textual and it is sourced from database entries. Experience with database management and textual data analysis is a crucial requirement for this project. The primary tasks include: - Analyzing and indexing a large dataset from database entries - Setting up Elasticsearch for efficient data analysis - Implementing indexing strategies for textual data Proficiency in Elasticsearch, data indexing, and database management is benefit for this project. Familiarity with handling large datasets and textual data is a must.
I'm seeking a data entry specialist with a knack for precision to type data from PDFs into an online database. Key Requirements: - As a data entry specialist, you will be responsible for the accurate and timely entry of data from PDFs into our online database. - The data format should match the original PDFs, with no specific validation rules needed. - The ideal candidate will be detail-oriented, with a proven track record of data entry. If you're someone who enjoys working with data and has an eye for detail, this could be an ideal project for you.
...need of a talented professional who can help me with a custom web crawler project. Key Requirements: - **Web Crawler Customization:** The ideal candidate will need to adapt an existing web crawler code to include specific features I require. This includes the ability to extract and filter data from multiple websites. - **Data Management:** I expect the total scale of the data to be relatively small, so the freelancer should have experience handling data sets of this size. - **Data Analysis:** After the information is extracted, I intend to use it primarily for data analysis. The freelancer should have a good understanding of how to structure data for this purpose. Ideal Skills & Experience: - Proven experience in customizing web cr...
We are seeking a skilled developer or development team to create a comprehensive web crawler system. This system should scrape, structure, and update information from web pages, handle large projects, and be accessible via a powerful API. The system should offer user-friendly features for both individuals and businesses and include flexible user management for both customers and employees. Project Requirements 1. Web Crawling and Data Extraction -Develop a system capable of scraping entire websites and extracting data from each page. -The system should divide the scraped information into sections to facilitate easy reading and understanding. -For e-commerce sites, the system should identify and structure the following information: --Product category (including ...
Build an ISO for a raspberry pi (with cellular notecard) to scan for unique cell phones in a specific range and log the unique phone ID and timestamps/ping (distance) from the raspberry pi and store in mysql database using cellular adapter.
...complete but due to some error while connecting to the database some code is missing and the connection is not completed. You have to find out where the problem is and fix it properly. I will help you in everything ******* I'm seeking a skilled PHP developer to assist with a project that involves fixing a PHP file and combining a Php ,MySQL database. The main tasks for this project include: - Resolving a database connection issue in the PHP file. - Combining the MySQL database in the backend of the PHP file. Your role will be crucial in ensuring that the database is correctly integrated into the PHP file and that the database connection is stable and error-free. The PHP file should be able to successfully communicate with the MySQL ...
...creating an ER diagram, relational schema, database dump, SQL files, and queries for a library database system. Requirements: - ER Diagram: An ER diagram is required with rationalities similar to the example provided in this link: - Relational Schema: Develop a relational schema that effectively models the database. - Database Dump: Provide a database dump for the system. - SQL Files and Queries: The project should include a set of SQL files and queries that effectively interact with the database. - Managerial Queries: Develop a minimum of 20 managerial queries that will be used to analyze and manage the library database. Deadline: This project must be completed by Monday. Ideal Skills: - Proficiency in database design and SQ...
...complex backend development and database integration tasks and run code as offline. Key Responsibilities: Develop, test, and maintain robust, scalable, high-quality software solutions. Design and implement new features and functionality. Write clean, maintainable, and efficient code. Develop RESTful APIs to support front-end functionality. Integrate user-facing elements developed by front-end developers with server-side logic. - In-depth understanding and experience of backend operations using Python Django. - Managing and integration of the database with the application. - Maintenance and improvement of existing codebase for optimal functionality. Desirable Skills: - Proven experience in Python Django for backend development. - Hands-on experience in database ...
I've compiled a comprehensive global leads database with 8 million entries. The database includes a variety of details such as name, email, contact number, website, profession, and even Instagram username. - **Purpose**: This database is specifically designed for sales leads generation. It's meant to help businesses and organizations reach out to potential customers and grow their sales. - **Categorization**: The leads are not just categorized by one specific filter. Instead, they're a mix of different categories from various industries, countries, and professions. This eclectic mix provides a wide range of opportunities for potential buyers. - **Delivery Method**: I'm looking to sell this database through a CSV file, online access to the...
Commercial real estate agency database of GCC
About Plesk hosting upgrading the database from MariaDB 10.1 to 10.3 i would like to upgrade the database from MariaDB 10.1 to 10.3 for my hosting however, my hosting have a lot of client website in it, just would like to know if this upgrade will not affect the existing database thanks
Self Managed Home Care Providers Database
