
Zamknięte
Opublikowano
Płatne przy odbiorze
Poniższe wymagania mogą być nad wyrost. Po przeczytaniu planu i Twojej wizji na ten projekt jesteśmy otwarci na sugestie, propozycje i inne możliwości stworzenia tego projektu. Wymagania ogólne 1. Znajomość języka Python oraz sposobów scrapowania witryn internetowych 2. Podstawowa znajomość HTML i CSS 3. Znajomość lub gotowość nauki bibliotek takich jak: requests, sqlite, beautifulsoup4, selenium 4. Podstawowa znajomość systemu kontroli wersji git 5. Podstawowa znajomość technologii chmurowych Wymagania szczegółowe: 1. Przygotowanie scraperów w języku Python (boty czytające strony z newsami) dla wymienionych portali z wykorzystaniem biblioteki BeautifulSoup4 lub podobnej 2. Zapis pobranych treści w formacie JSON (lub w bazie danych SQLite) 3. Automatyzacja przesyłania ww. treści do ChatGPT poprzez API wraz z odpowiednim promptem. Zapytanie powinno być sparametryzowane tak, aby model zwrócił jedynie zmienioną treść bez dodatkowego outputu. 4. Zapis wygenerowanych treści w formacie JSON lub w bazie danych SQLite 5. Automatyzacja przesyłania treści poprzez API do strony internetowej opartej na Wordpressie (ze statusem wpisu jako draft) 6. Zautomatyzowanie działania programu poprzez cron/Windows Tasks Scheduler/launchd lub inny scheduler 7. Opcjonalnie: konteneryzacja programu w Dockerze 8. W przyszłości: zdeployowanie aplikacji w serwisie chmurowym (Heroku, AWS, GCP lub innym) Plan To jest wyłączne wizja działania, jesteśmy otwarcie na zmiany, propozycje i sugestie. Zaczyna się od skryptu w Pythonie, który pobiera newsy ze stron internetowych (scrapowanie). To nie jest trudne technicznie ale może być upierdliwe bo trzeba pogrzebać w kodzie tych stron, czasami cos się zmieni na stronie (np. nazwa działu albo klasy która w kodzie strony trzyma tę treść). Więc oprócz napisania tych scraperów, trzeba będzie je utrzymywać potem - support od czasu do czasu w razie problemów. Jak scraper już pobierze treść, to dobrze żeby zapisał w pliku albo jakiejś prostej bazie danych (SQLite) ją w jakimś w standardowym formacie - JSON jest spoko, bo będzie łatwiej wysłać dane do Chata albo jakiegoś innego AI. Dane wysyła się przez API i podejrzewam że JSON będzie najwygodniejszy. Z tego co patrzyłem to nie ma tu nic trudnego, trzeba tylko w ustawieniach requesta wysyłanego do Chata zdefiniować, żeby nie dodawał tych swoich wstępów tylko wypluł samo podsumowanie treści. Też zrobi to w postaci JSONa raczej i tę odpowiedź też dobrze by zapisać w jakimś pliku. Ostatni krok to wysłanie tego do Wordpressa przez API. Widziałem, że można ustawić status wpisu (np. draft) co myślę że jest spoko opcją, bo przed publikacją możecie przejrzeć czy nie ma tam żadnych głupot. Ale jak będzie śmigało, to można zmienić status tak, żeby publikował automatycznie. Jeśli o automatyzację chodzi, na początek bym sugerował odpalać to z łapy raz dziennie albo zaschedulować sobie na lapku - i Windows i macOS mają takie schedulery, więc możecie to puszczać raz dziennie. Myślę, że na chmurę warto to będzie wrzucić po weryfikacji jak to śmiga, żeby nie nabiło wam za wcześnie kosztów. Z szybkiego researchu Heroku może być spoko opcją, bo mają dużo ułatwień dla takich prostych programów.
Identyfikator projektu: 38486063
45 ofert/y
Aktywny rok temu
Lokalizacja: Katowice, Poland
Ustal budżet i ramy czasowe
Otrzymuj wynagrodzenie za swoją pracę
Przedstaw swoją propozycję
Rejestracja i składanie ofert jest bezpłatne
45 freelancerzy składają oferty o średniej wysokości $2 237 USD dla tej pracy

I am Python web scraping developer with expertise in automating news website data collection and interaction with APIs. I have strong knowledge of BeautifulSoup4, requests, sqlite, and automation with cron/Windows Tasks Scheduler. I can ensure efficient storage and transmission of data in JSON format, as well as automation of content delivery to a Wordpress website. Let's discuss further details and specifics.
$2 550 USD w 20 dni
8,5
8,5

Hello, I can start immediately. I have 13+ years of experience and I ensure you I can complete the project within budget and timeline. I'm not just a developer; I'm your dedicated partner. I'm committed to working with you. Count on me for any upgrades or specific requirements you may have along the way. I have few questions about the requirement. Can we discuss this over chat? Looking forward to hearing from you soon. Best regards, Sneha
$2 666 USD w 7 dni
7,3
7,3

Hi there, I believe I am uniquely positioned to tackle your current project with utmost success. As an expert in Python, I have an in-depth understanding of web scraping and automation techniques which are essential for this project. My familiarity with libraries such as BeautifulSoup4, requests, and selenium ensure that I can craft efficient scrapers for news sites of your choice. Additionally, I possess a solid grasp of HTML and CSS and my knowledge using technologies like JSON, SQLite and deploying applications in cloud services like Heroku, AWS will prove invaluable in saving you time and effort. My proficiency in system control of versioning with git aligns perfectly with your requirement I.e cron/Windows Tasks Scheduler/launchd etc. Automation is key, and it is something that I place a great emphasis on when it comes to the projects that I undertake. Let's go
$3 000 USD w 20 dni
7,3
7,3

As an experienced web and WordPress developer with a solid command of multiple coding languages including JavaScript and PHP, I am fully equipped to tackle the wide-ranging requirements of your project. I have hands-on experience with task elements such as web scraping using Python, which will prove indispensable in gathering news articles from specified portals using libraries like BeautifulSoup4. Additionally, my understanding of HTML, CSS, and proficiency with libraries like requests, sqlite, beautifulsoup4, automation with cron, Windows Task Scheduler and Git for version control put me at a significant advantage to execute tasks such as saving scraped content in JSON formats and utilizing APIs for automatic transmission both into the ChatGPT platform as well as WordPress. I have a history of working effectively in dynamic environments faced with evolving code needs and promise to combine skillful implementation of scraper protocols, proficient maintenance proficiency and constant support to handle any setbacks that may arise - just what your project requires. To add on, I can assist you in deploying your application on cloud services such as Heroku or AWS, leveraging my familiarity with cloud technologies.
$1 500 USD w 1 dzień
6,7
6,7

Hello, As a seasoned and diligent full-stack developer with a comprehensive understanding of a broad range of technologies including MEAN/MERN stack, PHP, Python, and AWS, I strongly believe that I'm the perfect fit for your project. My extensive experience in scraping and automation through Python using libraries such as BeautifulSoup4, Selenium, and more can greatly contribute to solving any potential challenges you may face. Additionally, I have a solid grip on HTML and CSS as well as knowledge about Wordpress and integrating APIs seamlessly. To ensure efficiency and security, I suggest deploying the application in a Docker container and taking advantage of cloud technology such as Heroku or AWS for cost-effectiveness. Maintaining the scraper won't pose any problem for me as I've been working with similar projects for the past few years. In terms of automation, I can help you schedule the task on Windows Task Scheduler or MacOS launchd for daily updates. Lastly, my strong foundations in database management particularly with SQLite make me confident about storing your dataset successfully. My meticulousness matched with my clear coding techniques ensures that every piece of data will be maintained precisely how you desire it. Partnering with me would guarantee not only a top-notch technical solution but also an ongoing supportive relationship for future advancements or troubleshooting should the need arise.
$3 000 USD w 45 dni
6,7
6,7

⭐⭐⭐⭐⭐ Web, Android and IOS App Development Expert Here⭐⭐⭐⭐⭐ Feel free to message me. Regards. Joseph.
$3 000 USD w 15 dni
6,0
6,0

As a Polish-speaking freelancer with extensive experience in web scraping and a solid grasp of the required technologies like Python, BeautifulSoup4, and more, I believe I am well-suited for your project. Beyond just developing the initial scripts, I understand the importance of providing consistent support and maintenance as websites evolve. My background in PHP and JavaScript also makes me proficient in handling data in JSON format—a key aspect of this project—including automating API operations. One unique aspect of my approach is the emphasis on transparent communication and live demonstrations. Even before making any hiring commitments, I’m happy to provide a live demonstration of my work utilizing my own server. This way, you can clearly evaluate my abilities and make an informed decision based on tangible results. As your satisfaction is my utmost priority, let’s collaborate to make this scraper exactly as per your vision without ruling out any improvements along the way!
$2 250 USD w 7 dni
6,4
6,4

Chętnie zapoznam się ze szczegółami i podejmę realizację zlecenia. Jestem doświadczonym programistą z wieloletnim doświadczeniem komercyjnym. Specjalizuję się m.in. w różnego rodzaju scrapperach, narzędziach monitorujących, crawlerach. Realizowałem już dziesiątki tego typu projektów. Od strony technicznej i merytorycznej, zlecenie nie stanowi tutaj wyzwania i większych trudności. Oczywiście temat wymaga omówienia. Abym mógł w jakikolwiek sposób przeprowadzić analizę tego projektu, muszę znać strony źródłowe, z których dane mają być pobierane. W razie zainteresowania proszę o kontakt poprzez chat, a chętnie omówię szczegóły samego projektu
$3 000 USD w 30 dni
6,0
6,0

Hi there, I checked your requirements and guarantee you that i have relevant experience in Python it's gonna be done within the highest quality . Let's contact via chat so that I can start work immediately
$2 265 USD w 1 dzień
5,8
5,8

Dear sir, I am expert in Laravel / ReactJs / VueJs / CodeIgniter / NodsJs / Redux / MongoDb / Open Cart (Extension and module development , Customization ) / WordPress (Theme development , Plugin development , Customization) / E-commerce platform / Telemedicine / Saas based applications / AWS / S3 / Route5 etc. I already developed many website which is multilanguage. So i can easily translate your website from english to Spanish, Germany, and France. Let's jump on a chat or call for further discussion about the project. Thank you.
$2 250 USD w 7 dni
5,8
5,8

Hello Dear! Here is the best freelancer to develop the perfect bot to scrape the news and automate the processing of it. Only I can implement your idea correctly. I will share my portfolio and experience in our chatting. Please contact me and lets discuss more detail about project. Best regards, Faizal
$3 000 USD w 34 dni
5,2
5,2

As someone with years of experience in the web development realm, I believe I'm a perfect fit for this project. My prowess in Python, beautifulsoup4, and Selenium - crucial for scraping websites - is unparalleled. Understanding HTML and CSS will aid me in effectively navigating the different sites, even when they inevitably change their code structure or naming conventions, avoiding any hindrance to our operation. Moreover, I'm well-versed with handling data using libraries like SQLite and requests, ensuring that your scraped content is safely stored and easily retrievable. My expertise also extends to utilizing APIs efficiently - be it sending specially defined queries to ChatGPT or interfacing with Wordpress for seamless content uploads. I have a firm grasp on deployment strategies, such as cron/Windows Task Scheduler/launchd which will ensure this program flows seamlessly without requiring any recurring manual intervention. Additionally, if needed in the future, I can containerize the entire program in Docker making it highly portable and independent of dependencies on your local environment. Lastly, deploying on cloud platforms like Heroku or AWS which facilitate cost-effective management makes me an all-in-one package for this project. Give me a chance to prove my commitment to providing you with quality work and fast support throughout the tenure of this project.
$2 500 USD w 7 dni
4,9
4,9

As a team of highly skilled professionals with 7+ years of experience in website scraping, we at Sanjay&Co guarantee bespoke solutions tailored to your unique need. Our proficiency spans across critical tools like Python, requests, sqlite, BeautifulSoup4, selenium- all necessary for efficient scaping and data analysis. Additionally, our expertise extends to automating and integrating scraped data seamlessly into various platforms, including Wordpress. We have a firm understanding of APIs and how to transmit data effectively to ChatGPT and other AI platforms while bearing in mind the requirement for precise prompt responses. Moreover, our proactiveness ensures that we don't just deliver the final product but also offer post-production support and improvements where necessary. We are flexible and open to suggestions/changes that may come up during the course of the project as well as prepared to adapt to any environment- local or cloud-based (AWS, Heroku etc.) that you may choose. This speaks to our willingness to support your project at any phase in future if need be. At Sanjay&Co., quality is non-negotiable and deadline adherence is guaranteed. Let's get these ideas actualized together!
$2 250 USD w 7 dni
5,2
5,2

Hello Jakubs777, I am excited about the opportunity to work on your project "Scraper wiadomości." With my extensive experience in Python, Web Scraping, and Django, I am well-equipped to meet and exceed your project requirements. My expertise in developing scrapers using BeautifulSoup4, storing data in JSON format, and automating content delivery through APIs align perfectly with your needs. I am confident in my ability to deliver a high-quality, efficient solution that will streamline the process of retrieving, modifying, and uploading news content to your desired platforms. I am ready to collaborate closely with you to ensure the project's success and welcome any feedback or suggestions that may arise during the development process. I look forward to discussing how we can bring your
$2 100 USD w 3 dni
5,1
5,1

I have more than 15 years of experience in the development As I am an expert, I can build it according to your requirements. Because I have a lot of experience in these fields, I can build your project as soon as possible. I offer excellent software quality work and provide the best support for your project. If you give me this job, I will do my best to finish your job by your timeline. If you want to see my past works, I can show you my past works right now. Ready to discuss this with you about the task now. Thank you for the reading.
$1 500 USD w 7 dni
5,1
5,1

✔️✔️✔️Hello!✔️✔️✔️As an experienced software consultant and freelance developer, I possess a robust skill set perfectly suited to comprehensively tackle the requirements of your project. My proficiency in Python and web scraping using tools like BeautifulSoup4 make me adept at constructing efficient news scrapers tailored to each site. I'm also familiar with vital related libraries such as SQLite and requests, which would be invaluable for safely storing the scraped content in JSON format or a SQLite database as needed. Additionally, I possess practical experience with various automation tools such as cron, Windows Task Scheduler, and launchd that can ensure your scraper operations run smoothly at preset intervals. Moreover, if you're interested in future-proofing your application by containerizing it in Docker or deploying it on a cloud platform such as Heroku, AWS, or GCP, I'm already equipped with the competence needed owing to my previous works. In closing, hiring me guarantees excellent communication skills, streamlined project management, expertise in pivotal tools and technologies for this task. I am committed to exceeding your expectations by devoting utmost professionalism towards delivering tailored solutions that will greatly facilitate the automation of the targeted web scraping tasks for your projet.
$2 250 USD w 7 dni
4,7
4,7

Cześć, idealny projekt pod moje umiejętności. Więc tak: Wymagania szczegółowe: 1. Nie wiem ile jest tych stron z newsami i jak są one zbudowane ale zakładam, że trzeba będzie napisać kilka botów prawdopodobnie z wykorzystaniem kilku bibliotek. 2. Bez problemu. 3. Mały research i przetestowanie czy wszystko jest okay ale ogólnie bez problemu. 4. Bez problemu. 5. Pytanie: Czy Wy macie już stronę w Wordpressie czy ona też jest do napisania? 6. Bez problemu. Ewentualnie Python też ma bibliotekę do tego. 7. Do przemyślenia. 8. Po przetestowaniu czy wszystko działa poprawnie. Cały załączony Plan brzmi sensownie i oczywiście zapewniam support w razie potrzeby (zmiany na stronach z newsami, zmiany w kodzie, dalszy rozwój projektu itp.). W razie czego jestem wolny od września tylko nie jestem pewny czy praca zdalna wchodzi w grę czy to faktycznie jest na miejscu w Katowicach? Udanego dnia :)
$2 500 USD w 30 dni
5,1
5,1

Dzień dobry :) Chętnie podejmę się tego projektu. Jestem backendowcem z wieloletnim doświadczeniem, w tym w bardzo podobnych projektach. Mam za sobą wiele scrapperów, integracji api jak i doświadczenie z chatgpt, więc jestem pewien, że będę w stanie zapewnić zadowalający skrypt jak i wsparcie. Preferowane rozwiązanie to python + selenium. Proszę dać znać w przypadku jakichkolwiek pytań! :)
$1 500 USD w 14 dni
4,7
4,7

As a seasoned Full Stack Developer with a solid 8+ years of experience, including specialties in Python and Web Scraping, I truly believe that I am the ideal fit for this project. Moreover, I understand the significant value in efficiently storing and utilizing data for maximum results. Whether it's saving scraped content as JSON or in a SQLite database, optimizing ChatGPT API prompts or seamlessly integrating with WordPress through APIs, I assure you of my thorough expertise in achieving this with precision. Lastly but not less importantly, automation is key in dealing with large-scale scraping tasks. I am comfortable deploying cron/Windows Tasks Scheduler/launchd or any other scheduler as outlined in your project plan. Additionally, I'm open to the option of containerizing the program using Docker as well as deploying our application within any cloud service of your preference (Heroku, AWS, GCP etc.). With my skills and dedication, rest assured that this project will be performed professionally and result-orientedly from start to finish---and beyond!
$2 250 USD w 7 dni
4,0
4,0

Cze!\r\nDobrze trafile! Mam na imi Grzegorz, jestem Polakiem z krwi i koci i w dodatku dokadnie rozumiem co masz w planach zrobi. Z najwiksz przyjemnoci podejm si wspópracy przy tym projekcie. Boty byyby oczywicie napisane w Pythonie, BeautifulSoup równie zostaoby uyte niejednokrotnie. Jeeli chodzi o zapis w formacie JSON to jak najbardziej okej, aczkolwiek baz danych do twojego projektu zaproponowabym inn. Z Heroku korzystaem do sporo w swoim yciu wic nie bdzie adnego problemu eby na tym schedulerze umieci to wszystko ale ostatnio trafiem na do wygodniejsz opcje z której moglibymy skorzysta.
$2 250 USD w 7 dni
3,7
3,7

Katowice, Poland
Członek od sie 22, 2024
$30-250 USD
$100 USD
$15-25 USD / godz.
₹3000-6000 INR
$30-250 SGD
$10-30 USD
$25-50 USD / godz.
$100 USD
$30-250 USD
$10-30 USD
$3000-5000 USD
$15-25 USD / godz.
$10-30 USD
$30-250 USD
₹12500-37500 INR
$20 USD
₹12500-37500 INR
$10-30 USD
₹400-750 INR / godz.
$25-50 USD / godz.
$250-750 USD