Find Jobs
Hire Freelancers

Insertion of 10+ billion records into an AWS DB (RDS)

$30-250 USD

W trakcie realizacji
Opublikowano ponad 9 lat temu

$30-250 USD

Płatne przy odbiorze
15 Billion records have to be inserted into a DB from Text Files. (Each record about 100byte) There are about 250 zip-files (2-3GB compressed and 8-15GB uncompressed). The task of inserting the data in the DB should be done on AWS (Amazon Web Service). The files will be available on S3. The processing should happen on EC2 with an instance that is capable to deal with the task. The project is to write some software that process the files automatically, i.e. from S3 to uncrompression, into the DB. The task should also be done in parallel e.g. on 10 or more EC2 instances in parallel, so that it is done in a few (4 or 5) days. As DB, RDS should be used .. A MS-SQL DB model with trigger for a View is already available. However, I would be open for suggestions on other ways to import the data to the DB (e.g. LINQ or [login to view URL] etc.). The goal is also to have a rough cost estimation on how much it will cost to do this task with respect to AWS's EC2 and RDS storage costs. More details will be provided to qualified candidates (someone who has had experience with extremely large databases and GB-sized files before)
Identyfikator projektu: 6900390

Informację o projekcie

11 ofert
Zdalny projekt
Aktywny 9 lat temu

Szukasz sposobu na zarobienie pieniędzy?

Korzyści ze składania ofert na Freelancer.com

Ustal budżet i ramy czasowe
Otrzymuj wynagrodzenie za swoją pracę
Przedstaw swoją propozycję
Rejestracja i składanie ofert jest bezpłatne

O kliencie

Flaga UNITED STATES
Las Vegas, United States
5,0
75
Zweryfikowana metoda płatności
Członek od lis 8, 2007

Weryfikacja Klienta

Dziękujemy! Przesłaliśmy Ci e-mailem link do odebrania darmowego bonusu.
Coś poszło nie tak podczas wysyłania wiadomości e-mail. Proszę spróbować ponownie.
Zarejestrowani Użytkownicy Całkowita Liczba Opublikowanych Projektów
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Wczytywanie podglądu
Udzielono pozwolenia na Geolokalizację.
Twoja sesja logowania wygasła i zostałeś wylogowany. Proszę, zalogować się ponownie.