MySql ile wytrzyma (rekordów)

[soulreaver1]

Witam.

Mam bazę Mysql która zawiera w tej chwili ok. 300 tyś. rekordów (50 Mb) w ciągu miesiąca będzie już ok. 5 mln. Baza przechowuje logi z serwera proxy. Ile rekordów jest w stanie pomieścić MySql żeby się nie zamuliła i żeby nie było problemów? Serwer jest zainstalowany na zwykłym starym PC; Celeron 2,6 Ghz, 2GB RAM, HDD SATA 7400 obr/min, Debian Squeeze x86.

[mario_7]

http://dev.mysql.com/doc/refman/5.0/en/full-table.html
Oznacza to tyle, że limit rozmiaru tabeli stanowi limit rozmiaru pliku na dysku. Oznacza to też, że limitu rozmiaru bazy jako takiego nie ma (jeśli rozłożysz go na odpowiednią liczbę tabel). W zasadzie jak poczytasz stronę, do której link podałem wyżej, to doczytasz się, że jedną tabelę można przechowywać w wielu plikach, więc nawet ten limit (jako programowy) nie istnieje...

Faktyczne ograniczenie stanowi zatem sprzęt, który przy naprawdę dużych bazach może mieć problemy z odpowiednia prędkością działania. Powiem tak - baza rozmiaru kilku GB to pikuś dla sprzętu który podałeś (chyba, że serwer jest znacznie obciążony).

Jeszcze jednym aspektem, który znacznie wpływa na wydajność (nawet bardziej niż sprzęt) to stosowanie optymalnych zapytań do bazy danych. Jeśli baza nie musi mielić bezużytecznych danych w każdym zapytaniu, to rozmiary rzędu kilkudziesięciu GB nie powinny być problemem (choć przy wspomnianym sprzęcie może być już widoczny spadek wydajności).

[soulreaver1]

Ok, dzięki za rozjaśnienie tematu. Niestety w mojej bazie 99% rekordów znajduje się w jednej tabeli i tak będzie musiało pozostać.

[mario_7]

Jeśli chcesz się przekonać jak dużą bazę uciągnie Twój sprzęt, to powrzucaj do niej jakieś "dane testowe" (czytaj: kilka GiB śmieci) i zobacz jak to działa.

Nie wiem jakiego rodzaju logi zbierasz, ale takie rzeczy zazwyczaj przechowuje się w plikach. Przemyśl sprawę - może nie wszystko musisz trzymać w bazie.

[soulreaver1]

Jeśli chcesz się przekonać jak dużą bazę uciągnie Twój sprzęt, to powrzucaj do niej jakieś "dane testowe" (czytaj: kilka GiB śmieci) i zobacz jak to działa.

Nie wiem jakiego rodzaju logi zbierasz, ale takie rzeczy zazwyczaj przechowuje się w plikach. Przemyśl sprawę - może nie wszystko musisz trzymać w bazie.

Baza jest generowana przez program Proxylizer http://wiki.mikrotik.com/wiki/Proxylizer/Introduction a tabela wygląda tak:



Poczekam po prostu aż się nazbiera trochę tych rekordów, jeśli zacznie mulić to zapuszczę skrypt "Delete + Optimze" i po sprawie. Właściwie wystarczy mi jeśli będą przechowywane rekordy tylko z 30 dni wstecz, z czystej ciekawości chciałem wiedzieć jakie są możliwości...

[jacekalex]

O ile się nie mylę Mysql w wersji darmowej miewał spore kłopoty wydajnościowe, przy liczbie rekordów większej, niż milion w jednej tabeli.

[ethanak]

O ile się nie mylę Mysql w wersji darmowej miewał spore kłopoty wydajnościowe, przy liczbie rekordów większej, niż milion w jednej tabeli.

Inaczej: każda baza danych będzie miała sęki jak nie założysz indeksów.

A z innej beczki; jak myslisz, czy firmie Oracle opłaca się rozdawać za darmo bazę danych (MySQL) jeśli może sprzedać inne rozwiązanie (wiecie jakie)?

[jacekalex]

Inaczej: każda baza danych będzie miała sęki jak nie założysz indeksów.

A z innej beczki; jak myslisz, czy firmie Oracle opłaca się rozdawać za darmo bazę danych (MySQL) jeśli może sprzedać inne rozwiązanie (wiecie jakie)?

Dokładnie to samo było z Sunem i Mysql-Enterpise.

W tej chwili bardziej liczyłbym na klony Mysql - MariaDB i Percona.

[adeptofvoltron]

przy takiej bazie danych stworzyłbym jakiś indeks najlepiej drzewiasty. Wtedy czas dostępu będzie rósł logarytmicznie.

polecam podręcznik Bega do projektowania baz danych. rozdział był bodajże 15-16 o etapie fizycznym projektowania.