Fórum pro uživatele kancelářského balíku OpenOffice | LibreOffice
 

#1 9. 11. 2015 20:24:29

Mach
Člen
Registrace: 28. 12. 2008
Příspěvků: 30

Jakou největší velikost databáze máte?

Zdravím,
pokouším se naimportovat do Base nějaká data v CSV (s mezikrokem přes Calc - jinak to ani nejde). Při řádově stovkách záznamů proběhne import do Base bez problémů. Avšak už při tabulce, která má 180 tisíc záznamů a 6 polí Base zkolabuje (Windowsí terminologií "Aplikace Base neodpovídá"). Při pokusu import tabulky mající 500 tisíc záznamů a 26 polí Base po chvíli rovnou spadne ("...program bude ukončen").       


Můj dotaz zní: Jak velkou databázi reálně provozujete? Resp. kolik záznamů (řádků) a kolik polí (sloupců) reálně zvládá?

Offline

#2 9. 11. 2015 21:00:02

neutr
Člen
Registrace: 8. 3. 2007
Příspěvků: 2,678

Re: Jakou největší velikost databáze máte?

Problém velikosti existuje, ale ve Vašem podání půjde zřejmě jen o nedostatečné nastavení systému. Více uveze LibreOffice, ale problém je v nastavení systému na soubor - Nástroje > Možnosti > LibreOffice (OpenOffice) > paměť (mezipaměť) : - zde nastavte méně kroků zpět (já jsem nastavil 20), nastavte paměť na objekt - standard je 5 MB - dejte 2x tolik a otestujte, následně můžete dál zvýšit. Měl byste ale zmeněit počet objektů - standard 20 zmenšete například na 5 ap - a pak můžete změnit čas mezipaměti.
     Důležitá je i stránkovací paměť kterou nastavujete v operačním systému. To je prostor na disku kam se dočasně odkládá. Dá se nastavit i na více discích pokud nějaké další máte.


     Já ale doporučuji rozdělit databázi na stravitelné části a ty pak zpracovávám postupně. Je také možné z jedné kompletní tabulky X sloupců krát Y řádků udělat X databází s jedním sloupcem + index. To je pak relační databáze kde se doluje podle idexu.
     Pokud pracujete přes Calc tak bych udělal díly do 100.000 řádků a k tomu bych nastavil paměti. Pokud máte jeden velký soubor CSV tak ho rozeberte například pomocí CSValidátoru, nebo jiného externího prostředku.

Editoval neutr (9. 11. 2015 21:00:36)


Pokud je Váš problém vyřešen, označte prosím svůj příspěvek za "VYŘEŠENÝ"
Zlepšíte tak orientaci na fóru při vyhledávání řešení problémů
JAK OZNAČIT TÉMA ZA VYŘEŠENÉ

Offline

#3 9. 11. 2015 22:05:31

Mach
Člen
Registrace: 28. 12. 2008
Příspěvků: 30

Re: Jakou největší velikost databáze máte?

Zkoušel jsem to na několika PC, naposled na i5 s 8GB RAM. Import, resp kopírování kolabuje i tam. Jinak, CSVčko s výše zmíněnými 500 tisíci záznamy má 78 MB, převedené do Calcu 27 MB (je zkomprimovaný). Primární klíč pochopitelně mám.


Zítra provedu další pokusy a dám vědět.

Offline

#4 10. 11. 2015 06:59:56

neutr
Člen
Registrace: 8. 3. 2007
Příspěvků: 2,678

Re: Jakou největší velikost databáze máte?

Tedy 78 MB je porce. Na tohle musíte nastavit parametry LibreOffice (OpenOffice). Calc to sice zkomprimuje, ale zpracovat to musí rozpakované (je to zip).
     Tahle velikost mi říká, že 1/2 milionu záznamů jsou spíš řádky - tedy mnoho sloupců, respektive co záznam tak 160 bajtů (asi 80 znaků). Tedy včetně indexů. Potom je to asi A4 obsah (normostrana 1800 znaků (asi 3600 bajtů), A4 bežně 2x tolik) na "buňku" každého řádku mimo indexu. V textovém formátu přibližně platí, že A4 = +/- 5 kb. Průměrná databáze to rozhodně není.
     Prakticky by to mohl být obsah například databáze WordPressu. Já osobně bych to zpracovával po sloupcích protože 78 / 26 = cca 3 MB na sloupec a stačí nastavení (LO, AOO) bez úprav.


Pokud je Váš problém vyřešen, označte prosím svůj příspěvek za "VYŘEŠENÝ"
Zlepšíte tak orientaci na fóru při vyhledávání řešení problémů
JAK OZNAČIT TÉMA ZA VYŘEŠENÉ

Offline

Zápatí