Archiv verlassen und diese Seite im Standarddesign anzeigen : NAS-Performance bei vielen kleinen Dateien
Guten Morgen miteinander,
Vielleicht kennt einer auch die Situation: ein (verschlüsseltes) Verzeichnis auf einem NAS (Synology 213+) enthält viele Dateien (>5000). Wenn ich im Commander One (Mac File Manager, ähnlich Total Commander) in solch ein Verzeichnis wechsle, vergehen 1-2 Minuten bis zur Auflistung aller Dateien.
Würde ein NAS-Upgrade für eine bessere Performance sorgen (mehr CPU, RAM).
Oder ist das ein generelles AFP/SMB Problem?
Oder eventuell nur eine ungünstige Konfiguration?
Oder ganz was anderes...?
Was denkt ihr?
Vielen Dank für eure Ideen, Vorschläge und Antworten. :D
Mit besten Grüße,
meshua
Hallo Meshua,
die Hardware Encryption Engine der Synology 213+ hat mich auch nicht begeistert.
Bei den neueren hab ich's jetzt gar nicht mehr ausprobiert, ich geh einen anderen Weg und zwar mit TrueCrypt (https://www.heise.de/download/product/truecrypt-25104) (jetzt neu: VeraCrypt (https://www.heise.de/download/product/veracrypt-95747)).
Ich habe einen TrueCrypt Container auf der Synology mit ca. 4000 Bilddateien, wenn ich den öffne, geht das in weniger als einer Sekunde. In der Nutzung merke ich dann keinen Unterschied, ob es sich um normale oder verschlüsselte Files handelt.
Weiterer Vorteil: Beim Backup einfach den TrueCrypt Container auf eine externe HD kopieren. Der Container auf der externen HD kann dann wieder auf jedem PC geöffnet werden, muss also nicht erst auf eine Synology zurückgespielt werden.
Hallo HaPeKa,
Das mit dem TC/VeraCrypt Container muss ich nochmal in Ruhe testen. Damals, so um 2014, hieß es noch, das ein TC-Container vom NAS gemounted eine schlechte Performance aufweist, weil der TC-Treiber selbst bei kleinen Veränderungen zuviele Daten schreiben muss (=Overhead).
Ich werde das aber heute Abend mal mit dem LR-Catalog und einem 10GB VeraCrypt-Container ausprobieren. Aktuell verwende ich auch verschlüsselte SparesBundles (MAC/HPFS) und mounte diese für den Zugriff seitens LR
[EDIT]
Dabei fällt mir ein, das ich derzeit von zwei Clients auf das verschlüsselte Share zugreife. Außerdem scheint ein Container nicht unproblematisch zu sein, wenn es kurz zu Netzwerkstörungen kommt (Integrität!). Hmmmm....
Grüße, meshua
NetrunnerAT
18.12.2017, 14:47
Verschlüsselung auf in der NAS selber ist langsam. Gerade kleine Datein sind extrem aufwendig. Wenn geht das nur mit Crypt Beschleuniger oder sehr dicke CPUs mit Beschleuniger Libs im Kernel aktiviert. AMD und Intel CPUs können diverse AES Varianten extrem schnell.
Veracrypt ist deine CPU gefordert und ist sicherlich schneller als die Syno Lösung!
Es klingt blöd ... bei sowas würde ich schon auf NATIV OS auf der NAS setzen. Verschlüsselte ZFS Laufwerke sind extrem robust und für mehrere Zugriffe gleichzeitig hin optimiert!
Das mit dem TC/VeraCrypt Container muss ich nochmal in Ruhe testen. Damals, so um 2014, hieß es noch, das ein TC-Container vom NAS gemounted eine schlechte Performance aufweist, weil der TC-Treiber selbst bei kleinen Veränderungen zuviele Daten schreiben muss (=Overhead).
Wie's auf dem Mac performancemässig läuft, kann ich nicht sagen, auf dem Windows System läuft es für mich perfekt. Ich kann keinen Unterschied feststellen, ob ich mit verschlüsselten oder unverschlüsselten Daten auf der NAS arbeite.
Ich bin jedoch nach wie vor bei TrueCrypt, weil VeraCrypt deutlich langsamer lief. Das hat unter anderem damit zu tun, dass VeraCrypt bei den Standard-Einstellungen beim Verschlüsseln eine wesentlich höhere Zahl der Iterationen nutzt, was Brute-Force-Attacken erschweren soll. Dies führt dazu, dass das Öffnen des VeraCrypt-Containers wesentlich länger dauert, nicht aber der Dateizugriff. Selbstverständlich kann man VeraCrypt auch so konfigurieren, dass es ähnlich schnell läuft, wie TrueCrypt, ich hab's aber nicht getestet, weil ich mit TC sehr zufrieden bin. Infos zur Optimierung der Konfig kannst du im Heise Blog: Die Qual der Wahl: Die beste Kombination aus Verschlüsselungsalgorithmus, Hashfunktion und PIM (https://www.heise.de/download/blog/Verschluesselung-ohne-Truecrypt-Veracrypt-uebernimmt-3298364) finden. Meine Sicherheitsanforderung kann TC erfüllen, ich muss meine Daten nicht vor Brute Force Attacken und Geheimdiensten schützen :)
Dabei fällt mir ein, das ich derzeit von zwei Clients auf das verschlüsselte Share zugreife. Außerdem scheint ein Container nicht unproblematisch zu sein, wenn es kurz zu Netzwerkstörungen kommt (Integrität!). Hmmmm....
Da hast du recht, das ist eine Einschränkung. Um die Integrität brauchst du dir aber keine Sorgen zu machen, wenn du versuchst, auf einen geöffneten Container zuzugreifen, bekommst du eine Fehlermeldung:
"Die Datei wird verwendet. Geben Sie einen anderen Namen ein, oder schliessen Sie die Datei in dem anderen Programm". Trotzdem: Regelmässige Backups des Containers können nicht schaden ...
Ich habe mir angewöhnt, den TrueCrypt Container zu schliessen, wenn ich den PC verlasse, so komme ich auch nicht in Verlegenheit, wenn ich den von einem anderen PC aus öffnen will. Bei mir hab ich's so eingestellt:
CTRL-ALT-M(ount) öffnet das Passwortfenster und den Container nach erfolgter PW Eingabe, CTRL-ALT-U(nmount) schliesst ihn wieder ...
Bin gespannt, was du für Erfahrungen machst. Ein 10GB Container sollte eigentlich rennen. Mein Container auf der NAS ist 500GB gross und läuft problemlos ...
Guten Morgen miteinander,
Vielleicht kennt einer auch die Situation: ein (verschlüsseltes) Verzeichnis auf einem NAS (Synology 213+) enthält viele Dateien (>5000). Wenn ich im Commander One (Mac File Manager, ähnlich Total Commander) in solch ein Verzeichnis wechsle, vergehen 1-2 Minuten bis zur Auflistung aller Dateien.
Würde ein NAS-Upgrade für eine bessere Performance sorgen (mehr CPU, RAM).
Oder ist das ein generelles AFP/SMB Problem?
Oder eventuell nur eine ungünstige Konfiguration?
Oder ganz was anderes...?
Was denkt ihr?
Vielen Dank für eure Ideen, Vorschläge und Antworten. :D
Mit besten Grüße,
meshua
Darf ich fragen, wieso du deinen Daten verschlüsselst?
Ich hab grad von der DS211 auf die DS218+ gewechselt und bin begeistert, wie schnell alles auf einmal geht. :)
Hab dabei den RAM noch um 4GB erweitert und einen Silent Wings 2 von BeQuiet eingebaut. Echt ein super Teil.:top:
Guten Abend,
Und ein Dankeschön an Euch für all die bisherigen Antworten!
(...) Wenn geht das nur mit Crypt Beschleuniger oder sehr dicke CPUs mit Beschleuniger Libs im Kernel aktiviert. AMD und Intel CPUs können diverse AES Varianten extrem schnell.
(...)
Es klingt blöd ... bei sowas würde ich schon auf NATIV OS auf der NAS setzen. Verschlüsselte ZFS Laufwerke sind extrem robust und für mehrere Zugriffe gleichzeitig hin optimiert!
ZFS Benötigt eben "etwas" mehr RAM. Aber mir wär's natürlich mit "Native OS" auf dem NAS auch am liebsten. Synology gefällt mir, weil's einfach out-of-box läuft, ohne groß herumfrickeln zu müssen. Vom Frickeln ist mein Bedarf auf Arbeit mit virtuellen W2k8/12 Servern und toller IBM Weichware (Cognos, TM1) reichlich gedeckt :P ;)
Darf ich fragen, wieso du deinen Daten verschlüsselst?
Ohh, da stellst du aber eine interessante Frage. Lass die Gründe Diebstahl & Vertraulichkeit sein. Alle lokalen Informationen sind bei mir grundsätzlich verschlüsselt, und das schließt auch das NAS mit ein. Ist eben ein Teil meines DV Schutzkonzepts. Schließlich hat man wichtige Verträge und Goldschmuck auch im Safe und nicht unter der Matratze deponiert. Oder schließt du dein Auto in der Tiefgarage nicht ab, nur weil an der Einfahrt eine Schranke ist? ;)
Ich werd' mir das über die Feiertage nochmals weiter ausarbeiten, und ob eine DS218+ die Lösung sein könnte...:cool:
Beste Grüße, meshua
Guten Abend,
Und ein Dankeschön an Euch für all die bisherigen Antworten!
ZFS Benötigt eben "etwas" mehr RAM. Aber mir wär's natürlich mit "Native OS" auf dem NAS auch am liebsten. Synology gefällt mir, weil's einfach out-of-box läuft, ohne groß herumfrickeln zu müssen. Vom Frickeln ist mein Bedarf auf Arbeit mit virtuellen W2k8/12 Servern und toller IBM Weichware (Cognos, TM1) reichlich gedeckt :P ;)
Ohh, da stellst du aber eine interessante Frage. Lass die Gründe Diebstahl & Vertraulichkeit sein. Alle lokalen Informationen sind bei mir grundsätzlich verschlüsselt, und das schließt auch das NAS mit ein. Ist eben ein Teil meines DV Schutzkonzepts. Schließlich hat man wichtige Verträge und Goldschmuck auch im Safe und nicht unter der Matratze deponiert. Oder schließt du dein Auto in der Tiefgarage nicht ab, nur weil an der Einfahrt eine Schranke ist? ;)
Ich werd' mir das über die Feiertage nochmals weiter ausarbeiten, und ob eine DS218+ die Lösung sein könnte...:cool:
Beste Grüße, meshua
Steht das NAS in deiner Wohnung oder im Büro? Wurde denn bei dir schon mal eingebrochen?
Versteh mich nicht falsch, ich habe auch schon mal über Verschlüsselung nachgedacht. Aber dann eher bei portablen Geräten oder wenn es um Arbeitssachen geht. Bei einem Einbruch mache ich mir in meiner Wohnung um andere Sachen mehr sorgen. Ich find das jedenfalls ein wenig mit Kanonen auf Spatzen geschossen und die Performance ist mir dann wichtiger. Mein Auto schließe ich auch in der Garage ab;)
Ich hab auch lange mit der ds211 gearbeitet und ne Weile überlegt die ds216+II zuzulegen. Und bei der 218+ war es dann soweit und bereue es nicht.
Vg
Steht das NAS in deiner Wohnung oder im Büro? Wurde denn bei dir schon mal eingebrochen?
Das NAS steht in meiner privaten Wohnung. Darauf befinden sich neben Backups vom Firmen-Notebook auch meine privaten, vertraulichen Daten (u.a. digitalisierte Dokumente von Versicherungen & Finanzen, Backups mit Accountdaten, Zertifikate Keepass- und Schlüsseldateien) - das möchte man einfach nicht in falschen Händen wissen. Alle Notebooks (privat und geschäftlich) sind verschlüsselt - wieso sollten die Nutz-/Bewegungsdaten dann unverschlüsselt auf dem NAS herumlagern...oder legst du erst den Sicherheitsgurt an, nachdem du schon mal gegen eine Wand gefahren bist? Es muss doch nicht immer erst etwas passieren... :crazy:
Beste Grüße, meshua
Da gebe ich dir recht. Hast du denn jede Versicherung abgeschlossen die es gibt? ;)
Falls du die ds218+ kaufst, wäre es nett zu berichten, wie dort die Performance ist. Dann überlege ich mir das auch. :)
Da gebe ich dir recht. Hast du denn jede Versicherung abgeschlossen die es gibt? ;)
Falsche Baustelle. Versicherungen sichern für mich nur existenz-bedrohliche Situationen ab, deren Risiko/Eintrittswahrscheinlichkeit ich selbst nur schwer bis überhaupt nicht kontrollieren kann. Den Zugriff auf meine Daten kann ich kontrollieren - da braucht's dann keine "tolle Versicherung". Privat habe ich eh' nur zwei Versicherungen, welche nicht gesetzlich verpflichtend sind. ;)
Falls du die ds218+ kaufst, wäre es nett zu berichten, wie dort die Performance ist. Dann überlege ich mir das auch. :)
Das wird wohl in Q1/2018 entschieden. Ich werde gern berichten, ob's was gebracht hat. :top:
Beste Grüße, meshua
Lösungshinweise:
https://www.synology.com/de-de/knowledgebase/DSM/tutorial/File_Sharing/What_can_I_do_to_smooth_browsing_experience_when_v iewing_files_via_Windows_Explorer
http://www.synology-forum.de/showthread.html?39223-SMB-Zugriff-auf-Ordner-mit-mehr-als-1000-Unterordnern-langsam&p=397443&viewfull=1#post397443
Vielleicht hilft einer der beiden Links für das alte NAS.
Gruß
Klaus
NetrunnerAT
20.12.2017, 00:19
ZFS ist gefrickel ... naja auch nicht ganz, aber sicherlich mehr als Syno OS. Derzeit kenne ich keine NAS mit Hersteller OS das irgend wie an Mil. Standard rann kommt. Für den Preis braucht man das auch nicht erwarten. Da kenne ich auch keine Crypt Beschleuniger in diesem Segment. Ich glaube da ist er Standard User noch nicht weit genug um das auch wirklich zu benötigen.
UPDATE März/2018
Im vergangenen Monat wurde auf die DS218+ von SYNOLOGY gewechselt und soweit performed diese sehr gut: 108/60 MB/s (read/write, encrypted) :top:
Damit kann zumindest LR die RAWs deutlich flotter hin- und herschaufeln. Der LR-Katalog ist wieder vom NAS auf die interne SSD gewechselt und kann von den Zugriffszeiten und Geschwindigkeiten profitieren. Damit sichergestellt ist, daß stets ein aktuelles Abbild auf dem NAS liegt, kommt die OpenSource-Lösung "SyncThing" zum Einsatz, welche bei jeden Änderungen zeitnah mit dem NAS syncronisiert. :top:
Wer Fragen hierzu hat...:crazy:
Beste Grüße, euer meshua.
NetrunnerAT
18.03.2018, 11:36
Wie verbindest du dich mit der NAS? NFS oder SAMBA? Probier mal NFS aus. Geht um vieles schneller und das auch voll verschlüsselt.
Wie verbindest du dich mit der NAS? NFS oder SAMBA? Probier mal NFS aus. Geht um vieles schneller und das auch voll verschlüsselt.
Ich nutze die EncFS-Verschlüsselung der Diskstation, und damit geht leider kein NFS:
"Encrypted shared folders cannot be accessed via NFS, and will remove the previously set NFS rules if there is any." (https://www.synology.com/en-global/knowledgebase/DSM/tutorial/File_Sharing/How_to_encrypt_and_decrypt_shared_folders_on_my_Sy nology_NAS)
Schade, schade. Aber SMB ist mittlerweile auch performant und robust. Mit AFP hatte ich hingegen bei rsync seltsame Probleme. Aber mit SyncThing gibt's eine sehr gute Möglichkeit, Synchronizität und gleichzeitig Performance zu erhalten. Den LR-Katalog habe ich übrigens in ein SparesBundle gelegt, da ich so auch unterwegs den Katalog nutzen kann und mich nicht um Pfade/Mounts kümmern muss... ;)
Grüße, meshua