[Neonsquare]

Zitat von mrieglhofer

Dass Verfahren wird meist bei Netzwerk / Online Backup eingesetzt, um den Traffik zu minimieren.

Das ist korrekt - u. a. rsync arbeitet ähnlich.

Zitat von mrieglhofer

Sonst sehe ich keine Vorteile gegenüber einem Incremetal forever auf Fileebene. Vor allem nicht bei Bildern, bei denen Duplikate im Gegensatz zu Firmendokumente selten sind. Deduplizierung machst normal im Storage, weils da natürlich kostenmäßig am meisten bringt. Beim Backup ist die Kuh schon im Fluß.

Hier irrst du aber gewaltig. Klar: wenn man nur RAWs hat, dann würde auch eine "Dateiweise Deduplizierung" ausreichen. Aber gerade bei PSD-Dateien ändert sich eben nicht jedesmal die ganze Datei. Außerdem wird das Backup bei dieser Vorgehensweise beschleunigt, weil eben nicht vollständige Dateien kopiert werden sondern lediglich Blöcke - das ist ähnlich wie bei den Vorteilen Online-Synchronisation mit rsync. Man nutzt hier eben aus, dass die Lesegeschwindigkeiten meist deutlich über den Schreibgeschwindigkeiten liegen. QRecall hat zuerst vergleicht erst die Daten und erstellt ein entsprechendes Update-Profil - dann werden lediglich geänderte Blöcke übertragen. Das ganze wird noch kombiniert mit einem Filesystem-Watcher, so dass man die "Capture-Aktion" tatsächlich auch in sehr kurzen Intervallen mitlaufen lassen kann - wenn man das möchte.

Zitat von mrieglhofer

Warum das Verify tiefgehender arbeiten soll, das mußt mir mal erklären. Es kann auch nur seine Hashes in der Datenbank mit den Files am Mac abgleichen. Einzig im Falle, dass bei der Übertragung oder ein Archiv korrupt würde, könnte man ev. mit Redundanz was herstellen, aber das ist nicht Aufgabe eines Backups. Eher wirds wohl so sein, dass auf Grund der hohen Komplexität der Anwendung manchmal etwas korrupt wird und das repariert wird;-) Nein Scherz beiseite, ich kenne eine Menge solche Produkte, die wir wieder rausschmeissen mußten ;-)
Wichtig ist, dass man das halt mal durchdenkt und dann konsequent umsetzt.

Ich erkläre Dir das gerne. Das HFS+-Dateisystem hat keine besonders guten Eigenschaften in Bezug auf die Integrität von Daten (Im Vergleich zu beispielsweise ZFS). Viele Fehler in den Daten werden vom Dateisystem nicht erkannt. Gerade Mediendateien wie Videos, PSD oder RAWs bieten durch ihre Größe eine große Angriffsfläche. Mit einem QRecall-Archiv löst man dieses Problem auf einer anderen Ebene: Die Datenintegrität wird durch entsprechende Prüfsummen und Redunanz im Archiv sichergestellt. So können Defekte früher erkannt und im Idealfall noch repariert werden. Bei einer reinen Dateispiegelung auf eine andere (HFS+)-Festplatte werden sich mit der Zeit Fehler einschleichen die man im Zweifel erst lange Zeit später entdeckt - nämlich wenn man versucht eine alte Datei wieder zu benutzen.

Zitat von mrieglhofer

Das ist ja der Witz bei einem Konzept, dass man zuerst in Ruhe denkt, plant und umsetzt und nicht, wenn die Feuerwehr vor der Tür steht.
Ich habe auf meinem NAS ja nicht nur die Fotos, sondern alle Dokumente, alle Rechnungen, alle Programminstallationsdateien, usw.
Wenn sowas unwiderbringlich zerstört wird, ist das Meiste ja nicht mehr wiederbeschaffbar. Da sind die Fotos tatsächlich das kleinere Problem.

Ich benutze die Archive ja nicht nur für Fotos sondern ebenfalls für Quelltexte, Manuskripte den ganzen Büro/Buchhaltungs/Steuerkram und natürlich für ganze Systemsnapshots inkl. der installierten Programme und ihrer Einstellungen. Auch bei mir landet eine der Archivplatten im Tresor - eine andere ist außer Haus. NAS oder nicht ist für mich dabei völlig unabhängig. Ich kann das QRecall-Archiv auch auf ein NAS legen - ist kein Problem. Die Archive sind sowieso dafür ausgelegt die Daten mehrerer Rechner aufnunehmen - wo wiederrum die Deduplikation Vorteile bringt.

Gruß,
[neon]

[mrieglhofer]

Zitat von Neonsquare

Das ist korrekt - u. a. rsync arbeitet ähnlich.Hier irrst du aber gewaltig. Klar: wenn man nur RAWs hat, dann würde auch eine "Dateiweise Deduplizierung" ausreichen. Aber gerade bei PSD-Dateien ändert sich eben nicht jedesmal die ganze Datei. Außerdem wird das Backup bei dieser Vorgehensweise beschleunigt, weil eben nicht vollständige Dateien kopiert werden sondern lediglich Blöcke - das ist ähnlich wie bei den Vorteilen Online-Synchronisation mit rsync. Man nutzt hier eben aus, dass die Lesegeschwindigkeiten meist deutlich über den Schreibgeschwindigkeiten liegen. QRecall hat zuerst vergleicht erst die Daten und erstellt ein entsprechendes Update-Profil - dann werden lediglich geänderte Blöcke übertragen. Das ganze wird noch kombiniert mit einem Filesystem-Watcher, so dass man die "Capture-Aktion" tatsächlich auch in sehr kurzen Intervallen mitlaufen lassen kann - wenn man das möchte.



Ich erkläre Dir das gerne. Das HFS+-Dateisystem hat keine besonders guten Eigenschaften in Bezug auf die Integrität von Daten (Im Vergleich zu beispielsweise ZFS). Viele Fehler in den Daten werden vom Dateisystem nicht erkannt. Gerade Mediendateien wie Videos, PSD oder RAWs bieten durch ihre Größe eine große Angriffsfläche. Mit einem QRecall-Archiv löst man dieses Problem auf einer anderen Ebene: Die Datenintegrität wird durch entsprechende Prüfsummen und Redunanz im Archiv sichergestellt. So können Defekte früher erkannt und im Idealfall noch repariert werden. Bei einer reinen Dateispiegelung auf eine andere (HFS+)-Festplatte werden sich mit der Zeit Fehler einschleichen die man im Zweifel erst lange Zeit später entdeckt - nämlich wenn man versucht eine alte Datei wieder zu benutzen.

Okay, bei PSD Dateien muß ich dir recht geben, an die dachte ich nicht. Man merkt das auch, wenn man mit Zip o.ä. drüber geht und plötzlich die Datei sehr klein wird.

Das mit Hash und zusätzlicher Redundanz habe ich jetzt verstanden. Das hilt aber nur, wenn das Restore Medium ein Problem hat. Wenn da auf der DVD oder Band ein paar Bit umfallen, ist es sicher möglich, mit der zusätzlichen Redundanz etwas zu recovern. Aber wenns auf einer Platte Lesefehler gibt, ist meist recht schnell ein großer Schaden.

Aber trotzdem eine interessante Idee. Muß mich mal mehr damit beschäftigen, was es da sonst am Markt gibt, MAC ist mein blinder Fleck. Ich habe auch auf den PCs fast keine Dateien, da alles am NAS gespeichert wird. Daher braucht ich NAS zu ext. Platte bzw. bald NAS zu NAS. mal schauen. Einzig für Lightroom habe ich noch immer keine gescheite Lösung, weil der im Netz nicht läuft.

Ach ja, fast vergessen. Warum ich rein Diskcopy mache. Wenn mir derzeit die NAS abraucht, kann ich der ext. Platte mit eine Linux Live Disk mounten und den anderen zur Verfügung stellen. Erst mit der Umstellung auf 2 gespiegelte NAS wird das anders.

[Neonsquare]

Zitat von mrieglhofer

Okay, bei PSD Dateien muß ich dir recht geben, an die dachte ich nicht. Man merkt das auch, wenn man mit Zip o.ä. drüber geht und plötzlich die Datei sehr klein wird.

Stimmt - jedenfalls verursachen bei Fotos die PSDs eher Platzprobleme als meine RAWs. Gerade wenn ich mit PS einen Flyer mache und dabei viele Fotos als Smartobjects reinziehe wird das schnell ziemlich groß. Natürlich könnte ich auch einfach die Ebenen eindampfen aber ich bin da einfach so ein "Non destructive"-Fanatiker. Wobei ich noch nicht probiert habe, wie sich beispielsweise Smart Objects und diverse Plugins wie jene von OnOne bezüglich der "Blockwiederverwendung" verhalten.

Zitat von mrieglhofer

Das mit Hash und zusätzlicher Redundanz habe ich jetzt verstanden. Das hilt aber nur, wenn das Restore Medium ein Problem hat. Wenn da auf der DVD oder Band ein paar Bit umfallen, ist es sicher möglich, mit der zusätzlichen Redundanz etwas zu recovern. Aber wenns auf einer Platte Lesefehler gibt, ist meist recht schnell ein großer Schaden.

Ja - es bietet keinerlei Verifikation des "Livesystems" - das ist weiterhin einfach nur Mac OS X. Wenn ich aber mal eine kaputte Datei entdecke, dann klicke ich im Finder rechts drauf und kann die Datei im QRecall-Archiv öffnen. Dort muss ich natürlich in der Historie rückwärts schauen welche Version noch intakt ist. Bei einem korrupten RAW ist das ja recht einfach - da sollte es eigentlich lediglich einen Eintrag in der Historie geben!

Zitat von mrieglhofer

Aber trotzdem eine interessante Idee. Muß mich mal mehr damit beschäftigen, was es da sonst am Markt gibt, MAC ist mein blinder Fleck. Ich habe auch auf den PCs fast keine Dateien, da alles am NAS gespeichert wird. Daher braucht ich NAS zu ext. Platte bzw. bald NAS zu NAS. mal schauen. Einzig für Lightroom habe ich noch immer keine gescheite Lösung, weil der im Netz nicht läuft.

Das ist bei Aperture genauso. Man kann natürlich referenzierte Mediatheken machen, aber das verkompliziert die Geschichte eher weil man dann Mediatheken und Originale getrennt sichern muss und das natürlich immer zusammengehörig. Davon bin ich abgekommen und behandle Mediatheken so wie sie im "Finder" erscheinen - als einzelne Dateien.

Zitat von mrieglhofer

Ach ja, fast vergessen. Warum ich rein Diskcopy mache. Wenn mir derzeit die NAS abraucht, kann ich der ext. Platte mit eine Linux Live Disk mounten und den anderen zur Verfügung stellen. Erst mit der Umstellung auf 2 gespiegelte NAS wird das anders.

Das ist praktisch - ja. Ich mache ja auch z. T. Spiegelungen - aber das ist für mich eher eine Lösung für "Verfügbarkeit" und weniger für Datensicherung.

[mrieglhofer]

Ja, kann man so sehen. In dem Sinne habe ich eigentlich weder ein Backup noch eine Archivierung ;-) Gottlob bisher nicht gebraucht.
Na gut, ich arbeite eh grade am neuen Konzept. Meine NAS ist schon aus 2006. Muß also eh ersetzt bzw. ergänzt werden. Aber die konnte Snapshots und damit kriegt man auf Fileebene relativ einfach die Generationen. Die neue wird das auch können. Das wäre ein guter Kompromiß, mehrere Generationen bei relativ geringem Speicherverbrauch zu haben.
Aber letztlich ist alles die Frage, was ist wie wichtig und wieviel will ich ausgeben. Richtig profressionell ist halt auch richtig teuer.

Lightroom lässt generell den Katalog nicht auf einem NW-Drive zu. Es würde an sich auf einem iSCSI Target laufen. Nur lässt sich das halt auch nur von einem PC ansprechen. Nachdem heutige NAS gleich schnell sind wie eine Festplatte (100-200MBps), wäre auch der Katalog dort nicht das große Problem. Vielleicht kommt das ja mal. Bei mehreren Geräten ist das einfach nicht fein.

[corenight]

da bis jetz niemand auf meine Frage reagiert hat nochmals:

Kannst du da mal deine Fachbücher sinngemäß zitieren, ich bin da anders informiert?
Würde mich auch interessieren - soweit ich weiß wird bei DNG mit eingebettetem Original wirklich das Original "as is" eingebettet. Wenn man das Original natürlich nicht einbettet, dann trifft das schon zu.

Dazu mal eine Frage... Was heisst bei euch "eingebettet" wenn es um Dateien geht? habe den ausrdruck hier noch nie gehört (schweizer eben)

Heisst das, dass ich aus allen RAW's ein DNG machen kann und die RAW's löschen. und ich kann mit den DNG's genau gleich arbeiten wie imt den RAW's ohne änderungen oder verluste zu haben?

[mrieglhofer]

Ein klares Jein.

Bei der Erstellung der DNG kannst du auswählen, ob das Original RAW eingebettet wird. Wählst du das aus, ist das DNG ein Container, in dem das Original RAW zusätzich zum Konvertierten unverändert aufbewahrt wird. Damit kannst du alle Eigenschaften des RAW später nutzen, wenn dir die dafür vorgesehen Software zur Verfügung steht.
Tust du das nicht, wird es rein ins DNG Format konvertiert und du kannst dann auf alle Parameter zugreifen, die im DNG definiert sind. Das sind aber nicht alle, die im Original RAW enthalten sind.

Die Theorie dahinter ist, dass DNG die Rolle eines standardisieren Negativs einnimmt, mit dem du auch in ferner Zukunft deine RAW wieder bearbeiten kannst. Bei den Original RAW kannst du froh sein, wenn du 5 Jahre alte RAW überhaupt noch aufbekommst. Theorie deswegen, da zwar Adobe dahintersteht, aber fast kein Kamerahersteller auf den Zug aufgesprungen ist. Wenn Adobe das z.B. aufgibt, ist gleich mal Ende.

[corenight]

Ein klares Jein.

Bei der Erstellung der DNG kannst du auswählen, ob das Original RAW eingebettet wird. Wählst du das aus, ist das DNG ein Container, in dem das Original RAW zusätzich zum Konvertierten unverändert aufbewahrt wird. Damit kannst du alle Eigenschaften des RAW später nutzen, wenn dir die dafür vorgesehen Software zur Verfügung steht.
Tust du das nicht, wird es rein ins DNG Format konvertiert und du kannst dann auf alle Parameter zugreifen, die im DNG definiert sind. Das sind aber nicht alle, die im Original RAW enthalten sind.

Die Theorie dahinter ist, dass DNG die Rolle eines standardisieren Negativs einnimmt, mit dem du auch in ferner Zukunft deine RAW wieder bearbeiten kannst. Bei den Original RAW kannst du froh sein, wenn du 5 Jahre alte RAW überhaupt noch aufbekommst. Theorie deswegen, da zwar Adobe dahintersteht, aber fast kein Kamerahersteller auf den Zug aufgesprungen ist. Wenn Adobe das z.B. aufgibt, ist gleich mal Ende.

Ok, Vielen Dank, jetzt ist mir einiges mehr klar wie das läuft... Aber aber ich nehme mal nicht an, dass Adobe DNG aufgeben wird? Dann wär ja übel... Wenn RAW nicht lange hinhält und DNG einmal nicht mehr ist... Was dann?