<div dir="ltr"><div><div><div><div>I would caution against anything using 'zfs diff'  It has been perpetually broken, either not working at all, or returning incomplete information.<br><br></div>Avoiding crawling the directory is pretty much impossible unless you use 'zfs send'.   However, as long as there is enough cache on the system, directory crawls can be very efficient.    I have daily rsync jobs that crawl over 200 million files.   The impact of the crawl is not noticeable to other users.<br><br></div>I has also used ZFS send to AWS Glacier.   This worked well until the data change rate got high enough I need to start over too often to keep the storage size reasonable on Glacier.   <br><br></div>I also use CrashPlan on my home OmniOS server to back up about 5TB.  It works very nicely.  <br><br></div>-Chip<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 20, 2015 at 6:51 PM, Michael Talbott <span dir="ltr"><<a href="mailto:mtalbott@lji.org" target="_blank">mtalbott@lji.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I'm trying to find ways of efficiently archiving up some huge (120TB and growing) zfs volumes with millions maybe billions of files of all sizes. I use zfs send/recv for replication to another box for tier 1/2 recovery. But, I'm trying to find a good open source solution that runs on Omni for archival purposes that doesn't have to crawl the filesystem or rely on any proprietary formats.<br>
<br>
I was thinking I could use zfs diff to get a list of changed data, parse that into a usable format, create a tar and par of the data, and an accompanying plain text index file. From there, upload that set of data to a cloud provider. While I could probably script it all out myself to accomplish this, I'm hoping someone knows of an existing solution that can produce somewhat similar results.<br>
<br>
Ideas anyone?<br>
<br>
Thanks,<br>
<br>
Michael<br>
_______________________________________________<br>
OmniOS-discuss mailing list<br>
<a href="mailto:OmniOS-discuss@lists.omniti.com">OmniOS-discuss@lists.omniti.com</a><br>
<a href="http://lists.omniti.com/mailman/listinfo/omnios-discuss" target="_blank">http://lists.omniti.com/mailman/listinfo/omnios-discuss</a><br>
</blockquote></div><br></div>