Disk Yandex není synchronizován. Co funguje, když disk není synchronizovaný. Vibirkova synchronizace složek na Yandex.Disk - Yandex Blog

Ve zbytku hodiny si stále větší oblibu získávají služby ponurého úložiště dat, jako je Yandex.Disk, Disk Google atd. Umožňují vám pojistit se pro případ ztráty důležitých dat, jako jsou fotografie a další dokumenty. V zásadě je to užitečné, na vině jednoho okamžiku - vytvářím si na počítači vlastní složku pro softwarovou bezpečnost, s nějakou synchronizací ponuré služby, takže některá data posíláte v „temnu“, které potřebujete zkopírovat do té složky. S velkými datovými závazky to není jednoduché: protože máte například 300 GB fotek, pak je pro synchronizaci musíte vidět a zkopírovat do složky služby (a kopírování takového závazku zjevně není pro slabé povahy) a tento proces je třeba opakovat při aktualizaci dat. Ale znala vyvrcholení problému – symbolické požehnání.

Symbolická (symbolická) zpráva - speciální soubor v systému souborů, pro který se kromě jednoho textového řádku s indikátorem negenerují žádná data. Tento řádek je interpretován jako cesta k souboru, který je vinen buti vіdkrity při pokusu o otočení ke zprávě (souboru). Symbolický požadavek si vypůjčuje prostor ze souborového systému, prostor je potřeba k zapsání všeho.

Symboly se posílají pro ruční organizaci struktury souborů v počítači, která je povolena pro jeden soubor nebo pro mateřský adresář mnoha názvů různých atributů, stejně jako pro svobodu dei ) a může nahlédnout do katalogů).

U materiálů Wikipedie a jako "rusky" pak vše, co máte v katalogu, podle toho, co si objednáte, pak v celém katalogu. Samotný symbol je široce používán na systémech Linux, ale je také možné vytvořit jógu na systémech Windows.

Můžete vytvořit žádost o pomoc z příkazového řádku, ale mnohem snazší je to pro další nástroj Link Shell Extension, abyste mohli vytvořit potřebný typ požadavku.

Podívejte se na tuto metodu na aplikační službě Yandex.Disk.

já ano. Poprvé je vyžadována registrace v systému Yandex. Dále přejděte na stranu Yandex.Disk, stáhněte si sadu pro distribuci softwaru Yandex.Disk do počítače a nainstalujte jógu. Ikona se objeví na vypadající osvětlené desce se zeleným odškrtnutím nebo modrým kruhem se šipkami na panelu data roku.

Složka Yandex.Disk bude také vytvořena v počítači ve vámi určeném umístění.

Poté spustíme utilitu Link Shell Extension, nainstalujeme ji, restartujeme počítač a v kontextové nabídce, na kterou se klikne pravým tlačítkem myši, máme nový řádek „Zapamatovat si paměť zprávy“.

Chcete-li synchronizovat složku s "pochmurnou", víme na počítači, klikněte na ni pravým tlačítkem myši a vyberte "Zapamatovat si paměť zprávy."

Poté přejděte do složky Yandex.Disk, stiskněte pravé tlačítko myši a vyberte „Umístit yak -> Symbolická nápověda“

Yandex.Disk je jednou z mála služeb Yandex, jejíž součástí je desktopový software. І jedním z nejdůležitějších skladů je algoritmus pro synchronizaci lokálních souborů s jejich vlastní kopií ve tmě. Před nedávnem jsme měli možnost si ho znovu připomenout. Stejně jako bylo důležité, aby stará verze přebírala desítky tisíc souborů a předtím nereagovala rychle na „skládací“ činy coristuvach, pak se nové, vikoristovuyuchi tyto zdroje, vyrovnaly se stovkami z tisíců souborů.

V tomto příspěvku vám řeknu, proč se to tak stalo: proč jsme to nemohli předat dál, pokud jsme předpověděli první verzi softwaru Yandex.Disk a jak jsme vytvořili novou.

Nasampered, o úkolu synchronizace. Zdánlivě technicky je špatné, že otec Yandex.Disk má v počítači tištěnou kopii a ten tmavý má stejnou sadu souborů. Tobto tak di koristuvach, jako je přejmenování, vzdálené, kopírování, s tím, že změna souborů v pravý čas je automaticky synchronizována s ponurou.

Proč to není tak jednoduché, jak se na první pohled vzdáváte?

Teoreticky lze úkol odpustit, ale ve skutečnosti se držíme různých situací skládání. Například osoba přejmenovala složku na svém počítači, detekovali ji a odeslali příkaz do backendu. Žádný z nich však nekontroluje, dokud backend nepotvrdí úspěšnost přejmenování. Lyudina okamžitě otevře svou lokálně přejmenovanou složku, vytvoří ji v podsložce a například do ní přenese některé soubory. Dostali jsme se do situace, ve které není možné ve tmě okamžitě vykonat všechny potřebné synchronizační operace. Musíte zkontrolovat dokončení první operace a teprve poté můžete pokračovat.

Situace se může zkomplikovat, protože s jedním oblіkovým záznamem se hodinu v kuse zpracovává větvička koristuvachů, nebo mají dvojitou složku. A traplyayetsya často dosit v organizacích, jako je vikoristovuyut Yandex.Disk. Ukažte se, co je v tu chvíli v předním zadku, pokud jsme vzali zpět potvrzení prvního přejmenování, další těsnopis vzít a složku znovu přejmenovat. V tuto chvíli nemohu znovu vikonati dії, jako bych již postavil první coristuvach na svém počítači. Složka, která je lokálně zpracována ve stejném víně, se již na backendu nazývá jinak.

Vipadki jsou pasti, pokud soubor v počítači koristuvach nemůže být nazýván tak sám o sobě, jak se nazývá víno ve tmě. Může to být, protože v názvu je symbol, který nemůže být hacknut místním souborovým systémem, ale v takovém případě, pokud koristuvacha požádá o složku, a ta nová má svou vlastní složku s takovými názvy. V takových situacích musíme vikoristizovat místní pseudonymy a pozorovat jejich vlastní spojení s předměty ve tmě.

Předchozí verze algoritmu

V poslední verzi desktopového softwaru Yandex.Disk pro vyhledávání byl změněn algoritmus pro uspořádání stromů. Bez ohledu na to, zda tehdejší rozhodnutí neumožňovalo provádění vyhledávání pro přesun a přejmenování, střepy backendu při přítomnosti jedinečných identifikátorů objektů.

V této verzi algoritmu máme tři hlavní stromy: místní (Local Index), vzdálený (Remote Index) a zbývající synchronizovaný (Stable Index). Kromě toho, aby se předešlo opětovnému generování synchronizačních operací, které již byly před linkou umístěny, byly ospravedlněny dva další stromy: lokálně vyčištěný a špatně vyčištěný (Expected Remote Index a Expected Local Index). V těchto dodatečných stromech byl uložen lokální souborový systém pro vyčištění a po všech synchronizačních operacích, které již byly černé.


Postup zarovnání stromu pro starý algoritmus vypadal takto:
  1. Jako lokálně odhlášený strom a ponurý strom, který se odhlásí, vyprázdní, inicializuje je, zkopíruje zbytek synchronizovaného stromu;
  2. Porіvnyuєmo místní strom s ochіkuvanim khmarі a pro výsledky párování okremіh vozlіv přidejte do řádku operace synchronizace v khmarі (vytváření kolekcí, přenos souborů do khmari, přesun tohoto pohledu v ponurém);
  3. Pro všechny operace, jako by se dal v řadě na přední háčkování, upevnění budoucího efektu v ochkuvanny ponuré stromu;
  4. Porіvnyuєmo ponurý strom s místním proséváním a pro výsledky porіvnyannja okremіh vozlіv přidejte do řádku operace synchronizace s místním souborovým systémem (skládání adresářů, zachycování souborů z ponurých, přesouvání a prohlížení místních souborů a adresářů);
  5. Pro všechny operace, pokud jsou umístěny v řadě na přední háčkování, upevnění možného budoucího efektu v místním stromu, který by měl být zaškrtnut;
  6. Jako obvykle se s jedním a stejným souborem nebo adresářem provádějí hodinové operace (například přenos souboru do cloudového souboru a stažení souboru z cloudového souboru), poté je konflikt vyřešen - soubor je změněn v dvě místa;
  7. Poté, co byla operace synchronizace provedena cloudem nebo místním souborovým systémem, je výsledek zapsán do zbytku synchronizovaného stromu;
  8. Pokud se černá barva operace synchronizace vyprázdní, můžete vidět, že ponurý strom je lokálně vyčištěn, což je vyčištěno. Synchronizace skončila a my už toho smradu nepotřebujeme.

Proč jsme náhodou vyvinuli nový algoritmus?

Hlavními problémy algoritmu zarovnání stromu byla velká úspora paměti a potřeba zarovnání stromu pro malé změny, což vedlo k velkému tlaku na procesor. Během hodiny po zpracování změny jednoho souboru se úložiště pracovní paměti zvětšilo přibližně o 35 %. Řekněme, že koristuvach měl 20 000 souborů. Pak jednoduchým přejmenováním jednoho souboru o velikosti 10Kb rostla úspora paměti jako řetězec – ze 116MB na 167MB.

Také jsme chtěli zvýšit maximální počet souborů, se kterými můžeme soubory snadno zpracovávat. Dekіlka tenskіv i navit se mohou objevit statisíce souborů, například od fotografa, který ukládá výsledky focení na Yandex.Disk. Tento úkol se stal obzvláště důležitým, pokud mají lidé možnost koupit další místo na Yandex.Disk.

Prodejce chtěl také něco změnit. Vylepšení staré verze bylo obtížné, fragmenty dat jednoho prvku byly zkoušeny v různých stromech.

Před půlnocí se na backendu objevily id objekty, s jejichž pomocí bylo možné efektivněji vyřešit problém stěhování - dříve jsme vyhráli cesty.

Nový algoritmus

Rozhodli jsme se změnit strukturu ukládání dat a nahradit tři stromy (Local Index, Remote Index, Stable Index) na jednom stromě, což nestačí ke snížení režie v hlavní datové struktuře. Přes ty, které jsou klíči stromu, se v důsledku asociace výrazně zkrátí cesta k prvku souborového systému, operační paměť, která vítězí.


Zapracovali jsme také na vítězných doplňkových stromech pro hodinu synchronizace, takže kožený prvek stromu v nové verzi bere všechna potřebná data. Tato změna struktury výrazně zjednodušila vylepšení kódu.

Shardovi došlo, že jde o vážnou změnu, poté vytvořili prototyp, který potvrdil účinnost nového řešení. Podívejme se na zadeček, jak se mění data ve stromu a hodinu synchronizace nového souboru.

  1. Po přidání nového souboru do složky Disk jej program ukázal a přidal nový prvek do stromu. Tento prvek obsahuje pouze jednu zemi – místní. Oskіlki stabilní a vzdálené se stanou denně, vzpomínka na ně je vidět;
  2. Program ikonou nahraje soubor. Je těžké přijít zatlačit, což potvrdí vzhled nového souboru a strom je přidán do vzdáleného tábora;
  3. Staňte se místním a vzdáleným párováním. Střepy smradu utíkají, přidává se stabilní tábor;
  4. Stan místní a vzdálené jsou viditelné. Víc smradu nepotřebuješ, protože všechny informace jsou ve stáji.


Na tomto příkladu je zřejmé, že v novém synchronizačním algoritmu jsou zpracovány tyto prvky a pododdělení, data o změnách v některých z nich byla odstraněna ze systému souborů nebo ponuře, a nikoli celý strom jako celek, jak tomu bylo dříve. . V případě potřeby budou přidány batkivsk nebo podřízené uzly (například do různých složek).

Další vylepšení

V nové verzi jsme opravili další obory, které přidali na produktivitě. Ukládání stromu bylo přírůstkové, což umožňuje zapsat do souboru pouze zbytek změn.

Yandex.Disk přehledů sha256 a MD5 pro překontrolování počtu souborů, odhalení fragmentů, co se změnilo, a deduplikaci souborů na backendech. Vzhledem k tomu, že úloha je silně namáhána CPU, byla v nové verzi podstatně optimalizována implementace distribuce v digestu. Rychlost souboru s přehledem byla snížena přibližně na dvojnásobek.

Postavy

Synchronizace jedinečných 20 000 souborů po 10 kB

Počítání přehledů jedinečných 20 000 souborů po 10 kB (indexace)

Spusťte z 20 000 synchronizovaných souborů po 10 kB

Nahrajte 1Gb. Spusťte Wi-Fi 10 Mbit
Hodinu, sik

Co jsi říkal

Z příkladů je vidět, že nová verze softwaru Yandex.Disk je asi 3x méně pro RAM a asi 2x méně pro CPU. Zpracování ostatních změn se neprovádí, dokud se nezvýší povinnost paměti, která je vítězná.

V důsledku těchto změn se zvýšil počet souborů, se kterými si program bez problémů poradí. Verze pro Windows má 300 000 souborů a verze pro Mac OS X má 900 000 souborů.

Řekněme, že jste na počítači připojeném k internetu namalovali obrázek kartinka.jpg a následně s nimi sami nahráli fotografii z mobilního telefonu na Disk.

Pokud připojíte počítač k internetu, Yandex.Disk se bude lépe synchronizovat. Po zobrazení různých souborů se stejnými názvy Disk jeden z nich změní: výsledné soubory se budou jmenovat kartinka.jpg a kartinka (2).jpg.

  • - Udržujte soubory synchronizované;
  • - Ide synchronizace;
  • - Proces synchronizace má pardon.

Průzkumník Windows také zobrazuje ikony pro soubor vzhledu ve složce Yandex.Disk.

Abychom vám pomohli s určitou rychlostí synchronizace, umístěte ukazatel myši na ikonu Yandex.Disk: rychlost stahování a stahování se zobrazí v okně sloučení.

Yandex.Disk znamená, že části souboru byly změněny a na server nebyly změněny žádné další fragmenty a soubor nebyl nahrazen.

Chcete-li ušetřit místo v počítači, můžete zakázat synchronizaci čtyř složek. Tyto složky budou odstraněny z počítače, ale zůstanou dostupné ve službách třetích stran a dalších programech Yandex.Disk.

Podrobné pokyny pro nastavení synchronizace vibrací:

  • pro programy pro Windows;
  • v programu pro Mac.

yandex.ru

Synchronizace dat na disku Yandex

Pro interakci místního počítače se středem ponurého disku Yandex se používá termín „synchronizace“. Program nainstalovaný v počítači se aktivně synchronizuje. Pojďme zjistit, jaký je proces a proč je víno potřeba.

V útoku se využívá princip synchronizace: když soubory upravujete (editujete, kopírujete nebo odstraňujete), změny se projeví ve tmě.

Pokud dojde ke změně souborů na straně disku, program je automaticky změní v počítači. Stejné změny jsou provedeny na všech přístavcích, připojených ke stejnému záznamu oblіkovogo.

V případě hodinového zájmu o různé přílohy k souborům se stejnými názvy jim Yandex Disk přidělí sériové číslo (file.exe, file(2).exe atd.).

Indikace procesu synchronizace v systémové liště:

Takové ikony se samy o sobě objevují ve všech souborech a složkách v adresáři Disk.

Rychlost, se kterou se očekává synchronizace dat na disku Yandex, poznáte tak, že najedete kurzorem na ikonu programu v zásobníku.

Můžete si vytvořit báječný, například archiv 300 MB, zahitavsya na disku během několika sekund. Nic úžasného, ​​program prostě pozná, že fragmentů souboru bylo změněno a synchronizováno jen několik a ne celý archiv (dokument).

Je to ještě manuálnější, protože na disku jsou uloženy soubory jakéhokoli streamového projektu. Úpravy dokumentů přímo ve složce Disk ušetří provoz v tu hodinu.

Kromě toho, abyste ušetřili místo na systémovém disku, kde se nachází adresář zámku, můžete pro určité složky vypnout synchronizaci. Taková složka je automaticky viditelná z adresáře, ale již není přístupná z webového rozhraní Disku a nabídky nastavení programu.

Soubory ve složce s povolenou synchronizací se nahrávají buď na stranu služby, nebo přes nabídku nastavení.

Zrozumilo, dodatek má funkci opětovného zapnutí synchronizace s ponurou sbírkou.

Visnovok: proces synchronizace umožňuje provádět změny dokumentů v řadě na všech přístavbách připojených k pomocnému programu Yandex Disk až do jednoho šikmého záznamu. Bylo to rozbité kvůli úspoře času a nervů. Synchronizace nám umožňuje neustále zaznamenávat a nahrávat upravené soubory na Disk.

Ta nі

lumpics.ru

Jak nastavit disk Yandex

Po registraci lze toto vytvoření Yandex Disk yogo upravit podle vlastního uvážení. Pojďme se podívat na hlavní programové úpravy.

Na instalaci disku Yandex se klikne stisknutím pravého tlačítka myši na ikonách programu v zásobníku. Zde máme seznam zbývajících synchronizovaných souborů a malé ozubené kolečko poblíž pravého dolního rohu. Potřebujeme to. Natyskaєmo, v kontextovém menu, které vidíte, známe položku "Nalashtuvannya".

Hlavní

Na této kartě je spuštění programu povoleno u vstupu do systému a je povolena možnost načítání nových položek z disku Yandex. Můžete také změnit rozložení složky programu.

Pokud je práce s diskem aktivně prováděna, pak se neustále obracíte na službu a pracujete jako dії, poté rychleji zapnete automatické nahrávání - ušetří to hodinu.

Změňte distribuci složky, podle názoru autora nemám zvláštní pocit, jen proto, že nechcete měnit místo na systémovém disku a samotná složka by tam měla ležet. Data můžete přenášet na libovolném místě, přenést je na USB flash disk, je pravda, že někdy, když zapnete paměťové zařízení počítače, přestane fungovat.

A ještě jedna nuance: budete se muset řídit, aby písmeno jednotky při připojení jednotky flash bylo uvedeno v nastavení, jinak program nezná cestu do složky.

Je fér říci, že z disku Yandex nebyly po celou hodinu stejných zpráv žádné zprávy.

Účet

Více informativní karta. Zde můžete zadat přihlašovací údaje k veřejnému záznamu Yandex, informace o účtu a tlačítko pro zapnutí počítače z disku.

Tlačítko deaktivuje funkci ukončení z disku Yandex. Pokud stisknete znovu, budete muset znovu zadat své přihlašovací jméno a heslo. Můžete to udělat i ručně, jako by vinyl potřeboval napojit na další šikmou desku.

Synchronizace

Všechny složky, které se nacházejí v blízkosti adresáře Disk, jsou synchronizovány s touto složkou, takže všechny soubory uložené v adresáři nebo podsložkách jsou automaticky nahrány na server.

Synchronizaci lze vypnout pro méně než 10 složek, jinak bude složka smazána z počítače a ponechána ve tmě. U jídelního lístku si to také zapamatujete.

Automatická akvizice

Yandex Disk umožňuje automaticky importovat fotografie z připojeného fotoaparátu do počítače. Když si tento program pamatuje profily, nestane se to.

Tlačítko "Zapomenout přílohu" otevře všechny kamery z počítače.

Snímky obrazovky

Na této kartě jsou konfigurovány horké klávesy pro volání různých funkcí, typ jména a formát souboru.

Program pro generování screenshotů na celou obrazovku umožňuje zvolit standardní klávesu Prt Scr a osu pro zachycení oblasti skladby lze použít pro výběr screenshotu pomocí zkratky. Už to není praktické, protože je nutné vytvořit screenshot části okna otevřeného na celou obrazovku (například prohlížeč). Zde a přijít na záchranu horkých tlačítek.

Poednannya si můžete vybrat, zda je to šmejd, aby tyto kombinace nebyly obsazeny systémem.

Proxy

Můžete napsat pojednání o qi instalace s krátkými vysvětleními.

Proxy server - server, přes který se můžete zeptat klienta na merezhі. Vyhrajte s vlastní obrazovkou mezi místním počítačem a internetem. Tyto servery plní různé funkce – od šifrovaného provozu až po útoky na PC.

Pokud se na to cítíte, pokud jste proxy a víte, že potřebujete více vína, pak budete dělat vše nezávisle. Yakshcho dobře, víno a není potřeba.

Dodatkovo

Na tento vklad se automaticky instalují aktualizace, bezpečnostní kontroly, vynucená upozornění na prominutí a upozornění na složky.

Zde se vše vyjasnilo, pojďme mluvit o zlepšení bezpečnosti.

Yandex Disk, když je synchronizován, stahuje soubory do proudu streamů, které zabírají velkou část internetového kanálu. Pokud je potřeba mít chuť na programy, můžete toto políčko zaškrtnout.

Nyní víme, kde je Yandex Disk opraven a jaké smrady se v programu mění. Můžete poslat zakázku.

Jsme rádi, že jsme vám mohli pomoci s virishenny problémy.

Opituvannya: s čím vám tento článek pomohl?

Ta nі

lumpics.ru

Vibirkova synchronizace složek na Yandex.Disk - Disk Blog

Windows, Mac OS X, Synchronizace, Programy a programy

yandex.ru

Vibirkova synchronizace složek na Yandex.Disk - Yandex Blog

Doplňky Yandex.Disk pro Windows a Mac OS X mají důležitou funkci – vibrační synchronizaci. Nyní si můžete vybrat, jak uložit složky v počítači a jak je uložit na Yandex.Disk. Například můžete použít Yandex.Disk k uložení záloh nebo archivů, nikoli ob'yazkovo matky kopie těchto souborů na vašem domácím počítači. Ten smrad to potřebuje málokdy, ale zabírají místo. Synchronizaci složek s takovými soubory můžete zakázat. Pokud zvolíte Disk na počítačích dekilkoh, synchronizace čtyř složek může být povolena na jednom z nich a zakázána na druhém. Můžete si například uložit speciální fotoarchivy pro svůj domácí počítač a půjčit si méně místa pro pracovníka. A pevné složky byly ořezány pouze na pracovním notebooku, aby nebylo snadné se o ně doma starat. Správa synchronizace složek je dostupná v nastavení programu.

Program Windows také umožňuje zrušit synchronizaci složek z Průzkumníka.

Pokud chcete nahrát nové soubory do složky, která není synchronizována, můžete to provést přímo ve vašem počítači. Stačí přetáhnout soubory ze složky, kterou potřebuji ke stažení složky.

Sledujte novinky o Yandex.Disk na našem blogu.

Program umí uložit více než jeden disk, patří tedy pod jeden zpívající účet. Pokud se přihlásíte pomocí jiného přihlašovacího jména, bude pro synchronizaci vytvořena nová složka Yandex.Disk s názvy "Yandex.Disk - další přihlášení". Bude uložena kopie souborů předního oblіkovogo záznamu.

Co se stane, když přesunete složku Yandex.Disk?

Pokud přenesete složku Yandex.Disk bez zadání nové pozice v nastavení programu, program vytvoří složku na novém místě. Chcete-li přesunout kopii disku, stiskněte ikonu disku, vyberte položku Nastavení a stiskněte tlačítko Vytvářejte složky a zadejte novou cestu ke složce: program automaticky přenese soubory do nového umístění.

Můžete svěřit robota s diskem programům třetích stran?

Nemůžete v počítači uložit soubory, které jsou uloženy na Disk?

Program Yandex.Disk 3.0 umožňuje ne všechny soubory z disku synchronizovat s počítačem, aby se ušetřilo místo v počítači. Například, protože často používáte složku Dokumenty, přidejte k ní synchronizaci - tato složka bude uložena v počítači. Ostatní složky se budou méně ukládat ve tmě, ale budou také dostupné v programu.

Můžete nastavit synchronizaci vibrací pro pokyny pro Windows, MacOS.

Co se stane, když uvidím soubory ze složky Yandex.Disk?

Pokud vidíte soubory v programu, smrad je odebrán z Koshika a uložen od něj po dobu 30 dnů. Poté je smrad automaticky odstraněn ze serveru. Nelze načíst smazané soubory ze serveru. Soubory z koše můžete nahrávat pouze pomocí webového rozhraní Yandex.Disk.

Respekt. Soubory přesunuté do Koshyk nadále zabírají místo na disku. Pokud nemáte příležitost, vyčistěte kočku.

Pokud chcete soubor smazat z počítače nebo jej uložit na server, nastavte vibrační synchronizaci pro pokyny pro Windows, pro MacOS.

Můžete získat přístup ke složce Yandex.Disk?

Pokud chcete zavřít složku, například ze složek jiného počítače, můžete k ní omezit přístup pomocí standardních nástrojů Windows. S jakoukoli stopou paměti může být přístup k přístupu v popředí robotických programů.

Co se stane, když program uvidím nebo přeinstaluji operační systém?

Soubory na disku mohou zůstat v počítači, ale nebudou synchronizovány. Chcete-li automaticky synchronizovat soubory se serverem, nainstalujte program a přihlaste se.

Jak vybrat jinou složku pro synchronizaci se serverem?

    zmáčkněte tlačítko Vytvářejte složky.

    Zadejte jinou složku pro synchronizaci se serverem.

Jak víte, o kolik peněz jste přišli o volné místo na disku?

Jak nastavit robotický software přes proxy server?

    Stiskněte ikonu Disk v oblasti informací.

    Vyberte položku Nastavení.

    Přejděte na kartu Proxy.

    Vybrat předmět Nastavení proxy serveru..

Jak připojit ikonu Drive k Docku na macOS?

    Stiskněte ikonu Disk v oblasti informací.

    Vyberte položku Nastavení.

    Přejděte na kartu Dodatkovo.

    Zvýrazněte možnost Skryjte ikonu v Docku.

  • Vývoj webových stránek,
  • Algoritmy
  • Yandex.Disk je jednou z mála služeb Yandex, jejíž součástí je desktopový software. І jedním z nejdůležitějších skladů je algoritmus pro synchronizaci lokálních souborů s jejich vlastní kopií ve tmě. Před nedávnem jsme měli možnost si ho znovu připomenout. Stejně jako bylo důležité, aby stará verze přebírala desítky tisíc souborů a předtím nereagovala rychle na „skládací“ činy coristuvach, pak se nové, vikoristovuyuchi tyto zdroje, vyrovnaly se stovkami z tisíců souborů.

    V tomto příspěvku vám řeknu, proč se to tak stalo: proč jsme to nemohli předat dál, pokud jsme předpověděli první verzi softwaru Yandex.Disk a jak jsme vytvořili novou.

    Nasampered, o úkolu synchronizace. Zdánlivě technicky je špatné, že otec Yandex.Disk má v počítači tištěnou kopii a ten tmavý má stejnou sadu souborů. Tobto tak di koristuvach, jako je přejmenování, vzdálené, kopírování, s tím, že změna souborů v pravý čas je automaticky synchronizována s ponurou.

    Proč to není tak jednoduché, jak se na první pohled vzdáváte?

    Teoreticky lze úkol odpustit, ale ve skutečnosti se držíme různých situací skládání. Například osoba přejmenovala složku na svém počítači, detekovali ji a odeslali příkaz do backendu. Žádný z nich však nekontroluje, dokud backend nepotvrdí úspěšnost přejmenování. Lyudina okamžitě otevře svou lokálně přejmenovanou složku, vytvoří ji v podsložce a například do ní přenese některé soubory. Dostali jsme se do situace, ve které není možné ve tmě okamžitě vykonat všechny potřebné synchronizační operace. Musíte zkontrolovat dokončení první operace a teprve poté můžete pokračovat.

    Situace se může zkomplikovat, protože s jedním oblіkovým záznamem se hodinu v kuse zpracovává větvička koristuvachů, nebo mají dvojitou složku. A traplyayetsya často dosit v organizacích, jako je vikoristovuyut Yandex.Disk. Ukažte se, co je v tu chvíli v předním zadku, pokud jsme vzali zpět potvrzení prvního přejmenování, další těsnopis vzít a složku znovu přejmenovat. V tuto chvíli nemohu znovu vikonati dії, jako bych již postavil první coristuvach na svém počítači. Složka, která je lokálně zpracována ve stejném víně, se již na backendu nazývá jinak.

    Vipadki jsou pasti, pokud soubor v počítači koristuvach nemůže být nazýván tak sám o sobě, jak se nazývá víno ve tmě. Může to být, protože v názvu je symbol, který nemůže být hacknut místním souborovým systémem, ale v takovém případě, pokud koristuvacha požádá o složku, a ta nová má svou vlastní složku s takovými názvy. V takových situacích musíme vikoristizovat místní pseudonymy a pozorovat jejich vlastní spojení s předměty ve tmě.

    Předchozí verze algoritmu

    V poslední verzi desktopového softwaru Yandex.Disk pro vyhledávání byl změněn algoritmus pro uspořádání stromů. Bez ohledu na to, zda tehdejší rozhodnutí neumožňovalo provádění vyhledávání pro přesun a přejmenování, střepy backendu při přítomnosti jedinečných identifikátorů objektů.

    V této verzi algoritmu máme tři hlavní stromy: místní (Local Index), vzdálený (Remote Index) a zbývající synchronizovaný (Stable Index). Kromě toho, aby se předešlo opětovnému generování synchronizačních operací, které již byly před linkou umístěny, byly ospravedlněny dva další stromy: lokálně vyčištěný a špatně vyčištěný (Expected Remote Index a Expected Local Index). V těchto dodatečných stromech byl uložen lokální souborový systém pro vyčištění a po všech synchronizačních operacích, které již byly černé.


    Postup zarovnání stromu pro starý algoritmus vypadal takto:
    1. Jako lokálně odhlášený strom a ponurý strom, který se odhlásí, vyprázdní, inicializuje je, zkopíruje zbytek synchronizovaného stromu;
    2. Porіvnyuєmo místní strom s ochіkuvanim khmarі a pro výsledky párování okremіh vozlіv přidejte do řádku operace synchronizace v khmarі (vytváření kolekcí, přenos souborů do khmari, přesun tohoto pohledu v ponurém);
    3. Pro všechny operace, jako by se dal v řadě na přední háčkování, upevnění budoucího efektu v ochkuvanny ponuré stromu;
    4. Porіvnyuєmo ponurý strom s místním proséváním a pro výsledky porіvnyannja okremіh vozlіv přidejte do řádku operace synchronizace s místním souborovým systémem (skládání adresářů, zachycování souborů z ponurých, přesouvání a prohlížení místních souborů a adresářů);
    5. Pro všechny operace, pokud jsou umístěny v řadě na přední háčkování, upevnění možného budoucího efektu v místním stromu, který by měl být zaškrtnut;
    6. Jako obvykle se s jedním a stejným souborem nebo adresářem provádějí hodinové operace (například přenos souboru do cloudového souboru a stažení souboru z cloudového souboru), poté je konflikt vyřešen - soubor je změněn v dvě místa;
    7. Poté, co byla operace synchronizace provedena cloudem nebo místním souborovým systémem, je výsledek zapsán do zbytku synchronizovaného stromu;
    8. Pokud se černá barva operace synchronizace vyprázdní, můžete vidět, že ponurý strom je lokálně vyčištěn, což je vyčištěno. Synchronizace skončila a my už toho smradu nepotřebujeme.

    Proč jsme náhodou vyvinuli nový algoritmus?

    Hlavními problémy algoritmu zarovnání stromu byla velká úspora paměti a potřeba zarovnání stromu pro malé změny, což vedlo k velkému tlaku na procesor. Během hodiny po zpracování změny jednoho souboru se úložiště pracovní paměti zvětšilo přibližně o 35 %. Řekněme, že koristuvach měl 20 000 souborů. Pak jednoduchým přejmenováním jednoho souboru o velikosti 10Kb rostla úspora paměti jako řetězec – ze 116MB na 167MB.

    Také jsme chtěli zvýšit maximální počet souborů, se kterými můžeme soubory snadno zpracovávat. Dekіlka tenskіv i navit se mohou objevit statisíce souborů, například od fotografa, který ukládá výsledky focení na Yandex.Disk. Tento úkol se stal obzvláště důležitým, pokud mají lidé možnost koupit další místo na Yandex.Disk.

    Prodejce chtěl také něco změnit. Vylepšení staré verze bylo obtížné, fragmenty dat jednoho prvku byly zkoušeny v různých stromech.

    Před půlnocí se na backendu objevily id objekty, s jejichž pomocí bylo možné efektivněji vyřešit problém stěhování - dříve jsme vyhráli cesty.

    Nový algoritmus

    Rozhodli jsme se změnit strukturu ukládání dat a nahradit tři stromy (Local Index, Remote Index, Stable Index) na jednom stromě, což nestačí ke snížení režie v hlavní datové struktuře. Přes ty, které jsou klíči stromu, se v důsledku asociace výrazně zkrátí cesta k prvku souborového systému, operační paměť, která vítězí.


    Zapracovali jsme také na vítězných doplňkových stromech pro hodinu synchronizace, takže kožený prvek stromu v nové verzi bere všechna potřebná data. Tato změna struktury výrazně zjednodušila vylepšení kódu.

    Shardovi došlo, že jde o vážnou změnu, poté vytvořili prototyp, který potvrdil účinnost nového řešení. Podívejme se na zadeček, jak se mění data ve stromu a hodinu synchronizace nového souboru.

    1. Po přidání nového souboru do složky Disk jej program ukázal a přidal nový prvek do stromu. Tento prvek obsahuje pouze jednu zemi – místní. Oskіlki stabilní a vzdálené se stanou denně, vzpomínka na ně je vidět;
    2. Program ikonou nahraje soubor. Je těžké přijít zatlačit, což potvrdí vzhled nového souboru a strom je přidán do vzdáleného tábora;
    3. Staňte se místním a vzdáleným párováním. Střepy smradu utíkají, přidává se stabilní tábor;
    4. Stan místní a vzdálené jsou viditelné. Víc smradu nepotřebuješ, protože všechny informace jsou ve stáji.


    Na tomto příkladu je zřejmé, že v novém synchronizačním algoritmu jsou zpracovány tyto prvky a pododdělení, data o změnách v některých z nich byla odstraněna ze systému souborů nebo ponuře, a nikoli celý strom jako celek, jak tomu bylo dříve. . V případě potřeby budou přidány batkivsk nebo podřízené uzly (například do různých složek).

    Další vylepšení

    V nové verzi jsme opravili další obory, které přidali na produktivitě. Ukládání stromu bylo přírůstkové, což umožňuje zapsat do souboru pouze zbytek změn.

    Yandex.Disk přehledů sha256 a MD5 pro překontrolování počtu souborů, odhalení fragmentů, co se změnilo, a deduplikaci souborů na backendech. Vzhledem k tomu, že úloha je silně namáhána CPU, byla v nové verzi podstatně optimalizována implementace distribuce v digestu. Rychlost souboru s přehledem byla snížena přibližně na dvojnásobek.

    Postavy

    Synchronizace jedinečných 20 000 souborů po 10 kB

    Počítání přehledů jedinečných 20 000 souborů po 10 kB (indexace)

    Spusťte z 20 000 synchronizovaných souborů po 10 kB

    Nahrajte 1Gb. Spusťte Wi-Fi 10 Mbit
    Hodinu, sik

    Co jsi říkal

    Z příkladů je vidět, že nová verze softwaru Yandex.Disk je asi 3x méně pro RAM a asi 2x méně pro CPU. Zpracování ostatních změn se neprovádí, dokud se nezvýší povinnost paměti, která je vítězná.

    V důsledku těchto změn se zvýšil počet souborů, se kterými si program bez problémů poradí. Verze pro Windows má 300 000 souborů a verze pro Mac OS X má 900 000 souborů.

    Technologie