본문으로 건너뛰기
목록으로 돌아가기
기술
10 분

파일 동기화는 청크와 해시와 낡은 기준으로 검사한다

Google 업로드 가이드는 바이트 범위로 이어 받는다. Dropbox 엔지니어링 글은 파일 바이트를 SHA-256 블록으로 식별하고, 기준 리비전이 낡은 델타는 거절한다. 토이는 4바이트 청크를 한 번만 저장하고, 같은 기준의 두 수정을 충돌로 표시한다. 어느 제품도 아니다.

박효열 (Hyoyoul Park)
#파일 동기화#콘텐츠 해시#Google Drive API#Dropbox#충돌

2026-11-10 확인. 출발 링크는 X 게시물 status/2119419347215294793이다. 그 그림은 확인하지 않았고 Google 내부를 나타낸다고 다루지 않는다. 같은 날 연 페이지는 Google의 업로드 가이드, Dropbox의 스트리밍 파일 동기화, LAN Sync 내부, 동기화 엔진을 다시 쓰다, Datastore 충돌 노트 1부와 2부이다. 토이는 sync-chunk-dedup-toy.py다.

먼저 결론

동기화 시스템은 이름을 공유하지 않는 저장소 넷이다. 청크로 자르고 해시로 이름 붙인 바이트. 어느 해시가 어느 순서로 이 리비전의 파일인지를 말하는 메타데이터 행. 업로드가 어디까지 갔는지 기억하는 세션. 두 클라이언트가 다른 기준에서 고쳤을 때의 규칙.

2026-11-10에 연 Google 업로드 가이드는 세션 쪽이다. 재개 가능 업로드는 POST와 uploadType=resumable로 시작하고, Location 세션 URI를 돌려주며, 그 URI는 일주일 뒤에 만료된다. 청크는 마지막을 빼고 256 KB의 배수다. 각 청크는 Content-Range가 있는 PUT이다. 308 Resume Incomplete는 계속하라는 뜻이고, Range 헤더가 서버가 실제로 가진 것을 말한다. 4xx는 세션이 죽었으니 처음부터다. 여기서 읽은 가이드는 콘텐츠 해시 중복 제거나 충돌 사본을 설명하지 않는다.

Dropbox 스트리밍 동기화 글은 바이트 쪽이다. 파일은 4 MB 블록으로 나뉘고, 마지막은 더 짧을 수 있으며, 각 블록은 SHA-256이다. 해시 목록이 블록리스트다. 클라이언트는 서버에 없는 블록만 올린다. LAN Sync는 같은 생각을 반복한다. 블록의 주소는 해시이고, 받는 쪽은 해시를 확인하므로 피어가 바이트를 바꿔 넣을 수 없다.

충돌 쪽은 Datastore 글에서 리비전 검사다. 서버가 이미 지나간 기준 리비전으로 라벨된 델타는 내용을 보지 않고 거절된다. 클라이언트는 놓친 델타를 받고 새 델타를 보낸다. 그것은 구조화된 레코드이지 파일 제품이 아니다. Nucleus 글은 나중 파일 프로토콜이, 변경 전에 클라이언트와 서버가 원격 파일시스템 보기를 공유하고, 안정적인 id와 원자적 이동을 요구한다고 말한다. 이 글은 그 두 Dropbox 시스템이 한 알고리즘이라고 하지 않는다.

토이는 출력이 짧도록 4바이트 청크를 쓴다. 꼬리를 공유하는 파일 둘은 청크 여섯 개가 아니라 고유 청크 넷을 저장한다. 같은 기준의 나중 수정 둘은 충돌로 표시된다. 아무것도 업로드하지 않았다.

재개는 바이트 커서다

Drive 가이드의 세션은 파일 id가 아니라 URI다. 첫 응답의 본문은 비어 있다. 파일 리소스는 바이트가 들어간 뒤에야 나타난다. 어디쯤인지 물으려면 Content-Range를 bytes */length로 보낸다. 길이를 모르면 */*다. 무언가 도착했다면 308이 Range: bytes=0-N과 함께 오고, 아무것도 없으면 Range가 없다. 다음 청크는 보냈다고 생각하는 바이트가 아니라 다음 바이트에서 시작한다. 가이드는 서버가 이전 요청 전체를 보관했다고 가정하지 말라고 한다.

그래서 끝난 파일의 해시는 커서와 다른 검사다. 커서는 바이트가 몇 개 도착했는지를 말한다. 해시는 그 바이트가 의도한 것인지를 말한다. 여기서 읽은 업로드 가이드는 해시를 세션에 넣지 않는다. Dropbox의 블록 해시는 다른 설계의 검사다. 블록의 유일한 이름이 해시라면 "40바이트째가 도착했는가"를 묻지 않고, 서버에 없는 해시만 옮긴다.

중복 제거는 해시에서 바이트로의 맵이다

Dropbox의 4 MB 블록과 토이의 4바이트 조각은 크기만 다른 같은 모양이다. 같은 조각은 키를 공유한다. 파일은 키의 순서 있는 목록이고, 스트리밍 글은 그것을 블록리스트라고 부른다. 파일 가운데를 바꾸면 움직인 블록의 해시가 바뀌고, 움직이지 않은 블록의 해시는 그대로다. 그 글의 요점은 클라이언트가 없는 블록을 올린다는 것이다.

토이의 두 문자열은 마지막 8바이트를 공유한다. 조각 여섯 개가 들어가고 키는 넷이 나온다. 조각 둘이 반복되기 때문이다. unique_chunks=4가 그 수다. Dropbox 글의 4 MB는 이 4가 아니다. Drive 가이드의 256 KB 배수는 한 업로드 세션의 전송 규칙이지 중복 제거 키가 아니다.

충돌은 기준이 움직인 것이다

Datastore 글은 리비전에 번호를 붙인다. 빈 저장소는 리비전 0이다. 받아들여진 델타마다 하나가 더해진다. 오프라인이었던 클라이언트는 마지막으로 본 리비전으로 델타를 라벨한다. 서버가 이미 그 번호를 지났으면 델타는 거절되고 빠진 델타가 돌아온다. 클라이언트는 다시 기반을 잡고 다시 보낸다. 2부는 원격 변경을 다른 기기가 이미 봤을 수 있으므로, 필드가 부딪히면 원격이 기본이고, 삭제가 수정보다 이긴다고 한다. 그 규칙은 레코드와 필드의 것이다. JPEG에 대한 문장이 아니다.

Nucleus는 나중 동기화 엔진 글에서 더 강한 파일 모양의 약속을 말한다. 변경 전에 클라이언트와 서버가 원격 트리에 동의하고, id는 안정적이며, 이동은 하위 트리 크기와 상관없이 원자적이다. 어긋남은 버그다. 그 글에는 Google Drive 그림이 없고, 이 글은 그림을 빌려 오지 않는다.

토이의 충돌 줄은 낡은 기준의 작은 형태다. base, left, right는 서로 다른 바이트 문자열 셋의 SHA-256 앞부분이다. left와 right가 base와도 서로와도 다르므로 stale_base_conflict=True다. 파일은 승자를 고르지 않는다. 제품은 여전히 골라야 한다. 둘 다 두거나, 한쪽을 선호하거나, 묻거나. Datastore 글은 규칙을 고른다. 토이는 탐지만 한다.

알림이 있는 이유

폴링만 하는 클라이언트는 다른 쪽을 늦게 본다. Drive 가이드의 세션은 변경 피드가 아니다. Dropbox LAN Sync 글은 메타데이터가 여전히 Dropbox 서버에서 오고, LAN은 블록만 옮기므로 피어가 파일 이름을 지어낼 수 없다고 한다. 그 분리가 중요하다. 바이트는 해시를 가진 어디서든 올 수 있고, 이름과 리비전은 메타데이터 저장소에서 온다. 이 글은 웹훅 문서를 열지 않았으므로 Drive의 푸시 채널을 설명하지 않는다.

토이

sync-chunk-dedup-toy.py는 hashlib를 쓴다. Python 3.12.3, 2026-11-10:

file_a=['61be55a8e2f6', '81cc5b170186', 'b6fbd675f98e']
file_b=['2481a63c85a6', '81cc5b170186', 'b6fbd675f98e']
unique_chunks=4
base=11c85195ae99 left=26aa0c9deaa8 right=a69916fd690f
stale_base_conflict=True

bbbb와 cccc가 반복된 조각이다. 그 해시는 두 목록에 있다. xxxx가 aaaa를 대체하므로 첫 해시는 바뀌고 저장소는 셋이 아니라 하나 늘어난다. 파일 전체 접두 셋은 다르므로 충돌 플래그는 참이다. 이것은 Drive 업로드도 Dropbox 블록 서버도 아니다.

사실과 해석

문장어느 쪽
재개 세션 URI, 일주일 만료, 256 KB 청크 배수, Content-Range, 308, Range, 4xx는 세션을 다시 시작한다.2026-11-10 Google Drive 업로드 가이드.
4 MB 블록, SHA-256, 블록리스트, 없는 블록만 업로드. LAN 전송은 해시를 확인한다. 메타데이터는 서버에 남는다.Dropbox 스트리밍 동기화와 LAN Sync 글.
기준 리비전이 뒤처진 델타는 거절된다. 필드 충돌에서 원격이 기본이다. 삭제가 수정보다 이긴다.Dropbox Datastore 충돌 글. 레코드이지 파일이 아님.
변경 전에 클라이언트와 서버가 보기를 공유한다. 안정적 id. 원자적 이동.Dropbox Nucleus 글.
고유 청크 넷과 stale_base_conflict=True.이 토이. 4바이트 조각. 제품이 아님.
X 그림이 Google의 구조다.주장하지 않음.

출처