Paper: Facebook Wormhole

Sharma, Yogeshwer, et al. “Wormhole: Reliable pub-sub to support geo-replicated internet services.” NSDI, May. 2015. Challenges to Adopting Stronger Consistency at Scale 논문을 소개할 때도 언급한 바가 있는 이 논문은 Wormhole이라는 페이스북의 스토리지 업데이트를 여러 애플리케이션에 전달하기 위한 pub-sub 시스템을 소개하고 있다. 페이스북에서 사용자가 포스트를 올리면 데이터베이스의 쓰기가 발생하게 되는데, 이러한 쓰기 오퍼레이션은 다른 사용자의 뉴스 …

Paper: Facebook Wormhole 더 보기 »

Paper: Paxos Made Live – An Engineering Perspective

Chandra, Tushar D., Robert Griesemer, and Joshua Redstone. “Paxos made live: an engineering perspective.” Proceedings of the twenty-sixth annual ACM symposium on Principles of distributed computing. ACM, 2007. 이 논문은 Paxos를 실제로 구현하고자 할 때 고려해야할 현실적인 문제들과 해결방식을 설명하고 있다. Google은 Chubby에서 필요로하는 분산 로그 스토리지를 위해 기존의 상용 솔루션을 대체하는 Paxos를 구현하게 되었다고 …

Paper: Paxos Made Live – An Engineering Perspective 더 보기 »

Paper: Dotted version vectors: Logical clocks for optimistic replication (Part 2)

Paper: Dotted version vectors: Logical clocks for optimistic replication (Part 1) A Kernel for Eventual Consistency 인과성을 이용하는 분산 스토리지의 동작에 있어서 논리적 시계 집합에 대한 sync 와 update 2개의 오퍼레이션이 핵심을 이루고 있다고 주장하고 있다. 먼저 sync 오퍼레이션의 경우에는 두 개의 시계 집합을 취해서 두 집합의 원소들인 논리적 시계들 사이에 인과성의 관계가 있다면 이전에 해당하는 …

Paper: Dotted version vectors: Logical clocks for optimistic replication (Part 2) 더 보기 »

Paper: Challenges to Adopting Stronger Consistency at Scale

AJOUX, Phillipe, et al. Challenges to Adopting Stronger Consistency at Scale. In: 15th Workshop on Hot Topics in Operating Systems (HotOS XV). USENIX Association. (pdf, slides) 최근 geo-replicated data store에서 높은 consistency를 제공하기 위한 연구들이 많이 있다고 한다. – 이 논문에서 나열하고 있는 그런 논문들의 목록도 흥미로운데 이는 마지막에 한번 정리해보자. – Facebook에서도 사용자들에게 – …

Paper: Challenges to Adopting Stronger Consistency at Scale 더 보기 »

Article: An Inside Look at Facebook’s Approach to Automation and Human Work

An Inside Look at Facebook’s Approach to Automation and Human Work Facebook의 VP of Engineering인 Jay Parikh와의 자동화에 관한 인터뷰. 하드웨어의 실패에 따른 자동화된 진단과 복구를 위한 FBAR라는 자동화 시스템에 대해 이야기하고 있다. FBAR에 대해서는 조금 오래된 글 (2011년)이지만, 다음 글에서 조금 더 자세한 내용을 볼 수 있다. https://www.facebook.com/notes/facebook-engineering/making-facebook-self-healing/10150275248698920 We built a system we call FBAR, …

Article: An Inside Look at Facebook’s Approach to Automation and Human Work 더 보기 »

Paper: Dotted version vectors: Logical clocks for optimistic replication (Part 1)

PREGUIÇA, Nuno, et al. Dotted version vectors: Logical clocks for optimistic replication. arXiv preprint arXiv:1011.5808, 2010. Dynamo, Cassandra, Riak, Voldemort와 같은 시스템들은 쓰기 가용성 (write availability)을 보장하기 위해, 어떤 하나의 데이터 항목의 여러 복제본이 동일한 데이터 항목의 복제본이 서로 다른 값으로 갈라질 (diverge) 수 있고, 이를 나중에 수리(repair)하는 방법을 고안하고 있다. 이 때, 복제본 버전들을 비교해서 …

Paper: Dotted version vectors: Logical clocks for optimistic replication (Part 1) 더 보기 »

N95 마스크란?

최근 한국에서의 이슈 때문에 SNS에서 N95 마스크가 많이 언급되고 심지어 신문기사까지 나오길래 N95란 무엇인지 찾아보았다. N95, N99, N100 등의 명칭은 미국 CDC산하의 기관인 NIOSH가 FFR (filtering facepiece respirators) – 소위 마스크, 정확히는 마스크와 FFR은 구분되고 있음. – 의 필터링 능력이 무엇이고 어느 정도인지를 검사하고 인증했음을 나타내는 것. NIOSH가 제시하는 특정 테스트 조건에서 N95, N99, N100은 …

N95 마스크란? 더 보기 »

Kafka: a Distributed Messaging System for Log Processing

Kafka: A distributed messaging system for log processing In Proceedings of 6th International Workshop on Networking Meets Databases (NetDB), Athens, Greece (2011) by J. Kreps, N. Narkhede, J. Rao Kafka는 기존의 메시징 시스템에서 당연하다고 가정하고 있었지만, 로그 처리 시스템에서는 필요없는 보장들을 과감하게 버리고, 성능 위주의 설계를 함으로써, 실제로 링크 속도에 육박하는 성능을 보여주고 있고, 상당히 …

Kafka: a Distributed Messaging System for Log Processing 더 보기 »

Finding a needle in Haystack: Facebook's photo storage

Finding a needle in Haystack: Facebook’s photo storage by Doug Beaver, Sanjeev Kumar, Harry C. Li , Jason Sobel , Peter Vajgel , Facebook Inc, 2010. Blog Post: https://www.facebook.com/notes/facebook-engineering/needle-in-a-haystack-efficient-storage-of-billions-of-photos/76191543919 Presentation: https://www.usenix.org/conference/osdi10/finding-needle-haystack-facebooks-photo-storage 최근 몇개월 동안  상대적으로 크기가 작고 많은 파일들을 비교적 단순한 솔루션을 이용해서 효율적으로 저장하는 것에 대해서 관심이 있어서 읽어본 페이퍼이다. 파일들의 개수로 인한 메모리 사용량과 복제 시간 …

Finding a needle in Haystack: Facebook's photo storage 더 보기 »

Chef (2014)

우연히 한국에서 돌아오는 비행기에서 보게 된 영화입니다. 영화 자체는 편하게 볼 수 있는 보통의 영화지만, 개인적으로는 와닿는 면이 많았던 영화였습니다. 어느 날 주인공인 칼 캐스퍼가 셰프로 있는 레스토랑에 유명한 요리비평가가 찾아오기로 합니다. “예술가가 되는 건 네 시간에나 해. 여긴 내 레스토랑이야.”라는 레스토랑의 주인에 맞서보지만, 결국 새로운 요리 대신 인기 요리를 만들게 되고 그 때문인지 요리비평가가 …

Chef (2014) 더 보기 »