kafka setup for ec2 server 회사에서 kafka를 사용해볼 일이 생겼다. 그동안 카프카에 대해 전혀 아는게 없었기 때문에 AWS의 managed kafka (MSK)로 셋업 해 보기 전에 그냥 개인 ec2 인스턴스에 카프카를 띄워보면서 전체적인 내용을 정리해보고자 한다. 카프카는 대용량 대규모 메세지를 빠르게 처리하기 위해서 linkedin에서 개발한 messaging platform이다. 자세한 설명은 다양하고 좋은 글들이 있어서 참고하면 될 듯 하다. (기회가 되면 한 번 정리해보겠다) 이번 글의 목표는 AWS ec2 instance에 kafka server 띄우기 cli를 통해 producer, consumer 개념 이해하기 이다. 파이썬 클라이언트를 선택한 이유는 이후에 fla..