От автономного сервиса к мировому стандарту: эксперт ICL Soft – о платформе Apache Kafka

– Создаваясь изначально для обработки данных социальной сети LinkedIn, сегодня платформа Apache Kafka используется многими компаниями, в том числе из списка Fortune-500. Какие задачи решает платформа?

– В большинстве случаев платформа используется как средство для быстрой доставки сообщений от неограниченного количества источников до неограниченного количество потребителей.

– Известно, что изначально Kafka создавалась как потоковый сервис. Вячеслав, можно ли сегодня судить о том, как такой старт повлиял на характер ее работы?

– Большой объем данных, идущий непрерывным потоком из разных источников, предполагает неоднородность – и здесь выступила Kafka, обрабатывающая эти сообщения вне очереди, параллельно. Сервис разрабатывался таким образом, чтобы и источники, и потребители друг о друге не знали: все висит в воздухе, и никто не знает, кто пишет, а кто читает эти миллионы сообщений. Kafka является проводником, который автономно работает в режиме реального времени – такой stateless-брокер, умеющий быстро передавать данные.

– В 2021 году Kafka позиционируется уже как экосистема. Какие элементы она в себя включает?

– Kafka в текущем ее состоянии выросла из «семьи Apache», и поэтому она очень тесно интегрирована как с другими членами «семьи Apache», так и с собственными дочерними технологиями  – KSql, Kafka streams, Apache Spark, Kafka connect, Apache Apex, Hadoop. Фактически, все что есть у Apache, может интегрироваться с Kafka. Если раньше платформа подстраивалась под другие технологии, то теперь, когда она стала фактически мировым стандартом, все подстраиваются под неё: любые технологии, которые относятся к данным, их передаче и хранению, могут и будут интегрироваться с Kafka.

– Чем данное решение отличается от аналогичных на рынке – каковы его достоинства, недостатки?

– Ключевое достоинство платформы – это высокая конкурентоспособная скорость работы, большое количество готовых интеграций, быстрое внедрение. Но вместе с тем она с трудом усваивается программистами: ее интерфейс весьма сложен для восприятия, например, младшими специалистами. Чтобы использовать Kafka эффективно, нужно понимать, как она работает.

– Вячеслав, каким игрокам рынка вы порекомендуете к использованию платформу Apache Kafka?

– Сегодня все больше компаний уходит в цифровую среду. Если компания обладает большим объемом данных или же хочет переложить ответственность за доставку стриминговых данных со своих систем на другие – то только Kafka. Сегодня это стандарт без аналогов на рынке, переход к которому неизбежен. Kafka захватила практически весь рынок, и дальше будет только «хуже».

– Большое спасибо за беседу!