Comments 14
Кайфанул, спасибо🫡
Крутой материал, спасибо!
Если собирать контейнеры из России, то сборка упадет на образе logstash, так как docker.elastic.co блочит подключения. Либо это локальная проблема
Хотелось бы подобнее узнать про связку pg + elastic. Исходя из описания мы записываем в pg, потом у нас идет перенос данных в elstic. Но в примере из гита мы пишем напрямую в elastic. В целом, нужен ли тут pg, почему бы не писать данные сразу в elastic?
да, подключение действительно блочит, для подгрузки можно воспользоваться vpn (забыл указать это в статье, вскоре дополню. Спасибо за замечание!)
"Хотелось бы подобнее узнать про связку pg + elastic. Исходя из описания мы записываем в pg, потом у нас идет перенос данных в elstic. Но в примере из гита мы пишем напрямую в elastic. В целом, нужен ли тут pg, почему бы не писать данные сразу в elastic? " - в конкретном примере у нас происходит обновление данных в соответствии с pg (например , если у нас cqrs: pg - основная база, elastic - база для чтения (засовываем и компонуем туда все самое необходимое)). В примере из гита импорт данных в эластик идет из дампа и обновляется по крону - это лишь абстрактный пример для понимания принципов взаимодействия и возможностей плавной интеграции с pg
Спасибо!
Чтобы не включать VPN, можно воспользоваться образом из докерхаба
https://hub.docker.com/r/opensearchproject/logstash-oss-with-opensearch-output-plugin
А что надо в docker-compose поменять чтобы он завелся? Конфиг у него где-то в другом месте лежит?
Можно просто склонить репу с гита и в композе поменять образ logstash на image: opensearchproject/logstash-oss-with-opensearch-output-plugin:latest
В гите есть все конфиги
обновил статью и гит
2023-10-12T12:32:44,758][ERROR][logstash.inputs.jdbc ][main] Unable to connect to database. Tried 1 times {:message=>"Java::OrgPostgresqlUtil::PSQLException: The connection attempt failed.", :exception=>Sequel::DatabaseConnectionError, :cause=>#<Java::OrgPostgresqlUtil::PSQLException: The connection attempt failed.>, :backtrace=>["org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(org/postgresql/core/v3/ConnectionFactoryImpl.java:354)", "org.postgresql.core.ConnectionFactory.openConnection(org/postgresql/core/ConnectionFactory.java:54)", "org.postgresql.jdbc.PgConnection.(org/postgresql/jdbc/PgConnection.java:263)", "org.postgresql.Driver.makeConnection(org/postgresql/Driver.java:443)", "org.postgresql.Driver.connect(org/postgresql/Driver.java:297)
c docker.elastic.co/logstash/logstash-oss:7.9.1 все работает. Винда, docker desktop
Ну что могу сказать, автор гений.
Почему не взяли мантикор?
Thanks. @RequiredArgsConstructor из UIController наверное можно убрать
Привет, предложение для следующей статьи - Всё то же самое можно сделать через hibernate search, без logstash и вендорлока на elastic/lucene/open search. При чем можно индексировать только нужные поля.
Используем Elasticsearch вместе со Spring Boot