Logstash を利用して、MySQL から OpenSearch へとデータを ETL するプレイグラウンドです。
OpenSearchDashboards や JupiterNotebook を利用して、 MySQL のレコードや OpenSearch に生成されたドキュメントを確認することもできます。
利用前に環境変数、設定をコピーする必要があります。
コピー後のファイルを確認し、好みの設定に書き換えることができます。
cp -r .configs.example .config;
cp .env.example .env;また、別途MySQLのJDBC Driverが必要です。
こちらのURLから「Platform Independent」を選択してDLしたjarを利用することを想定しています。
etl-playground/.configs/logstash/conf.d/に配置し、pipeline.confのjdbc_driver_libraryの調整をしてください。
docker composeを利用して起動してください。
docker compose up -ddocker compose up による起動では Logstash によるデータ投入は行われません。
これは MySQL の初期化よりも早く Logstash が起動し、データの投入が失敗することを防ぐためです。
MySQL の起動完了後、以下のサンプルコマンドを利用して、 Logstash コンテナを起動してデータの投入を行ってください。
docker compose run --rm logstash logstash -f /etc/logstash/conf.d/pipeline.confデフォルトでは以下のURLにアクセスすることで、 OpenSearchDashboards を使用できます。
.envのDASHBOARDS_PORTを変更することで、ポートの変更が可能です。
http://localhost:5601/app/home#/
デフォルトでは以下のURLにアクセスすることで、 JupiterNotebook を使用できます。
.envのNOTEBOOK_PORTを変更することで、ポートの変更が可能です。