docker-compose.yml

version: "3.7"
services:
###################################################################################################
# COLID Registration Service
###################################################################################################
  colid-registration-service:
    container_name: colid-registration-service
    build:
      context: ./COLID-Registration-Service
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z rabbitmq 5672;
          do
            echo Waiting for RabbitMQ startup;
            sleep 3;
          done;
          echo RabbitMQ is ready;
          /usr/bin/dotnet COLID.RegistrationService.WebApi.dll"
    depends_on:
      - colid-appdata-service
      - fuseki
      - rabbitmq
      - opensearch
      - redis
      - minio
    ports:
      - 51770:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - AmazonWebServicesOptions__AccessKeyId=${MINIO_ACCESS_KEY}
      - AmazonWebServicesOptions__SecretAccessKey=${MINIO_SECRET_KEY}
      - AmazonWebServicesOptions__S3BucketForFiles=${MINIO_BUCKET_NAME}
      - AmazonWebServicesOptions__S3BucketForGraphs=${MINIO_BUCKET_NAME}
      - AWS_SESSION_TOKEN=""
      - ColidMessageQueueOptions__Username=${MESSAGEQUEUE_USERNAME}
      - ColidMessageQueueOptions__Password=${MESSAGEQUEUE_PASSWORD}
      - ColidTripleStoreOptions__Username=${GRAPHDATABASE_USERNAME}
      - ColidTripleStoreOptions__Password=${GRAPHDATABASE_PASSWORD}
    networks:
      - frontend
      - backend

###################################################################################################
# COLID Indexing Crawler Service
###################################################################################################
  colid-indexing-crawler-service:
    container_name: colid-indexing-crawler-service
    build:
      context: ./COLID-Indexing-Crawler-Service
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z rabbitmq 5672;
          do
            echo Waiting for RabbitMQ startup;
            sleep 3;
          done;
          echo RabbitMQ is ready;
          /usr/bin/dotnet COLID.IndexingCrawlerService.WebApi.dll"
    depends_on:
      - fuseki
      - rabbitmq
      - opensearch
      - redis
    ports:
      - 51780:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - AWS_ACCESS_KEY_ID=""
      - AWS_SECRET_ACCESS_KEY=""
      - AWS_SESSION_TOKEN=""
      - ColidMessageQueueOptions__Username=${MESSAGEQUEUE_USERNAME}
      - ColidMessageQueueOptions__Password=${MESSAGEQUEUE_PASSWORD}
      - ColidTripleStoreOptions__Username=${GRAPHDATABASE_USERNAME}
      - ColidTripleStoreOptions__Password=${GRAPHDATABASE_PASSWORD}
    networks:
      - frontend
      - backend

###################################################################################################
# COLID Reporting Service
###################################################################################################
  colid-reporting-service:
    container_name: colid-reporting-service
    build:
      context: ./COLID-Reporting-Service
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z rabbitmq 5672;
          do
            echo Waiting for RabbitMQ startup;
            sleep 3;
          done;
          echo RabbitMQ is ready;
          /usr/bin/dotnet COLID.ReportingService.WebApi.dll"
    depends_on:
      - fuseki
    ports:
      - 51910:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - AWS_ACCESS_KEY_ID=""
      - AWS_SECRET_ACCESS_KEY=""
      - AWS_SESSION_TOKEN=""
      - ColidTripleStoreOptions__Username=${GRAPHDATABASE_USERNAME}
      - ColidTripleStoreOptions__Password=${GRAPHDATABASE_PASSWORD}
    networks:
      - frontend
      - backend

###################################################################################################
# COLID Search Service
###################################################################################################
  colid-search-service:
    container_name: colid-search-service
    build:
      context: ./COLID-Search-Service
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z rabbitmq 5672;
          do
            echo Waiting for RabbitMQ startup;
            sleep 3;
          done;
          echo RabbitMQ is ready;
          /usr/bin/dotnet COLID.SearchService.WebApi.dll"
    depends_on:
      - rabbitmq
      - opensearch
      - redis
    ports:
      - 51800:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - AWS_ACCESS_KEY_ID=""
      - AWS_SECRET_ACCESS_KEY=""
      - AWS_SESSION_TOKEN=""
      - ColidMessageQueueOptions__Username=${MESSAGEQUEUE_USERNAME}
      - ColidMessageQueueOptions__Password=${MESSAGEQUEUE_PASSWORD}
    networks:
      - frontend
      - backend

###################################################################################################
# COLID AppData Service
###################################################################################################
  colid-appdata-service:
    container_name: colid-appdata-service
    build:
      context: ./COLID-AppData-Service
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z mysql 3306;
          do
            echo Waiting for MySQL startup;
            sleep 3;
          done;
          echo MySQL is ready;
          /usr/bin/dotnet COLID.AppDataService.WebApi.dll"
    depends_on:
      - mysql
    ports:
      - 51810:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - Database__User=${RELATIONAL_DATABASE_USERNAME}
      - Database__Password=${RELATIONAL_DATABASE_PASSWORD}
    networks:
      - frontend
      - backend

###################################################################################################
# Scheduler Service
###################################################################################################
  colid-scheduler-service:
    container_name: colid-scheduler-service
    build:
      context: ./COLID-Scheduler-Service
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z mysql 3306;
          do
            echo Waiting for MySQL startup;
            sleep 3;
          done;
          echo MySQL is ready;
          /usr/bin/dotnet COLID.Scheduler.Web.dll"
    depends_on:
      - colid-appdata-service
      - opensearch
      - mysql
    ports:
      - 51820:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - Database__User=${RELATIONAL_DATABASE_USERNAME}
      - Database__Password=${RELATIONAL_DATABASE_PASSWORD}
      - SmtpSettings__User=${SMTP_USERNAME}
      - SmtpSettings__Password=${SMTP_PASSWORD}
    networks:
      - backend

###################################################################################################
# COLID Editor frontend
###################################################################################################
  colid-editor-frontend:
    container_name: colid-editor-frontend
    build:
      context: ./COLID-Editor-Frontend
      dockerfile: Dockerfile
      args:
        ANGULAR_ENVIRONMENT: docker
        NODE_OPTIONS: "--max-old-space-size=4096"
    ports:
      - 4200:8080
    depends_on:
      - colid-registration-service
      - colid-reporting-service
      - colid-appdata-service
    networks:
      - frontend

###################################################################################################
# Data Marketplace frontend
###################################################################################################
  colid-data-marketplace-frontend:
    container_name: colid-data-marketplace-frontend
    build:
      context: ./COLID-Data-Marketplace-Frontend
      dockerfile: Dockerfile
      args:
        ANGULAR_ENVIRONMENT: docker
        NODE_OPTIONS: "--max-old-space-size=4096"
    ports:
      - 4300:8080
    depends_on:
      - colid-search-service
    networks:
      - frontend

###################################################################################################
# COLID RRM API
###################################################################################################
  colid-resource-relationship-manager-service:
    container_name: colid-resource-relationship-manager-service
    build:
      context: ./COLID-ResourceRelationshipManager-Backend
      dockerfile: Dockerfile
    entrypoint: /bin/sh
    command: >
      -c "while ! nc -z mysql 3306;
          do
            echo Waiting for MySQL startup;
            sleep 3;
          done;
          echo MySQL is ready;
          /usr/bin/dotnet COLID.ResourceRelationshipManager.WebApi.dll"
    depends_on:
      - colid-registration-service
      - mysql
      - colid-search-service
    ports:
      - 51830:8080
    environment:
      - ASPNETCORE_ENVIRONMENT=Docker
      - Database__User=${RELATIONAL_DATABASE_USERNAME}
      - Database__Password=${RELATIONAL_DATABASE_PASSWORD}
    networks:
      - backend

###################################################################################################
# COLID RRM frontend
###################################################################################################
  colid-resource-relationship-manager-frontend:
    container_name: colid-resource-relationship-manager-frontend
    build:
      context: ./COLID-ResourceRelationshipManager-Frontend
      dockerfile: Dockerfile
      args:
        ANGULAR_ENVIRONMENT: docker
        NODE_OPTIONS: "--max-old-space-size=4096"
    ports:
      - 4400:8080
    depends_on:
      - colid-resource-relationship-manager-service
    networks:
      - frontend
      
###################################################################################################
# RabbitMQ Message Queue
###################################################################################################
  rabbitmq:
    container_name: rabbitmq
    image: rabbitmq:3-management
    environment:
      RABBITMQ_ERLANG_COOKIE: ${MESSAGEQUEUE_COOKIE}
      RABBITMQ_DEFAULT_USER: ${MESSAGEQUEUE_USERNAME}
      RABBITMQ_DEFAULT_PASS: ${MESSAGEQUEUE_PASSWORD}
      RABBITMQ_DEFAULT_VHOST: "/"
    ports:
      - 5672:5672
      - 15672:15672
    networks:
      - backend
# # ###################################################################################################
# # # KGE Backend
# # ###################################################################################################
#   kge-web-service:
#     build:
#       context: ./kge-Web-service
#       dockerfile: Dockerfile
#     command: npm start
#     container_name: kge-web-service
#     ports:
#       - "8080:9090"
#     volumes:
#       - .:/usr/app/
#       - /usr/app/node_modules
#     networks:
#       - backend
# # ###################################################################################################
# # # KGE Editor frontend
# # ###################################################################################################
#   kge-editor-frontend:
#     container_name: kge-editor-frontend
#     build:
#       context: ./KGE-Frontend
#       dockerfile: Dockerfile
#       args:
#         ANGULAR_ENVIRONMENT: docker
#         NODE_OPTIONS: "--max-old-space-size=4096"
#     ports:
#       - 4400:8080
#     networks:
#       - frontend
###################################################################################################
# Redis Cache
###################################################################################################
  redis:
    container_name: redis
    image: redis
    ports:
      - 6379:6379
    networks:
      - backend

###################################################################################################
# Apache Jena Fuseki (SAPRQL server)
###################################################################################################
  fuseki:
    container_name: fuseki
    image: stain/jena-fuseki
    volumes:
      - ./fuseki-staging:/staging
    command: bash -c "/staging/loader.sh && exec /jena-fuseki/fuseki-server --update --loc=/fuseki/databases/colid-dataset /colid-dataset"
    environment:
      - ADMIN_PASSWORD=${GRAPHDATABASE_PASSWORD}
      - JVM_ARGS=-Xmx2g
    ports:
      - 3030:3030
    networks:
      - backend

###################################################################################################
# MySQL
###################################################################################################
  mysql:
    container_name: mysql
    image: mysql:5.7
    volumes:
      - mysqldata:/var/lib/mysql
    environment:
      MYSQL_ROOT_PASSWORD: ${RELATIONAL_DATABASE_ROOT_PASSWORD}
      MYSQL_USER: ${RELATIONAL_DATABASE_USERNAME}
      MYSQL_PASSWORD: ${RELATIONAL_DATABASE_PASSWORD}
    entrypoint: >
      sh -c "
        echo \"
        CREATE DATABASE IF NOT EXISTS colid_appdata;
        GRANT ALL PRIVILEGES ON colid_appdata.* TO '${RELATIONAL_DATABASE_USERNAME}'@'%';
        CREATE DATABASE IF NOT EXISTS colid_scheduler;
        GRANT ALL PRIVILEGES ON colid_scheduler.* TO '${RELATIONAL_DATABASE_USERNAME}'@'%';
        CREATE DATABASE IF NOT EXISTS colid_resourcerelationshipmanager;
        GRANT ALL PRIVILEGES ON colid_resourcerelationshipmanager.* TO '${RELATIONAL_DATABASE_USERNAME}'@'%';
        \" > /docker-entrypoint-initdb.d/initialize.sql;
        /usr/local/bin/docker-entrypoint.sh --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci --default-authentication-plugin=mysql_native_password
      "
    ports:
      - 3306:3306
    networks:
      - backend

###################################################################################################
# Elasticsearch
# Setup from https://www.elastic.co/guide/en/elasticsearch/reference/6.8/docker.html
###################################################################################################
  # elasticsearch:
  #   container_name: elasticsearch
  #   image: docker.elastic.co/elasticsearch/elasticsearch:7.4.2
  #   environment:
  #     - cluster.name=docker-cluster
  #     - discovery.type=single-node
  #     - bootstrap.memory_lock=true
  #     - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
  #     - indices.query.bool.max_clause_count=3000
  #   volumes:
  #     - ./esdata:/usr/share/elasticsearch/data
  #   ulimits:
  #     memlock:
  #       soft: -1
  #       hard: -1
  #   ports:
  #     - 9200:9200
  #     - 9300:9300
  #   networks:
  #     - backend

###################################################################################################
# Kibana
# Setup from https://www.elastic.co/guide/en/kibana/6.8/docker.html
###################################################################################################
  # kibana:
  #   container_name: kibana
  #   image: docker.elastic.co/kibana/kibana:7.4.2
  #   depends_on:
  #     - elasticsearch
  #   ports:
  #     - 5601:5601
  #   networks:
  #     - backend
# Opensearch
# Setup from https://opensearch.org/docs/latest/install-and-configure/install-opensearch/docker/
###################################################################################################
  opensearch:
    container_name: opensearch
    image: opensearchproject/opensearch:2.8.0
    environment:
      #- cluster.name=opensearch-cluster # Name the cluster
      - discovery.type=single-node
      - indices.query.bool.max_clause_count=3000000
      - plugins.security.disabled=true
      #- node.name=opensearch-node # Name the node that will run in this container
      #- discovery.seed_hosts=opensearch-node # Nodes to look for when discovering the cluster
      #- cluster.initial_cluster_manager_nodes=opensearch-node # Nodes eligible to serve as cluster manager
      - bootstrap.memory_lock=true # Disable JVM heap memory swapping
      - "OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m" # Set min and max JVM heap sizes to at least 50% of system RAM
      - "DISABLE_INSTALL_DEMO_CONFIG=true" # disables execution of install_demo_configuration.sh bundled with security plugin, which installs demo certificates and security configurations to OpenSearch      
    ulimits:
      memlock:
        soft: -1 # Set memlock to unlimited (no soft or hard limit)
        hard: -1
      nofile:
        soft: 262144 # Maximum number of open files for the opensearch user - set to at least 65536
        hard: 262144
    volumes:
      - opensearch-data:/usr/share/opensearch/data # Creates volume called opensearch-data1 and mounts it to the container
    ports:
      - 9200:9200 # REST API
      - 9600:9600 # Performance Analyzer
    networks:
      - backend
      
  
 ###################################################################################################
# Opensearch Dashboard
# Setup from https://opensearch.org/docs/latest/install-and-configure/install-opensearch/docker/
###################################################################################################
  opensearch-dashboards:
    container_name: opensearch-dashboards
    image: opensearchproject/opensearch-dashboards:2.8.0
    depends_on:
      - opensearch
    ports:
      - 5601:5601 # Map host port 5602 to container port 5602
    expose:
      - "5601" # Expose port 5602 for web access to OpenSearch Dashboards
    environment:
      - 'OPENSEARCH_HOSTS=["http://opensearch:9200"]'
      - "DISABLE_SECURITY_DASHBOARDS_PLUGIN=true" # disables security dashboards plugin in OpenSearch Dashboards
    networks:
      - backend
###################################################################################################
# MinIO S3 Service
###################################################################################################
  minio: 
    image: minio/minio:RELEASE.2020-11-06T23-17-07Z
    container_name: minio
    environment:
      MINIO_ACCESS_KEY: ${MINIO_ACCESS_KEY}
      MINIO_SECRET_KEY: ${MINIO_SECRET_KEY}
    command: server /data
    volumes:
      - miniodata:/data
    networks:
      - backend
    ports:
      - 9001:9000
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
      
  colid-api-carrot2-service:
      container_name: colid-api-carrot2-service
      build:
        context: ./COLID-Carrot2-Service
        dockerfile: Dockerfile
      volumes:
        - ./carrot2:/var/local/Config/
      ports:
        - 7000:8080
      networks:
        - backend
        
  minio-mc:
    image: minio/mc:latest
    container_name: minio-mc
    depends_on:
     - minio
    entrypoint: >
      /bin/sh -c "
      /usr/bin/mc config host rm local;
      /usr/bin/mc config host add --quiet --api s3v4 local http://minio:9001 ${MINIO_ACCESS_KEY} ${MINIO_SECRET_KEY};
      /usr/bin/mc rb --force local/${MINIO_BUCKET_NAME}/;
      /usr/bin/mc mb --quiet local/${MINIO_BUCKET_NAME}/;
      /usr/bin/mc policy set public local/${MINIO_BUCKET_NAME};
      "
    networks:
      - backend

  dynamodblocal:
    command: "-jar DynamoDBLocal.jar -sharedDb -dbPath ./data"
    image: "amazon/dynamodb-local:latest"
    container_name: dynamodb-local
    ports:
      - "8000:8000"
    networks:
      - backend
    volumes:
      - "./docker/dynamodb:/home/dynamodblocal/data"
    working_dir: /home/dynamodblocal
volumes:
  esdata:
    driver: local
  mysqldata: {}
  miniodata: {}
  opensearch-data:

networks:
  frontend:
  backend: