From 5a2ca72b2b9c7f65ff05426c5c7e0b177e707b6f Mon Sep 17 00:00:00 2001 From: Matz Rasmus Date: Fri, 8 Nov 2024 09:51:10 +0200 Subject: [PATCH 1/4] =?UTF-8?q?LIs=C3=A4tty=20harkinnanvaraisuuksien=20lat?= =?UTF-8?q?aus?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- dbt/models/dw/_dw.yml | 49 +++++++------- .../dw/dw_sure_harkinnanvaraisuudet.sql | 4 ++ dbt/models/int/int_sure/_int_sure.yml | 28 ++++---- .../int_sure_harkinnanvaraisuudet.sql | 29 ++++++++ dbt/models/sources/_sources.yml | 1 + dbt/models/stg/_stg.yml | 67 ++++++++++--------- .../stg/stg_sure_harkinnanvaraisuudet.sql | 17 +++++ 7 files changed, 127 insertions(+), 68 deletions(-) create mode 100644 dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql create mode 100644 dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql create mode 100644 dbt/models/stg/stg_sure_harkinnanvaraisuudet.sql diff --git a/dbt/models/dw/_dw.yml b/dbt/models/dw/_dw.yml index a410b5c..d7bfa98 100644 --- a/dbt/models/dw/_dw.yml +++ b/dbt/models/dw/_dw.yml @@ -222,10 +222,7 @@ models: description: >- Valintaperusteiden tietoja - lähdejärjestelmästä ei löydy muokkausaikaleimaa, joten tässä käytetään - tiedoston luontihetkeä muokattu-aikaleimana. Tämä arvo voi olla - duplikaatti jos sama tiedosto luetaan useaan kertaan, joten tämä DW-malli - on erilainen. + lähdejärjestelmästä ei löydy muokkausaikaleimaa, joten tässä käytetään tiedoston luontihetkeä muokattu-aikaleimana. Tämä arvo voi olla duplikaatti jos sama tiedosto luetaan useaan kertaan, joten tämä DW-malli on erilainen. columns: - name: valinnanvaihe_id description: "" @@ -269,9 +266,7 @@ models: description: "" data_type: boolean - name: muokattu - description: muokattu on tiedoston luontihetki, koska kannassa ei ole - muutostietoja. Tämä tarkoittaa sitä että tällä voin olla - duplikaattiarvoja (sama tiedosto luettu useampaan kertaan) + description: muokattu on tiedoston luontihetki, koska kannassa ei ole muutostietoja. Tämä tarkoittaa sitä että tällä voin olla duplikaattiarvoja (sama tiedosto luettu useampaan kertaan) data_type: timestamp with time zone data_tests: - not_null @@ -332,9 +327,7 @@ models: description: "" data_type: text - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone - name: deleted description: "" @@ -402,9 +395,7 @@ models: description: "" data_type: boolean - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - not_null @@ -594,9 +585,7 @@ models: description: "" data_type: timestamp with time zone - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - not_null @@ -660,9 +649,7 @@ models: description: "" data_type: text - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - not_null @@ -710,8 +697,7 @@ models: data_tests: - not_null - name: isensikertalainen - description: Onko hakija ensikertalainen. Jos false, syy löytyy kentästä - menettämisenPeruste. + description: Onko hakija ensikertalainen. Jos false, syy löytyy kentästä menettämisenPeruste. data_type: boolean - name: menettamisenperuste description: "" @@ -780,8 +766,7 @@ models: description: hakemusten valintakokeet purettu riveille columns: - name: osallistuminen_id - description: osallistumisen uniikki id, koostuu hakemuksesta, hausta ja kokeen - id:stä + description: osallistumisen uniikki id, koostuu hakemuksesta, hausta ja kokeen id:stä data_type: text data_tests: - dbt_constraints.primary_key @@ -1120,3 +1105,21 @@ models: data_type: integer - name: dw_metadata_dw_stored_at data_type: timestamp with time zone + - name: dw_sure_harkinnanvaraisuudet + columns: + - name: hakemusoid + data_type: text + - name: hakutoiveet + data_type: json + - name: dw_metadata_source_timestamp_at + data_type: timestamp with time zone + - name: dw_metadata_stg_stored_at + data_type: timestamp with time zone + - name: dw_metadata_dbt_copied_at + data_type: timestamp with time zone + - name: dw_metadata_filename + data_type: character varying + - name: dw_metadata_file_row_number + data_type: integer + - name: dw_metadata_dw_stored_at + data_type: timestamp with time zone diff --git a/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql b/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql new file mode 100644 index 0000000..0ee604f --- /dev/null +++ b/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql @@ -0,0 +1,4 @@ +{%- set stage_model = ref('stg_sure_harkinnanvaraisuudet') -%} +{%- set key_columns_list = ['hakemusOid'] -%} + +{{ generate_dw_model_muokattu(stage_model, key_columns_list) }} \ No newline at end of file diff --git a/dbt/models/int/int_sure/_int_sure.yml b/dbt/models/int/int_sure/_int_sure.yml index 9f58e10..7b23e9e 100644 --- a/dbt/models/int/int_sure/_int_sure.yml +++ b/dbt/models/int/int_sure/_int_sure.yml @@ -27,9 +27,7 @@ models: description: "" data_type: boolean - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - not_null @@ -82,9 +80,7 @@ models: description: "" data_type: text - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone - name: deleted description: "" @@ -153,9 +149,7 @@ models: description: "" data_type: timestamp with time zone - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - not_null @@ -206,8 +200,7 @@ models: data_tests: - not_null - name: isensikertalainen - description: Onko hakija ensikertalainen. Jos false, syy löytyy kentästä - menettämisenPeruste. + description: Onko hakija ensikertalainen. Jos false, syy löytyy kentästä menettämisenPeruste. data_type: boolean - name: menettamisenperuste description: "" @@ -270,9 +263,7 @@ models: description: "" data_type: text - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - not_null @@ -306,3 +297,12 @@ models: - name: dw_metadata_dw_stored_at description: "" data_type: timestamp with time zone + - name: int_sure_harkinnanvaraisuudet + description: Tämä taulu sisältää harkinnanvaraisuuden tietoja + columns: + - name: hakemus_oid + data_type: text + - name: hakukohde_oid + data_type: text + - name: harkinnanvaraisuude_syy + data_type: text diff --git a/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql b/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql new file mode 100644 index 0000000..8b34b62 --- /dev/null +++ b/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql @@ -0,0 +1,29 @@ +{{ + config( + materialized = 'table', + indexes = [ + {'columns': ['hakemus_oid','hakukohde_oid']} + ] + ) +}} + +with source as ( + select * from {{ref('dw_sure_harkinnanvaraisuudet') }} +), + +rows as ( + select + hakemusoid, + jsonb_array_elements(hakutoiveet) as hakutoive + from source +), + +final as ( + select + hakemusoid as hakemus_oid, + hakutoive->>'hakukohdeOid' as hakukohde_oid, + hakutoive->>'harkinnanvaraisuudenSyy' as harkinnanvaraisuude_syy + from rows +) + +select * from final diff --git a/dbt/models/sources/_sources.yml b/dbt/models/sources/_sources.yml index 93ee457..69c4992 100644 --- a/dbt/models/sources/_sources.yml +++ b/dbt/models/sources/_sources.yml @@ -39,3 +39,4 @@ sources: description: | Sisältää jokaiselle tiedostolle tiedon koska viimeisin dw-ajo on mennyt tuotannossa onnistuneesti läpi. Raw- ja stg-kerroksista voidaan poistaa kaikki rivit jotka ovat tätä aikaleimaa vanhempaa + - name: sure_harkinnanvaraisuudet \ No newline at end of file diff --git a/dbt/models/stg/_stg.yml b/dbt/models/stg/_stg.yml index 31908ae..9d01f7c 100644 --- a/dbt/models/stg/_stg.yml +++ b/dbt/models/stg/_stg.yml @@ -1,7 +1,6 @@ models: - name: stg_valintapiste_service_pistetieto - description: Tämä taulu sisältää valintakokeiden pisteet. Taulussa on yksi rivi - per hakemus ja pääsykoe. + description: Tämä taulu sisältää valintakokeiden pisteet. Taulussa on yksi rivi per hakemus ja pääsykoe. columns: - name: valintakoe_hakemus_id data_type: text @@ -81,8 +80,7 @@ models: description: "" data_type: boolean - name: muokattu - description: Hetki jolloin tiedot poimittiin lähdejärjestelmästä. Tässä tiedossa - ei ole mukana datan muokkaushetkeä + description: Hetki jolloin tiedot poimittiin lähdejärjestelmästä. Tässä tiedossa ei ole mukana datan muokkaushetkeä data_tests: - not_null data_type: timestamp with time zone @@ -108,7 +106,7 @@ models: data_type: text description: "" data_tests: - - not_null + - not_null - name: komo description: "" data_type: text @@ -131,12 +129,10 @@ models: description: "" data_type: text - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: poistettu description: "" data_type: boolean @@ -156,7 +152,7 @@ models: data_type: text description: "" data_tests: - - not_null + - not_null - name: suoritus description: "" data_type: text @@ -176,12 +172,10 @@ models: description: "" data_type: boolean - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: deleted description: "" data_type: boolean @@ -227,12 +221,10 @@ models: description: "" data_type: timestamp with time zone - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: poistettu description: "" data_type: boolean @@ -266,12 +258,10 @@ models: description: "" data_type: text - name: muokattu - description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi - vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen - kanssa. + description: Hetki, jolloin tämä versio on tallennettu kantaan. Kentän nimi vaihdettu muokattu nimiseksi, jotta se täsmää muiden poimintojen kanssa. data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: poistettu description: "" data_type: boolean @@ -289,8 +279,7 @@ models: data_tests: - not_null - name: isensikertalainen - description: Onko hakija ensikertalainen. Jos false, syy löytyy kentästä - menettämisenPeruste. + description: Onko hakija ensikertalainen. Jos false, syy löytyy kentästä menettämisenPeruste. data_type: boolean - name: menettamisenperuste description: "" @@ -322,7 +311,7 @@ models: - name: muokattu data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: dw_metadata_source_timestamp_at data_type: timestamp with time zone - name: dw_metadata_stg_stored_at @@ -458,7 +447,7 @@ models: - name: muokattu data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: dw_metadata_source_timestamp_at data_type: timestamp with time zone - name: dw_metadata_stg_stored_at @@ -493,7 +482,7 @@ models: - name: muokattu data_type: timestamp with time zone data_tests: - - not_null + - not_null - name: dw_metadata_source_timestamp_at data_type: timestamp with time zone - name: dw_metadata_stg_stored_at @@ -510,15 +499,15 @@ models: - name: vastaanotto_id data_type: text data_tests: - - not_null + - not_null - name: hakukohde_oid data_type: text data_tests: - - not_null + - not_null - name: henkilo_oid data_type: text data_tests: - - not_null + - not_null - name: ilmoittaja data_type: text - name: selite @@ -530,7 +519,23 @@ models: - name: muokattu data_type: timestamp with time zone data_tests: - - not_null + - not_null + - name: dw_metadata_source_timestamp_at + data_type: timestamp with time zone + - name: dw_metadata_stg_stored_at + data_type: timestamp with time zone + - name: dw_metadata_dbt_copied_at + data_type: timestamp with time zone + - name: dw_metadata_filename + data_type: character varying + - name: dw_metadata_file_row_number + data_type: integer + - name: stg_sure_harkinnanvaraisuudet + columns: + - name: hakemusoid + data_type: text + - name: hakutoiveet + data_type: json - name: dw_metadata_source_timestamp_at data_type: timestamp with time zone - name: dw_metadata_stg_stored_at diff --git a/dbt/models/stg/stg_sure_harkinnanvaraisuudet.sql b/dbt/models/stg/stg_sure_harkinnanvaraisuudet.sql new file mode 100644 index 0000000..204fad8 --- /dev/null +++ b/dbt/models/stg/stg_sure_harkinnanvaraisuudet.sql @@ -0,0 +1,17 @@ +with source as ( + select * from {{ source('ovara', 'sure_harkinnanvaraisuudet') }} + + {% if is_incremental() %} + where dw_metadata_dbt_copied_at > (select max(dw_metadata_dbt_copied_at) from {{ this }}) + {% endif %} +), + +final as ( + select + data ->> 'hakemusOid' as hakemusOid, + (data -> 'hakutoiveet')::jsonb as hakutoiveet, + {{ metadata_columns() }} + from source +) + +select * from final From 1980d0bd33c5235d564ab96224ed6c705e7567c2 Mon Sep 17 00:00:00 2001 From: Matz Rasmus Date: Fri, 8 Nov 2024 10:56:40 +0200 Subject: [PATCH 2/4] =?UTF-8?q?lis=C3=A4tty=20pohjakoulutuksen=20lataus?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- dbt/models/dw/_dw.yml | 24 +++++++++++++++++++ dbt/models/dw/dw_sure_proxysuoritukset.sql | 4 ++++ dbt/models/int/int_sure/_int_sure.yml | 7 ++++++ .../int/int_sure/int_sure_pohjakoulutus.sql | 21 ++++++++++++++++ dbt/models/sources/_sources.yml | 3 ++- dbt/models/stg/_stg.yml | 22 +++++++++++++++++ dbt/models/stg/stg_sure_proxysuoritukset.sql | 20 ++++++++++++++++ 7 files changed, 100 insertions(+), 1 deletion(-) create mode 100644 dbt/models/dw/dw_sure_proxysuoritukset.sql create mode 100644 dbt/models/int/int_sure/int_sure_pohjakoulutus.sql create mode 100644 dbt/models/stg/stg_sure_proxysuoritukset.sql diff --git a/dbt/models/dw/_dw.yml b/dbt/models/dw/_dw.yml index d7bfa98..4a683f6 100644 --- a/dbt/models/dw/_dw.yml +++ b/dbt/models/dw/_dw.yml @@ -1123,3 +1123,27 @@ models: data_type: integer - name: dw_metadata_dw_stored_at data_type: timestamp with time zone + - name: dw_sure_proxysuoritukset + columns: + - name: hakemusoid + data_type: text + - name: hakuoid + data_type: text + - name: henkilooid + data_type: text + - name: pohjakoulutus + data_type: text + - name: keyvalues + data_type: jsonb + - name: dw_metadata_source_timestamp_at + data_type: timestamp with time zone + - name: dw_metadata_stg_stored_at + data_type: timestamp with time zone + - name: dw_metadata_dbt_copied_at + data_type: timestamp with time zone + - name: dw_metadata_filename + data_type: character varying + - name: dw_metadata_file_row_number + data_type: integer + - name: dw_metadata_dw_stored_at + data_type: timestamp with time zone diff --git a/dbt/models/dw/dw_sure_proxysuoritukset.sql b/dbt/models/dw/dw_sure_proxysuoritukset.sql new file mode 100644 index 0000000..924b408 --- /dev/null +++ b/dbt/models/dw/dw_sure_proxysuoritukset.sql @@ -0,0 +1,4 @@ +{%- set stage_model = ref('stg_sure_proxysuoritukset') -%} +{%- set key_columns_list = ['hakemusOid'] -%} + +{{ generate_dw_model_muokattu(stage_model, key_columns_list) }} diff --git a/dbt/models/int/int_sure/_int_sure.yml b/dbt/models/int/int_sure/_int_sure.yml index 7b23e9e..0022618 100644 --- a/dbt/models/int/int_sure/_int_sure.yml +++ b/dbt/models/int/int_sure/_int_sure.yml @@ -306,3 +306,10 @@ models: data_type: text - name: harkinnanvaraisuude_syy data_type: text + - name: int_sure_pohjakoulutus + description: Tämä taulu sisältää pohjakoulutustiedot + columns: + - name: hakemus_oid + data_type: text + - name: pohjakoulutus + data_type: text diff --git a/dbt/models/int/int_sure/int_sure_pohjakoulutus.sql b/dbt/models/int/int_sure/int_sure_pohjakoulutus.sql new file mode 100644 index 0000000..8531e7d --- /dev/null +++ b/dbt/models/int/int_sure/int_sure_pohjakoulutus.sql @@ -0,0 +1,21 @@ +{{ + config( + materialized = 'table', + indexes = [ + {'columns': ['hakemus_oid']} + ] + ) +}} + +with raw as ( + select * from {{ ref('dw_sure_proxysuoritukset') }} where pohjakoulutus is not null +), + +final as ( + select + hakemusoid as hakemus_oid, + pohjakoulutus + from raw +) + +select * from final diff --git a/dbt/models/sources/_sources.yml b/dbt/models/sources/_sources.yml index 69c4992..1137061 100644 --- a/dbt/models/sources/_sources.yml +++ b/dbt/models/sources/_sources.yml @@ -39,4 +39,5 @@ sources: description: | Sisältää jokaiselle tiedostolle tiedon koska viimeisin dw-ajo on mennyt tuotannossa onnistuneesti läpi. Raw- ja stg-kerroksista voidaan poistaa kaikki rivit jotka ovat tätä aikaleimaa vanhempaa - - name: sure_harkinnanvaraisuudet \ No newline at end of file + - name: sure_harkinnanvaraisuudet + - name: sure_proxysuoritukset \ No newline at end of file diff --git a/dbt/models/stg/_stg.yml b/dbt/models/stg/_stg.yml index 9d01f7c..c8b5572 100644 --- a/dbt/models/stg/_stg.yml +++ b/dbt/models/stg/_stg.yml @@ -546,3 +546,25 @@ models: data_type: character varying - name: dw_metadata_file_row_number data_type: integer + - name: stg_sure_proxysuoritukset + columns: + - name: hakemusoid + data_type: text + - name: hakuoid + data_type: text + - name: henkilooid + data_type: text + - name: pohjakoulutus + data_type: text + - name: keyvalues + data_type: jsonb + - name: dw_metadata_source_timestamp_at + data_type: timestamp with time zone + - name: dw_metadata_stg_stored_at + data_type: timestamp with time zone + - name: dw_metadata_dbt_copied_at + data_type: timestamp with time zone + - name: dw_metadata_filename + data_type: character varying + - name: dw_metadata_file_row_number + data_type: integer diff --git a/dbt/models/stg/stg_sure_proxysuoritukset.sql b/dbt/models/stg/stg_sure_proxysuoritukset.sql new file mode 100644 index 0000000..fa760c2 --- /dev/null +++ b/dbt/models/stg/stg_sure_proxysuoritukset.sql @@ -0,0 +1,20 @@ +with source as ( + select * from {{ source('ovara', 'sure_proxysuoritukset') }} + + {% if is_incremental() %} + where dw_metadata_dbt_copied_at > (select max(dw_metadata_dbt_copied_at) from {{ this }}) + {% endif %} +), + +final as ( + select + data ->> 'hakemusOid' as hakemusOid, + data ->> 'hakuOid' as hakuOid, + data ->> 'henkiloOid' as HenkiloOid, + (data -> 'values' ->> 'POHJAKOULUTUS')::text as pohjakoulutus, + (data -> 'values')::jsonb as keyvalues, + {{ metadata_columns() }} + from source +) + +select * from final From 27728002eb363ad2ff63d28f68933e8c1d3bf955 Mon Sep 17 00:00:00 2001 From: Matz Rasmus Date: Fri, 8 Nov 2024 10:56:51 +0200 Subject: [PATCH 3/4] sqlfluff --- dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql | 6 +++--- dbt/models/stg/.sqlfluff | 2 +- 2 files changed, 4 insertions(+), 4 deletions(-) diff --git a/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql b/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql index 8b34b62..a767138 100644 --- a/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql +++ b/dbt/models/int/int_sure/int_sure_harkinnanvaraisuudet.sql @@ -7,9 +7,9 @@ ) }} -with source as ( - select * from {{ref('dw_sure_harkinnanvaraisuudet') }} -), +with source as ( -- noqa: PRS + select * from {{ ref('dw_sure_harkinnanvaraisuudet') }} -- noqa: PRS +), -- noqa: PRS rows as ( select diff --git a/dbt/models/stg/.sqlfluff b/dbt/models/stg/.sqlfluff index 7f59aa7..e0c36e2 100644 --- a/dbt/models/stg/.sqlfluff +++ b/dbt/models/stg/.sqlfluff @@ -1,2 +1,2 @@ [sqlfluff] -exclude_rules = CP02 \ No newline at end of file +exclude_rules = CP02,RF02 \ No newline at end of file From 321fc5b854a1a7e9a9acc41cd33804bfdedee282 Mon Sep 17 00:00:00 2001 From: Matz Rasmus Date: Fri, 8 Nov 2024 11:11:15 +0200 Subject: [PATCH 4/4] sqlfluff korjauksia --- dbt/.sqlfluff | 2 +- .../dw/dw_sure_harkinnanvaraisuudet.sql | 2 +- dbt/models/pub/pub_dim_hakukohde.sql | 18 +++++++++-------- dbt/models/pub/pub_dim_toteutus.sql | 20 ++++++++++++------- 4 files changed, 25 insertions(+), 17 deletions(-) diff --git a/dbt/.sqlfluff b/dbt/.sqlfluff index c2ec11a..c8f5632 100644 --- a/dbt/.sqlfluff +++ b/dbt/.sqlfluff @@ -2,7 +2,7 @@ templater = dbt dialect = postgres max_line_length = 120 -exclude_rules = ST06 +exclude_rules = ST06,RF02 [sqlfluff:templater:dbt] project_dir = ./ diff --git a/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql b/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql index 0ee604f..c788743 100644 --- a/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql +++ b/dbt/models/dw/dw_sure_harkinnanvaraisuudet.sql @@ -1,4 +1,4 @@ {%- set stage_model = ref('stg_sure_harkinnanvaraisuudet') -%} {%- set key_columns_list = ['hakemusOid'] -%} -{{ generate_dw_model_muokattu(stage_model, key_columns_list) }} \ No newline at end of file +{{ generate_dw_model_muokattu(stage_model, key_columns_list) }} diff --git a/dbt/models/pub/pub_dim_hakukohde.sql b/dbt/models/pub/pub_dim_hakukohde.sql index 441229b..6bc45b7 100644 --- a/dbt/models/pub/pub_dim_hakukohde.sql +++ b/dbt/models/pub/pub_dim_hakukohde.sql @@ -61,7 +61,7 @@ int as ( hako.koulutuksenalkamiskausi, (coalesce(haku.koulutuksenalkamiskausi, tote.koulutuksen_alkamiskausi)) ) as koulutuksen_alkamiskausi, hako.toinenasteonkokaksoistutkinto as toinen_aste_onko_kaksoistutkinto, - coalesce(hako.jarjestaaurheilijanammkoulutusta,false) as jarjestaa_urheilijan_ammkoulutusta + coalesce(hako.jarjestaaurheilijanammkoulutusta, false) as jarjestaa_urheilijan_ammkoulutusta from hakukohde as hako left join toteutus as tote on hako.toteutus_oid = tote.toteutus_oid left join haku as haku on hako.haku_oid = haku.haku_oid @@ -99,14 +99,18 @@ final as ( koulutuksen_alkamiskausi_tyyppi, case when koulutuksen_alkamiskausi_tyyppi = 'alkamiskausi ja -vuosi' then koulutuksen_alkamiskausi_koodiuri - when koulutuksen_alkamiskausi_tyyppi = 'tarkka alkamisajankohta' - and date_part('month',koulutuksen_alkamispaivamaara) <= 6 then 'kausi_k#1' - when koulutuksen_alkamiskausi_tyyppi = 'tarkka alkamisajankohta' - and date_part('month',koulutuksen_alkamispaivamaara) >= 6 then 'kausi_s#1' + when + koulutuksen_alkamiskausi_tyyppi = 'tarkka alkamisajankohta' + and date_part('month', koulutuksen_alkamispaivamaara) <= 6 then 'kausi_k#1' + when + koulutuksen_alkamiskausi_tyyppi = 'tarkka alkamisajankohta' + and date_part('month', koulutuksen_alkamispaivamaara) >= 6 then 'kausi_s#1' end as koulutuksen_alkamiskausi_koodiuri, case when koulutuksen_alkamiskausi_tyyppi = 'alkamiskausi ja -vuosi' then koulutuksen_alkamisvuosi - when koulutuksen_alkamiskausi_tyyppi = 'tarkka alkamisajankohta' then date_part('year',koulutuksen_alkamispaivamaara) + when + koulutuksen_alkamiskausi_tyyppi = 'tarkka alkamisajankohta' + then date_part('year', koulutuksen_alkamispaivamaara) end as koulutuksen_alkamisvuosi, henkilokohtaisen_sunnitelman_lisatiedot, toinen_aste_onko_kaksoistutkinto, @@ -115,5 +119,3 @@ final as ( ) select * from final - - diff --git a/dbt/models/pub/pub_dim_toteutus.sql b/dbt/models/pub/pub_dim_toteutus.sql index 4059a22..d0cbe51 100644 --- a/dbt/models/pub/pub_dim_toteutus.sql +++ b/dbt/models/pub/pub_dim_toteutus.sql @@ -20,7 +20,7 @@ int as ( tila, organisaatio_oid, koulutus_oid, - koulutuksenAlkamiskausi as koulutuksen_alkamiskausi, + koulutuksenalkamiskausi as koulutuksen_alkamiskausi, suunniteltukestovuodet, suunniteltukestokuukaudet, koulutuksenalkamiskausi ->> 'alkamiskausityyppi' as koulutuksenalkamiskausityyppi, @@ -36,14 +36,20 @@ step2 as ( *, case when koulutuksenalkamiskausityyppi = 'alkamiskausi ja -vuosi' then koulutuksenalkamiskausikoodiuri - when koulutuksenalkamiskausityyppi = 'tarkka alkamisajankohta' - and date_part('month',koulutuksenalkamispaivamaara) <= 6 then 'kausi_k#1' - when koulutuksenalkamiskausityyppi = 'tarkka alkamisajankohta' - and date_part('month',koulutuksenalkamispaivamaara) >= 6 then 'kausi_s#1' + when + koulutuksenalkamiskausityyppi = 'tarkka alkamisajankohta' + and date_part('month', koulutuksenalkamispaivamaara) <= 6 then 'kausi_k#1' + when + koulutuksenalkamiskausityyppi = 'tarkka alkamisajankohta' + and date_part('month', koulutuksenalkamispaivamaara) >= 6 then 'kausi_s#1' end as koulutuksen_alkamiskausi_koodiuri, case - when koulutuksenalkamiskausityyppi = 'alkamiskausi ja -vuosi' then koulutuksenalkamisvuosi - when koulutuksenalkamiskausityyppi = 'tarkka alkamisajankohta' then date_part('year',koulutuksenalkamispaivamaara) + when + koulutuksenalkamiskausityyppi = 'alkamiskausi ja -vuosi' + then koulutuksenalkamisvuosi + when + koulutuksenalkamiskausityyppi = 'tarkka alkamisajankohta' + then date_part('year', koulutuksenalkamispaivamaara) end as koulutuksen_alkamisvuosi, henkilokohtaisensunnitelmanlisatiedot as henkilokohtaisen_sunnitelman_lisatiedot from int