Nyheter om Dapla – Dapla-manualen

Kategorier

Alle (63)

altinn (4)

cpu (1)

dapla ctrl (3)

dapla lab (27)

dapla Lab (2)

dapla-statbank-client (2)

dapla-suv-tools (1)

dapla-toolbelt (1)

dapla-toolbelt-metadata (3)

dapladag (1)

daplanytt (4)

data collector (1)

data-admins (5)

datadeling (5)

datadoc (4)

datadoc-editor (2)

datafangst (2)

datatilstander (1)

delomaten (1)

developers (1)

duckdb (1)

gcsfuse (1)

github (1)

isee (2)

jdemetra (1)

jupyter (6)

jupyter-pyspark (1)

kildedata (2)

kildomaten (6)

klass (1)

kvakk (3)

metadata (2)

metodebibliotek (1)

metrikker (2)

miljøvariabler (1)

moveit (1)

nais (2)

navnestandard (2)

pandera (1)

parquet (1)

poetry (1)

pyspark (1)

python (5)

R (2)

ram (1)

renv (1)

rstudio (4)

spark (1)

sql (1)

ssb-altinn-python (2)

ssb-project (4)

standardutvalget (1)

statistikkbanken (2)

testmiljø (1)

tilgangsstyring (6)

tmux (1)

transfer service (2)

vscode (5)

Økt ytelse i Kildomaten

kildomaten

Kildomaten vil nå som standard prosessere 100 filer parallelt, mot 5 tidligere. Endringen vil spesielt forbedre ytelsen for team som mottar svært mange filer kildebøtta som…

Validere at filer er prosessert i Kildomaten

kildomaten

Ifm. driftstansen, og driftsproblemene i etterkant, i Kildomaten fra 12. mai kl. 15.00 til 14. mai kl. 13.00 så kan det være team som ønsker å sjekke om det kom inn filer i…

Endret tilgangsstyring for manuell trigging av Kildomaten

kildomaten

tilgangsstyring

Ifm driftsstansen i Kildomaten så har det blitt en endring i hvilken tilgangsgruppe som kan manuelt trigge Kildomaten fra Dapla Lab. Tidligere måtte man starte en tjeneste…

Årets Dapla-dager er i gang

dapladag

Onsdag forrige uke ble årets Dapladag gjennomført i SSBs lokaler i Oslo. Her kunne ansatte få med seg Frokost med Geir, ulike presentasjoner om Dapla for ulike målgrupper…

Ny versjon av Datadoc-editor

datadoc

datadoc-editor

I den nye versjonen varsles brukeren når det avdekkes avvik mellom datasettet og eksisterende metadata slik at man kan korrigere metadataene.

Driftsbrudd for Kildomaten mandag 12. mai 2025

kildomaten

I forbindelse med at pseudonymiseringstjenesten på Dapla skal migreres over til NAIS mandag den 12. mai 2025, så vil det bli en driftsstans i Kildomaten mellom 15.00-21.00 de…

Ny informasjon under Mine tjenester i Dapla Lab

dapla lab

tilgangsstyring

I dag er det lagt til visning av hvilken tilgangsgruppe som er valgt for åpnede tjenester i Dapla Lab. Det vil gjøre det lettere å vite hvilke data man tilgang til i ulike…

Deling av data og `/buckets`

dapla Lab

datadeling

gcsfuse

Etter noen måneder med erfaring med tilgjengeliggjøring av bøtter som filsystem i Dapla Lab, har vi erfart at funksjonaliteten i noen tilfeller har noen utfordringer.

Endring i tilganger for data-admins

dapla Lab

tilgangsstyring

data-admins

Ifm med utrulling av en ny type delt-bøtte ble det oppdaget at noen team hadde en feil i tilgangene for data-admins. Dette ble rettet i sammenheng med utrulling av de nye…

Blogginnlegg om bruk av funksjoner

kvakk

Arne Sørli har skrevet et blogginnlegg som oppfordrer til mer bruk av funksjoner i statistikkproduksjonskode. Innlegget sier litt om hvorfor, hvordan man kan gjøre det og…

Oppdatert beskrivelse av manuell trigging av Kildomaten-jobber

kildomaten

Dapla-manualen er nå oppdatert med en bedre beskrivelse av hvordan man kan trigge Kildomaten manuelt. Brukere må logge seg inn som developers for å manuelt trigge en…

Dapla Ctrl viser nå type delt-bøtte

datadeling

dapla ctrl

delomaten

Ifm. innføring av en ny type delt-bøtte på Dapla, så har Dapla Ctrl blitt oppdatert slik at den også viser hvilken type en delt-bøtte det er. Dette viser både på…

Mal for statistikk-repoer oppdatert med konfigurasjonsfiler

kvakk

ssb-project

Det er lurt å samle felles innstillinger og verdier som koden din trenger i en konfigurasjonsfil, i stedet for at de er spredt rundt omkring i koden.

Beslutning om Transfer Service fra testmiljøet på Dapla til bakken

transfer service

altinn

testmiljø

Mange brukere har bedt om å kunne overføre data fra et Dapla-team sitt test-miljø til bakken. Dette er spesielt relevant for team har datafangst fra Altinn 3 på Dapla, men…

Endring i opprettelse og administrasjon av delt-bøtter

datadeling

Vi ruller nå ut en endring i hvordan brukere kan opprette og gi tilganger til delt-bøtter. Den nye fremgangsmåten er dokumentert i Dapla-manualen. Endringen vil skje gradvis…

Statistikk over datadeling på Dapla

dapla lab

datadeling

Ett år etter at Dapla-team kunne opprette delt-bøtter selvbetjent på Dapla, så er det tilsammen opprettet 118 bøtter per 22. April 2025. 83 av disse er i prod-miljøet til…

Nye tidspunkter for pausing på Dapla Lab

dapla lab

Alle tjenester på Dapla Lab blir automatisk pauset kl 17.00 hver dag, med mindre man har meldt seg ut av pausingen. Basert på erfaring ser vi at det startes en del tjenester…

Forbedring av kildedatatilgang i Dapla Lab

dapla lab

data-admins

Når man har startet en tjeneste på Dapla Lab som data-admins, så har er tilgangen til data alltid tidsbegrenset. Tidligere har man ikke kunne starte tjenesten igjen når…

Ny versjon av ssb-altinn-python

ssb-altinn-python

kildomaten

altinn

isee

Ny release av ssb-altinn-python v0.4.12 er sluppet i Kildomaten. Pakken håndterer nå problemet med at UTC-datoformat i feltet ALTINNTIDSPUNKTLEVERT ble trunkert når det…

Oppdatert dokumentasjon for Datadoc

datadoc

metadata

dapla-toolbelt-metadata

Dokumentasjonen for Datadoc-delen av dapla-toolbelt-metadata er skrevet om og inkluderer nå flere eksempler på hvordan man jobbe programmatisk med metadata.

Blogginnlegg om Altinn 3 og ISEE

altinn

ssb-altinn-python

isee

Magnus Theodor Engh har skrevet et blogginnlegg som forklarer hvordan man kan integrere datafangst med Altinn 3 på Dapla, med lasting til ISEE i prodsonen. Les innlegget her.

Mer dokumentasjon om Altinn 3 i Dapla-manualen

altinn

dapla-suv-tools

Team SU-V har skrevet flere nye kapitler med brukerdokumentasjon for brukere som jobber med Altinn 3 på Dapla. Kapitlene er samlet i en egen del av manualen, i tillegg så…

Dokumentasjon av lasting til Statistikkbanken er oppdatert

python

dapla-statbank-client

statistikkbanken

Kapitlet om dapla-statbank-client i Dapla-manualen er skrevet om og url-en er endret til: https://manual.dapla.ssb.no/statistikkere/dapla-statbank-client.html.

dapla-toolbelt-metadata støtter igjen Python 3.10

ssb-project

dapla-toolbelt-metadata

python

I dapla-toolbelt-metadata v0.5.0 ble støtte for Python 3.10 fjernet. Det gjorde at pakken ikke var kompatibel med mange prosjekter skapt vha. ssb-project. Endringen skapte…

Enklere med ssb-project i Dapla Lab

ssb-project

dapla lab

Mange brukere har etterspurt muligheten for å kunne angi et repo og at ssb-project build skal kjøres ved oppstart av nye Dapla Lab tjenester. Vi har nå lagt til støtte for…

DaplaNytt-møte 1.4.2025

daplanytt

DaplaNytt for mars 2025 ble avholdt som Teams-møte 1. april 2025.

Nye funksjoner for å validere navnestandard

metadata

dapla-toolbelt-metadata

navnestandard

Team Metadata har nå lansert funksjonalitet i dapla-toolbelt-metadata for å sjekke om filene i bøttene følger navnestandarden. Metoden check_naming_standard kan validere alt…

Aktivitet på Dapla Lab i mars 2025

dapla lab

metrikker

Fom. 15. februar 2025 har Dapla Lab vært arbeidsbenken for SSB-ere som jobber med data på Dapla. I dette viser vi noen interessante tall om hvor mange som jobber på…

Nytt tidspunkt for automatisk pausing på Dapla Lab

dapla lab

Alle tjenester på Dapla Lab blir pauset kl 22.00 hver dag. I forbindelse med at vi nå tilbyr brukere å melde seg ut av den automatiske pausingen ved behov, så endrer vi nå…

Støtte for langtkjørende jobber på Dapla Lab

dapla lab

tmux

Brukere som har behov for å kjøre jobber på Dapla Lab som tar mer enn 12 timer, har opplevd at kjøringene avbrytes etter noen timer uten noen åpenbar grunn. Feilen har også…

Endringer for økt stabilitet på Dapla Lab

dapla lab

Etter overgangen til Dapla Lab februar 2025 har vi gjort erfaringer som tilsa at vi burde endre hvordan tjenestene er satt opp. Dette burde resultere i at brukere opplever…

Forbedring av konfigurasjon i Dapla Lab

dapla lab

Den 18. mars 2025 rullet vi ut en endring i tjenestekonfigurasjonene til alle tjenester på Dapla Lab. Under Data-fanen er ikke lenger mulig å starte en tjeneste som data-admi…

Nytt utseende for Klass-siden på ssb.no

klass

Den 18. mars 2025 ble nettsiden som lar brukere utforske i kodeverk i Klass på www.ssb.no/klass oppdatert. Brukere vil merke at utseende nå er oppdatert og mer i tråd med…

Tilgang til å liste bøttenavn på Dapla

tilgangsstyring

Fra og med mandag 17. mars 2025 har alle SSB-brukere fått tilgangen bucket.list på alle GCS-bøtter på Dapla. Det betyr at de kan se navnene til bøttene, men ikke innholdet i…

E-postvarslinger om “gamle” tjenester fra Dapla Lab

dapla lab

Fra og med mandag 10. mars 2025 implementeres automatisk utsending av e-post til brukere som har tjenester som ble startet for mer enn 7 dager siden. Formålet med varslingen…

DaplaNytt-møte 5.3.2025

daplanytt

DaplaNytt for februar 2025 ble avholdt som Teams-møte 5. mars 2025.

Skru av automatisk pausing for en tjeneste

dapla lab

Alle tjenester på Dapla Lab pauses hver kveld kl. 22:00, slik som forklart i dokumentasjonen. Nå er det mulig å skru av pausing for enkelttjenester ved å skrive [nosuspend] p…

Estimerte kostnader i Dapla Lab

dapla lab

metrikker

Du kan nå se et estimat for hvor mye din tjeneste koster under Ressurser-fanen i tjenestekonfigurasjonen på Dapla Lab. Dette er ikke et nøyaktig estimat, men kan gi brukeren…

Delt-bøtter støttes i Dapla Lab

dapla lab

vscode

jupyter

rstudio

datadeling

Man kan nå tilgjengeliggjøre delt-bøtter fra andre team inne i Jupyter, Vscode-python og Rstudio. Les dokumentasjon her, eller se videoen under:

Parquet-utforsker i VS Code

parquet

vscode

sql

duckdb

Sjekk ut den nye Parquet-utforskeren i Vscode-python. Skrive SQL, filtrer,inspiser metadata uten bruk av Python eller R. Les mer i denne blogg-artikkelen.

DaplaNytt-møte 5.2.2025

daplanytt

DaplaNytt for januar 2025 ble avholdt som Teams-møte 5. februar 2025.
Se opptaket her (intern lenke).

Åpen dag om Dapla Lab i Oslo og Kongsvinger

dapla lab

10. og 11. februar arrangerer vi åpen dag om Dapla Lab for å hjelpe brukere med overgangen til Dapla Lab. Utviklere, tech-coacher og støtteteam stiller fysisk for å hjelpe…

Nytt kapittel om filinnsamling via MoveIT på Dapla

datafangst

moveit

transfer service

Mange statistikker mottar data fra eksterne som filer via MoveIT-systemet på bakken. Disse filene kan automatisk synkroniseres til kildebøtta på Dapla. Les mer om hvordan…

Omstrukturering av manualen!

ssb-project

python

R

renv

poetry

Finner du ikke favorittartiklene dine? Det er fordi vi har omstrukturert manualen. Vi har delt opp det som tidligere var jobbe-med-kode inn i 3 forksjellige artikler: SSB-pro…

Overgang til Dapla Lab

dapla lab

Innen 15. februar må alle brukere av dagens Jupyter-miljø flytte over til Dapla Lab, SSBs nye arbeidsbenk for staistikkproduksjon og forskning. Innen fristen må kode, filer…

Dapla Ctrl har fått ny nettadresse

dapla ctrl

nais

Nettadressen til Dapla Ctrl er nå endret fra https://ctrl.dapla.ssb.no/ til https://dapla-ctrl.intern.ssb.no/. Dette er gjort som en del av overgangen til NAIS-plattformen.

Nytt kapittel om Metodebiblioteket

metodebibliotek

python

R

Vi har skrevet et kapittel i Dapla-manualen om metodebiblioteket. Sjekk det ut her.

Nytt kapittel om Standarder og standardutvalget

standardutvalget

navnestandard

datadoc

datatilstander

github

Vi har skrevet et kapittel i Dapla-manualen som gir et overblikk over standardutvalget og standardene på Dapla. Sjekk det ut her.

Nytt blogginnlegg om Pandera

dapla lab

jupyter

python

pandera

Manualens blogg har blitt oppdatert med en post om hvordan validere data i kode ved hjelp av Python pakken Pandera. Les mer her.

Tar i bruk Navs applikasjonsplattform

nais

I 2025 skal SSB for fullt ta i bruk Navs applikasjonsplattform, NAIS.

refresh-buckets kommando i Dapla Lab

dapla lab

jupyter

vscode

rstudio

Nå kan man kjøre kommandoen refresh-buckets fra terminalen i en tjeneste på Dapla Lab for å oppdatere visningen av en bøttene i filsystemet. Dette kan være nyttig hvis det…

Nytt kapittel om Kvalitet i kode og koding (KVAKK)

kvakk

Vi har skrevet et kapittel i Dapla-manualen om Kvalitet i kode og koding (KVAKK). Sjekk det ut her.

Dapla Lab støtter Statbank

dapla lab

dapla-statbank-client

statistikkbanken

Fra og med forrige uke støtter Statbank-pakken lasting fra Dapla Lab. Dette er i forbindelse med ny versjon av Python-pakken dapla-statbank-client.

Endring i tjenestekonfigurasjon på Dapla Lab

dapla lab

jupyter

vscode

rstudio

jdemetra

datadoc-editor

Tjenestekonfigurasjonen i Dapla Lab har endret seg. Dette er altså menyen man får opp når man starter opp en ny tjeneste, for eksempel en ny instans av Jupyter eller VSCode.…

Når skrus ‘gamle’ jupyter av?

dapla lab

jupyter

Under forrige DaplaNytt ble 15. januar 2025 nevt som en mulig sluttdato for ‘gamle’ jupyter, altså https://jupyter.dapla.ssb.no, og dermed en endelig overgang til Dapla Lab.

DaplaNytt-møte 19.11.2024

daplanytt

DaplaNytt for november 2024 ble avholdt som Teams-møte 19. november 2024.
Se opptaket her (intern lenke).

Kildedata og Datadoc

dapla lab

data-admins

kildedata

datadoc

Datadoc støtter ikke dokumentasjon av datasett i datatilstanden kildedata enda. Det vil støttes på sikt, men foreløpig er det ikke funksjonalitet for dette.

Kildedata tilgjengelig fra Dapla Lab

dapla lab

data-admins

kildedata

tilgangsstyring

Brukere i tilgangsgruppen data-admins kan nå aksessere kildedata fra tjenestene på Dapla Lab. Kravene for tilgangen er de samme som før:

Nytt kapittel om Jupyter-pyspark

dapla lab

jupyter-pyspark

pyspark

spark

Vi har skrevet et kapittel i Dapla-manualen om hvordan man bruker Jupyter-pyspark i Dapla Lab. Sjekk det ut her.

Data-admins i developers-gruppa

tilgangsstyring

dapla ctrl

data-admins

developers

Det er bestemt at medlemmer av tilgangsgruppen data-admins også skal være medlem av developers-gruppa. Det er på denne måten at data-admins også får tilgang til…

Nytt kapittel om Data Collector

dapla lab

data collector

dapla-toolbelt

datafangst

Vi har skrevet et kapittel i Dapla-manualen som beskriver hvordan man bruker Data Collector. Sjekk det ut her.

Endring i default-maskinkraft på Dapla Lab

dapla lab

jupyter

vscode

rstudio

ram

cpu

Førstkommende mandag gjør vi en endring i hvor mye RAM og CPU programmeringsmiljøene på Dapla Lab har som default. Vi endrer antall millicores (M) CPU fra 2000M til 200M…

Faste miljøvariabler i Dapla Lab

dapla lab

miljøvariabler

Vi har oppdatert listen over miljøvariabler som brukere av programmeringsmiljøene (Jupyter, VS Code og RStudio) i Dapla Lab kan forvente å finne. Formålet med disse er…