Nyheter om Dapla – Dapla-manualen

Kategorier

Alle (40)

R (2)

cpu (1)

dapla ctrl (2)

dapla lab (23)

dapla-statbank-client (1)

dapla-toolbelt (1)

dapla-toolbelt-metadata (2)

daplanytt (4)

data collector (1)

data-admins (3)

datadeling (1)

datadoc (2)

datadoc-editor (1)

datafangst (2)

datatilstander (1)

developers (1)

duckdb (1)

github (1)

jdemetra (1)

jupyter (6)

jupyter-pyspark (1)

kildedata (2)

klass (1)

kvakk (1)

metadata (1)

metodebibliotek (1)

metrikker (2)

miljøvariabler (1)

moveit (1)

nais (2)

navnestandard (2)

pandera (1)

parquet (1)

poetry (1)

pyspark (1)

python (4)

ram (1)

renv (1)

rstudio (4)

spark (1)

sql (1)

ssb-project (3)

standardutvalget (1)

statistikkbanken (1)

tilgangsstyring (3)

tmux (1)

transfer service (1)

vscode (5)

dapla-toolbelt-metadata støtter igjen Python 3.10

Versjon 0.6.2 støtter igjen Python 3.10

ssb-project

dapla-toolbelt-metadata

python

I dapla-toolbelt-metadata v0.5.0 ble støtte for Python 3.10 fjernet. Det gjorde at pakken ikke var kompatibel med mange prosjekter skapt vha. ssb-project. Endringen skapte…

Enklere med ssb-project i Dapla Lab

ssb-project build støttes ved oppstart av tjenester i Dapla Lab

ssb-project

dapla lab

Mange brukere har etterspurt muligheten for å kunne angi et repo og at ssb-project build skal kjøres ved oppstart av nye Dapla Lab tjenester. Vi har nå lagt til støtte for…

DaplaNytt-møte 1.4.2025

Med lenke til opptak

daplanytt

DaplaNytt for mars 2025 ble avholdt som Teams-møte 1. april 2025.

Nye funksjoner for å validere navnestandard

Sjekk om din bøtte følger SSBs navnestandard

metadata

dapla-toolbelt-metadata

navnestandard

Team Metadata har nå lansert funksjonalitet i dapla-toolbelt-metadata for å sjekke om filene i bøttene følger navnestandarden. Metoden check_naming_standard kan validere alt…

Aktivitet på Dapla Lab i mars 2025

Oversikt over antall brukere

dapla lab

metrikker

Fom. 15. februar 2025 har Dapla Lab vært arbeidsbenken for SSB-ere som jobber med data på Dapla. I dette viser vi noen interessante tall om hvor mange som jobber på…

Nytt tidspunkt for automatisk pausing på Dapla Lab

Førstkommende torsdag pauses tjenester fra kl. 17.00

dapla lab

Alle tjenester på Dapla Lab blir pauset kl 22.00 hver dag. I forbindelse med at vi nå tilbyr brukere å melde seg ut av den automatiske pausingen ved behov, så endrer vi nå…

Støtte for langtkjørende jobber på Dapla Lab

tmux installert i alle Jupyter, VS Code og RStudio

dapla lab

tmux

Brukere som har behov for å kjøre jobber på Dapla Lab som tar mer enn 12 timer, har opplevd at kjøringene avbrytes etter noen timer uten noen åpenbar grunn. Feilen har også…

Endringer for økt stabilitet på Dapla Lab

Underliggende endringer for bedre brukeropplevelse

dapla lab

Etter overgangen til Dapla Lab februar 2025 har vi gjort erfaringer som tilsa at vi burde endre hvordan tjenestene er satt opp. Dette burde resultere i at brukere opplever…

Forbedring av konfigurasjon i Dapla Lab

Ikke lenger mulig å starte en tjeneste som data-admins uten begrunnelse

dapla lab

Den 18. mars 2025 rullet vi ut en endring i tjenestekonfigurasjonene til alle tjenester på Dapla Lab. Under Data-fanen er ikke lenger mulig å starte en tjeneste som data-admi…

Nytt utseende for Klass-siden på ssb.no

Forbedret utseende og migrering til NAIS

klass

Den 18. mars 2025 ble nettsiden som lar brukere utforske i kodeverk i Klass på www.ssb.no/klass oppdatert. Brukere vil merke at utseende nå er oppdatert og mer i tråd med…

Tilgang til å liste bøttenavn på Dapla

Alle SSB-ere har nå tilgang til å liste ut bøttenavn

tilgangsstyring

Fra og med mandag 17. mars 2025 har alle SSB-brukere fått tilgangen bucket.list på alle GCS-bøtter på Dapla. Det betyr at de kan se navnene til bøttene, men ikke innholdet i…

E-postvarslinger om “gamle” tjenester fra Dapla Lab

Varsling om tjenester som er mer 7 dager gamle

dapla lab

Fra og med mandag 10. mars 2025 implementeres automatisk utsending av e-post til brukere som har tjenester som ble startet for mer enn 7 dager siden. Formålet med varslingen…

DaplaNytt-møte 5.3.2025

Med lenke til opptak

daplanytt

DaplaNytt for februar 2025 ble avholdt som Teams-møte 5. mars 2025.

Skru av automatisk pausing for en tjeneste

Ny funksjonalitet for langtkjørende jobber på Dapla Lab

dapla lab

Alle tjenester på Dapla Lab pauses hver kveld kl. 22:00, slik som forklart i dokumentasjonen. Nå er det mulig å skru av pausing for enkelttjenester ved å skrive [nosuspend] p…

Estimerte kostnader i Dapla Lab

Se hvor mye tjenesten din koster

dapla lab

metrikker

Du kan nå se et estimat for hvor mye din tjeneste koster under Ressurser-fanen i tjenestekonfigurasjonen på Dapla Lab. Dette er ikke et nøyaktig estimat, men kan gi brukeren…

Delt-bøtter støttes i Dapla Lab

Tilgjengeliggjør andre team sine delt-bøtter i Dapla Lab

dapla lab

vscode

jupyter

rstudio

datadeling

Man kan nå tilgjengeliggjøre delt-bøtter fra andre team inne i Jupyter, Vscode-python og Rstudio. Les dokumentasjon her, eller se videoen under:

Parquet-utforsker i VS Code

Utforsk innhold i Parquet-filer i bøtter

parquet

vscode

sql

duckdb

Sjekk ut den nye Parquet-utforskeren i Vscode-python. Skrive SQL, filtrer,inspiser metadata uten bruk av Python eller R. Les mer i denne blogg-artikkelen.

DaplaNytt-møte 5.2.2025

Med lenke til opptak

daplanytt

DaplaNytt for januar 2025 ble avholdt som Teams-møte 5. februar 2025.
Se opptaket her (intern lenke).

Åpen dag om Dapla Lab i Oslo og Kongsvinger

Få hjelp av utviklere, tech-coacher og støtteteam

dapla lab

10. og 11. februar arrangerer vi åpen dag om Dapla Lab for å hjelpe brukere med overgangen til Dapla Lab. Utviklere, tech-coacher og støtteteam stiller fysisk for å hjelpe…

Nytt kapittel om filinnsamling via MoveIT på Dapla

Automatisert overføring til kildebøtta på Dapla

datafangst

moveit

transfer service

Mange statistikker mottar data fra eksterne som filer via MoveIT-systemet på bakken. Disse filene kan automatisk synkroniseres til kildebøtta på Dapla. Les mer om hvordan…

Omstrukturering av manualen!

ssb-project

python

R

renv

poetry

Finner du ikke favorittartiklene dine? Det er fordi vi har omstrukturert manualen. Vi har delt opp det som tidligere var jobbe-med-kode inn i 3 forksjellige artikler: SSB-pro…

Overgang til Dapla Lab

Frist for overgang er 15. februar 2025

dapla lab

Innen 15. februar må alle brukere av dagens Jupyter-miljø flytte over til Dapla Lab, SSBs nye arbeidsbenk for staistikkproduksjon og forskning. Innen fristen må kode, filer…

Dapla Ctrl har fått ny nettadresse

Ny adress er https://dapla-ctrl.intern.ssb.no/

dapla ctrl

nais

Nettadressen til Dapla Ctrl er nå endret fra https://ctrl.dapla.ssb.no/ til https://dapla-ctrl.intern.ssb.no/. Dette er gjort som en del av overgangen til NAIS-plattformen.

Nytt kapittel om Metodebiblioteket

metodebibliotek

python

R

Vi har skrevet et kapittel i Dapla-manualen om metodebiblioteket. Sjekk det ut her.

Nytt kapittel om Standarder og standardutvalget

standardutvalget

navnestandard

datadoc

datatilstander

github

Vi har skrevet et kapittel i Dapla-manualen som gir et overblikk over standardutvalget og standardene på Dapla. Sjekk det ut her.

Nytt blogginnlegg om Pandera

Hvordan inkludere data validering i kode med python pakken Pandera.

dapla lab

jupyter

python

pandera

Manualens blogg har blitt oppdatert med en post om hvordan validere data i kode ved hjelp av Python pakken Pandera. Les mer her.

Tar i bruk Navs applikasjonsplattform

SSB tar i bruk NAIS-plattformen til NAV

nais

I 2025 skal SSB for fullt ta i bruk Navs applikasjonsplattform, NAIS.

refresh-buckets kommando i Dapla Lab

Ny funksjon for å oppdatere innholdet i filsystemet i tjenester på Dapla Lab.

dapla lab

jupyter

vscode

rstudio

Nå kan man kjøre kommandoen refresh-buckets fra terminalen i en tjeneste på Dapla Lab for å oppdatere visningen av en bøttene i filsystemet. Dette kan være nyttig hvis det…

Nytt kapittel om Kvalitet i kode og koding (KVAKK)

kvakk

Vi har skrevet et kapittel i Dapla-manualen om Kvalitet i kode og koding (KVAKK). Sjekk det ut her.

Dapla Lab støtter Statbank

Release v1.2.8 av dapla-statbank-client

dapla lab

dapla-statbank-client

statistikkbanken

Fra og med forrige uke støtter Statbank-pakken lasting fra Dapla Lab. Dette er i forbindelse med ny versjon av Python-pakken dapla-statbank-client.

Endring i tjenestekonfigurasjon på Dapla Lab

dapla lab

jupyter

vscode

rstudio

jdemetra

datadoc-editor

Tjenestekonfigurasjonen i Dapla Lab har endret seg. Dette er altså menyen man får opp når man starter opp en ny tjeneste, for eksempel en ny instans av Jupyter eller VSCode.…

Når skrus ‘gamle’ jupyter av?

dapla lab

jupyter

Under forrige DaplaNytt ble 15. januar 2025 nevt som en mulig sluttdato for ‘gamle’ jupyter, altså https://jupyter.dapla.ssb.no, og dermed en endelig overgang til Dapla Lab.

DaplaNytt-møte 19.11.2024

Med lenke til opptak

daplanytt

DaplaNytt for november 2024 ble avholdt som Teams-møte 19. november 2024.
Se opptaket her (intern lenke).

Kildedata og Datadoc

Datadoc støtter ikke dokumentasjon av kildedata enda

dapla lab

data-admins

kildedata

datadoc

Datadoc støtter ikke dokumentasjon av datasett i datatilstanden kildedata enda. Det vil støttes på sikt, men foreløpig er det ikke funksjonalitet for dette.

Kildedata tilgjengelig fra Dapla Lab

Les og skriv kildedata fra Dapla Lab

dapla lab

data-admins

kildedata

tilgangsstyring

Brukere i tilgangsgruppen data-admins kan nå aksessere kildedata fra tjenestene på Dapla Lab. Kravene for tilgangen er de samme som før:

Nytt kapittel om Jupyter-pyspark

Brukermanual for Jupyter-pyspark på Dapla Lab

dapla lab

jupyter-pyspark

pyspark

spark

Vi har skrevet et kapittel i Dapla-manualen om hvordan man bruker Jupyter-pyspark i Dapla Lab. Sjekk det ut her.

Data-admins i developers-gruppa

Det er bestemt at data-admins også skal være medlem av developers-gruppa.

tilgangsstyring

dapla ctrl

data-admins

developers

Det er bestemt at medlemmer av tilgangsgruppen data-admins også skal være medlem av developers-gruppa. Det er på denne måten at data-admins også får tilgang til…

Nytt kapittel om Data Collector

Brukermanual for Data Collector endelig på plass

dapla lab

data collector

dapla-toolbelt

datafangst

Vi har skrevet et kapittel i Dapla-manualen som beskriver hvordan man bruker Data Collector. Sjekk det ut her.

Endring i default-maskinkraft på Dapla Lab

Mindre RAM og CPU som default

dapla lab

jupyter

vscode

rstudio

ram

cpu

Førstkommende mandag gjør vi en endring i hvor mye RAM og CPU programmeringsmiljøene på Dapla Lab har som default. Vi endrer antall millicores (M) CPU fra 2000M til 200M…

Faste miljøvariabler i Dapla Lab

Til alle som bygger R- og Python-pakker på Dapla

dapla lab

miljøvariabler

Vi har oppdatert listen over miljøvariabler som brukere av programmeringsmiljøene (Jupyter, VS Code og RStudio) i Dapla Lab kan forvente å finne. Formålet med disse er…