Åtgärder

Skillnad mellan versioner av "Kontroll av data"

Från DAU-handboken

Rad 1: Rad 1:
== Överlämning av data ==
== Överlämning av data ==


Så fort datamaterial lämnas till DAU genom Mitt SND blir det möjligt att ladda ner datamaterialet för kontroll. Storleksgränsen på datamaterial som lämnas in på det här sättet är just nu på 100Mb, men kommer utökas. Det innebär att för närvarande måste större datamängderlämnas in till DAU:en på ett annat sätt, till exempel via extern hårddisk. I takt med att varje DAU tillämpar egna lagringslösningar kommer denna gräns höjas och andra lösningar för större material kan komma på plats.
Så fort datamaterial lämnas till DAU genom ''Mitt SND'' blir det möjligt att ladda ner datamaterialet för kontroll. Storleksgränsen på datamaterial som lämnas in på det här sättet är just nu på 100Mb, men kommer utökas. Det innebär att för närvarande måste större datamängder lämnas in till DAU:en på andra sätt, till exempel via extern hårddisk eller Box. I takt med att varje DAU tillämpar egna lagringslösningar kommer denna gräns höjas och andra lösningar för större material kan komma på plats.


=== Kontroll av data ===
=== Kontroll av data ===


Det är viktigt att forskningsdata som förmedlas genom SND:s forskningsdatakatalog kan förstås och återanvändas av andra. För att garantera detta behöver ett antal åtgärder som redovisas nedan genomföras.
Det är viktigt att forskningsdata som förmedlas genom SND:s forskningsdataportal kan förstås och återanvändas av andra. För att garantera detta behöver ett antal åtgärder som redovisas nedan genomföras.


Forskningsdata som laddas ned eller förmedlas via SND:s forskningsdataportal ska ha genomgått följande kontroller:
Forskningsdata som laddas ned eller förmedlas via SND:s forskningsdataportal ska ha genomgått följande kontroller:
Rad 21: Rad 21:
# Ladda ner filer och kontrollera om:
# Ladda ner filer och kontrollera om:
##  Kompletthet, förståbarhet, dokumentation. Är datasetet tillräckligt komplett för att det ska vara möjligt att förstå vad det innefattar?
##  Kompletthet, förståbarhet, dokumentation. Är datasetet tillräckligt komplett för att det ska vara möjligt att förstå vad det innefattar?
## Alla filer går att öppna. Är det för många filer kan man göra ett urval. Öppna gärna alla olika filtyper. En annan lösning kan vara att skriva en script som testar att alla filer i en mapp går att öppna. Denna lösning är dock lämpligast när alla filer delar samma eller några få filformat, och kan vara olika svår att genomföra beroende på filformatet.
## Alla filer går att öppna. Är det för många filer kan man göra ett urval. Öppna gärna alla olika filtyper. Är man lite tekniskt lagd så kan en annan lösning vara att skriva ett script som testar att alla filer i en mapp går att öppna. Denna lösning är dock lämpligast när alla filer är av samma, eller ett fåtal olika, filformat och beroende på formatet kan det vara svårt att genomföra.
## Finns alla nödvändiga filer? Information om kompletthet kan fås från metadata om datasetet och dokumentationen. Ofta deponeras bara en del av datamaterialet som producerades under forskningsprojektet. Så länge
## Finns alla nödvändiga filer? Information om kompletthet kan fås från metadata om datasetet och tillhörande dokumentation. Ofta deponeras bara en del av datamaterialet som producerades under forskningsprojektet. Så länge materialet går att återanvända kan man fortsätta processen med att publicera det, men forskaren kan alltid uppmanas att publicera mer än vad som krävs av till exempel tidskriften i syfte att göra data mer rättvisa och underlätta för sekundäranvändare.
## materialet går att återanvända kan man fortsätta processen med att publicera det, men forskaren kan alltid uppmanas att publicera mer än vad som krävs av till exempel tidskriften i syfte att ge data mer rättvisa och underlätta för sekundäranvändare.
## Finns det tillräckligt med metadata för att kunna publicera materialet? Minimikraven för publicering av metadata i SND:s forskningsdataportal uppfylls automatiskt genom att obligatoriska fält är ifyllda, men det är upp till varje DAU att se om det behövs mer metadata. Även om det går att publicera datamaterialet med befintliga metadata kan det vara värt att be forskaren komplettera fält som anses vara viktiga för återanvändning. Ibland kan metadata kompletteras från dokumentationen, men det beror på arbetssättet och arbetsmängden för DAU:en - Hur mycket förväntas forskaren göra vs hur mycket förväntas DAU:en göra.
## Finns det tillräckligt med metadata för att kunna publicera materialet? Minimikraven för publicering av metadata SND:s forskningsdatakatalog uppfylls automatiskt genom att obligatoriska fält är ifyllda, men det är upp till varje DAU att se om det behövs mer metadata. Även om det går att publicera datamaterialet med befintliga metadata kan det vara värt att be forskaren komplettera fält som anses vara viktiga för återanvändning. Ibland kan metadata kompletteras från dokumentationen men det beror på arbetssättet och arbetsmängd på DAU:en - Hur mycket förväntas forskaren göra vs hur mycket förväntas DAU:en göra.
## Finns det tillräcklig dokumentation? Vad som är tillräcklig information kan skilja sig åt mellan olika ämnesområden. Inom arkeologi kan lämplig dokumentation vara en artikel, en undersökningsrapport eller annat material som ger kontext till datamaterialet och som beskriver metodiken bakom datainsamlandet/skapandet. Det är viktigt att det finns dokumentation som beskriver innehållet av datamaterialet - t.ex. fältbeskrivningar om det finns tabulära data, beskrivningar av fotografier, osv. I de fall data består av enkätundersökningar eller intervjuer är det av stort värde att de frågeformulär som har använts finns tillgängliga.
## Finns det tillräcklig dokumentation? Vad som är tillräcklig information kan skilja sig åt mellan olika ämnesområden. Inom arkeologi kan lämplig dokumentation vara en artikel, en undersökningsrapport eller annat material som ger kontext till datamaterialet och som beskriver metodiken bakom datainsamlandet/skapandet. Det är viktigt att det finns dokumentation som beskriver innehållet av datamaterialet - t.ex. fältbeskrivningar om det finns tabulära data, beskrivningar av fotografier, osv. I de fall data består av enkätundersökningar eller intervjuer är det av stort värde att de questionnaire som har använts och ligger till grund för ingående variabler i datasetet finns tillgängliga.
## Data som laddas upp via ''Mitt SND'' kontrolleras för virus.
## Data som laddas upp via Mitt SND kontrolleras för virus.


=== Kontroll av läsbarhet ===
=== Kontroll av läsbarhet ===


Forskningsmaterial som deponeras vid SND ska lagras på sådant sätt att framtida användning möjliggörs. Detta innebär att åtgärder görs på flera plan. Bitstream: Läsbarhet – att lagringsmedium är kompatibel med gällande hårdvara eller migreras vid behov. Filnivå: Format – att teckentabeller, komprimeringsalgoritmer och binärkod är läsbar och begriplig, samt att formatet är kompatibelt med operativsystemet Representation: Att den samling filer som tillsammans utgör en för oss användare begriplig enhet bevaras, exv. innehållsbeskrivning (t.ex. webbsida, foto, text).
Forskningsmaterial som har deponeras vid SND ska lagras på sådant sätt att framtida användning möjliggörs. Detta innebär att åtgärder görs på flera plan.  
Bitstream: Läsbarhet – att lagringsmedium är kompatibel med gällande hårdvara eller migreras vid behov.  
Filnivå: Format – att teckentabeller, komprimeringsalgoritmer och binärkod är läsbar och begriplig, samt att formatet är kompatibelt med operativsystemet.
Representation: Att den samling filer som tillsammans utgör en begriplig enhet bevaras, tillsammans med en innehållsbeskrivning (t.ex. webbsida, foto, text).


=== Kontroll av förstårbarhet ===
=== Kontroll av förståbarhet ===


Förutom rådata är det nödvändigt att den dokumentation som genererats under en forskningsprocess, och som är nödvändig för att i framtiden kunna förstå forskningsmaterialet, levereras tillsammans med data. Exempel på dokumentation är kodböcker, frågeformulär, publikationer, undersökningsrapporter och tekniska rapporter.
Förutom originaldata/rådata är det nödvändigt att den dokumentation som genererats under forskningsprocessen, och som är nödvändig för att en sekundäranvändare i framtiden ska kunna förstå forskningsmaterialet, levereras tillsammans med data. Exempel på dokumentation är kodböcker, frågeformulär, publikationer, undersökningsrapporter och tekniska rapporter.


Notera att kravet är att data måste finnas lagrade på en säker lagringsyta. Däremot föreligger inget krav från SND på någon särskild lagringslösning, eftersom ansvaret för lagring ligger på respektive lärosäte. Observera att för certifiering finns det särskilda krav på lagringslösningar och strukturer vilka SND kan rådge kring om så önskas.
Notera att kravet är att data måste finnas lagrade på en säker lagringsyta. Däremot föreligger inget krav från SND på någon särskild lagringslösning, eftersom ansvaret för lagring ligger på respektive lärosäte. Observera att för certifiering finns det särskilda krav på lagringslösningar och strukturer vilka SND kan rådge kring om så önskas.

Versionen från 17 oktober 2018 kl. 09.45

Överlämning av data

Så fort datamaterial lämnas till DAU genom Mitt SND blir det möjligt att ladda ner datamaterialet för kontroll. Storleksgränsen på datamaterial som lämnas in på det här sättet är just nu på 100Mb, men kommer utökas. Det innebär att för närvarande måste större datamängder lämnas in till DAU:en på andra sätt, till exempel via extern hårddisk eller Box. I takt med att varje DAU tillämpar egna lagringslösningar kommer denna gräns höjas och andra lösningar för större material kan komma på plats.

Kontroll av data

Det är viktigt att forskningsdata som förmedlas genom SND:s forskningsdataportal kan förstås och återanvändas av andra. För att garantera detta behöver ett antal åtgärder som redovisas nedan genomföras.

Forskningsdata som laddas ned eller förmedlas via SND:s forskningsdataportal ska ha genomgått följande kontroller:

  • Kontroll att leveransen är komplett: Leveransen innehåller alla data avsedda för förmedling tillsammans med dokumentation som är nödvändig för återanvändning.
  • Viruskontroll: Levererade filer innehåller inga virus.
  • Kontroll av läsbarhet: Levererade filer går att öppna och läsa.
  • Filerna är i ett lämpligt format för återanvändning och tillgängliggörande.
  • Originalversionen av data finns sparad på en säker lagringsyta.


Rent praktiskt kan man göra så här:

  1. Öppna studien via SND:s gränssnitt
  2. Ladda ner filer och kontrollera om:
    1. Kompletthet, förståbarhet, dokumentation. Är datasetet tillräckligt komplett för att det ska vara möjligt att förstå vad det innefattar?
    2. Alla filer går att öppna. Är det för många filer kan man göra ett urval. Öppna gärna alla olika filtyper. Är man lite tekniskt lagd så kan en annan lösning vara att skriva ett script som testar att alla filer i en mapp går att öppna. Denna lösning är dock lämpligast när alla filer är av samma, eller ett fåtal olika, filformat och beroende på formatet kan det vara svårt att genomföra.
    3. Finns alla nödvändiga filer? Information om kompletthet kan fås från metadata om datasetet och tillhörande dokumentation. Ofta deponeras bara en del av datamaterialet som producerades under forskningsprojektet. Så länge materialet går att återanvända kan man fortsätta processen med att publicera det, men forskaren kan alltid uppmanas att publicera mer än vad som krävs av till exempel tidskriften i syfte att göra data mer rättvisa och underlätta för sekundäranvändare.
    4. Finns det tillräckligt med metadata för att kunna publicera materialet? Minimikraven för publicering av metadata i SND:s forskningsdataportal uppfylls automatiskt genom att obligatoriska fält är ifyllda, men det är upp till varje DAU att se om det behövs mer metadata. Även om det går att publicera datamaterialet med befintliga metadata kan det vara värt att be forskaren komplettera fält som anses vara viktiga för återanvändning. Ibland kan metadata kompletteras från dokumentationen, men det beror på arbetssättet och arbetsmängden för DAU:en - Hur mycket förväntas forskaren göra vs hur mycket förväntas DAU:en göra.
    5. Finns det tillräcklig dokumentation? Vad som är tillräcklig information kan skilja sig åt mellan olika ämnesområden. Inom arkeologi kan lämplig dokumentation vara en artikel, en undersökningsrapport eller annat material som ger kontext till datamaterialet och som beskriver metodiken bakom datainsamlandet/skapandet. Det är viktigt att det finns dokumentation som beskriver innehållet av datamaterialet - t.ex. fältbeskrivningar om det finns tabulära data, beskrivningar av fotografier, osv. I de fall data består av enkätundersökningar eller intervjuer är det av stort värde att de frågeformulär som har använts finns tillgängliga.
    6. Data som laddas upp via Mitt SND kontrolleras för virus.

Kontroll av läsbarhet

Forskningsmaterial som har deponeras vid SND ska lagras på sådant sätt att framtida användning möjliggörs. Detta innebär att åtgärder görs på flera plan. Bitstream: Läsbarhet – att lagringsmedium är kompatibel med gällande hårdvara eller migreras vid behov. Filnivå: Format – att teckentabeller, komprimeringsalgoritmer och binärkod är läsbar och begriplig, samt att formatet är kompatibelt med operativsystemet. Representation: Att den samling filer som tillsammans utgör en begriplig enhet bevaras, tillsammans med en innehållsbeskrivning (t.ex. webbsida, foto, text).

Kontroll av förståbarhet

Förutom originaldata/rådata är det nödvändigt att den dokumentation som genererats under forskningsprocessen, och som är nödvändig för att en sekundäranvändare i framtiden ska kunna förstå forskningsmaterialet, levereras tillsammans med data. Exempel på dokumentation är kodböcker, frågeformulär, publikationer, undersökningsrapporter och tekniska rapporter.

Notera att kravet är att data måste finnas lagrade på en säker lagringsyta. Däremot föreligger inget krav från SND på någon särskild lagringslösning, eftersom ansvaret för lagring ligger på respektive lärosäte. Observera att för certifiering finns det särskilda krav på lagringslösningar och strukturer vilka SND kan rådge kring om så önskas.