phyto_test.Rに対応したR Notebook

第4章の内容

4.1 エクセルを使ってメタデータをまとめる

#メタデータの取り込み
phyto_metadata <- read.csv("metadata_phyto.csv", header = T) #load file list
#読み込まれた内容の確認
phyto_metadata

#年月日に何種類あるか、一覧を確認
levels(as.factor(phyto_metadata$YYMMDD))

[1] "D180316" "D181004" "D181025" "D190425" "D190520"

##年月日に何種類あるか、その種類数を計算
length(levels(as.factor(phyto_metadata$YYMMDD)))

[1] 5

4.2 Rプログラミングの基礎(if, loop, 関数)

https://tksmiki.github.io/test_R/chapter04_05/chapter04_4-2.nb.html

4.3 メタデータを活用した大量のデータの自動読み込み

植物プランクトンの種組成データを読み込む

#ファイル名の一覧を確認してみる。
phyto_metadata$file

 [1] "20180316_1_ryuko.csv" "20180316_2_ryuko.csv" "20181004_1_ryuko.csv"
 [4] "20181004_2_ryuko.csv" "20181004_3_ryuko.csv" "20181025_1_ryuko.csv"
 [7] "20181025_2_ryuko.csv" "20190425_1_ryuko.csv" "20190425_2_ryuko.csv"
[10] "20190425_3_ryuko.csv" "20190425_4_ryuko.csv" "20190425_5_ryuko.csv"
[13] "20190520_1_ryuko.csv" "20190520_2_ryuko.csv" "20190520_3_ryuko.csv"

####load each data###############
#空のリストを生成する
raw_data <- list() #prepare empty list
#必要なファイル数をlength()関数を使って計算し, no_sampleに代入する
no_sample <- length(phyto_metadata$file)
for(i in 1:no_sample) {#１からno_sampleまでループを繰り返す
  print(i)　#今何番目のループかがわかるようにiの値をコンソールに出力する
  #phyto_metadata$fileベクトルの各要素からファイル名を指定してデータを読み込み，リストの各要素に代入していく
  raw_data[[i]] <- read.csv(as.character(phyto_metadata$file[i]), header = T)
}

[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
[1] 6
[1] 7
[1] 8
[1] 9
[1] 10
[1] 11
[1] 12
[1] 13
[1] 14
[1] 15

読み込まれたリストの3番目の要素について，その冒頭部分だけをhead()関数を使って確認してみる

head(raw_data[[3]])

全体を確認してもよい

raw_data[[3]]

ここから第5章の内容

5.1.1 エクセルを用いたデータ保存での保存形式のミス

エラーが起きるように意図したメタデータファイルを読み込んでエラーを再現

###For Chapter 5: Section 5.1#######
phyto_metadata <- read.csv("metadata_phyto_e1.csv", header = T) #load file list

Rのバージョンが古いときのみ、次のfor loopでエラーが生じる

####load each data###############
raw_data <- list() #prepare empty list
no_sample <- length(phyto_metadata$file)
for(i in 1:no_sample) {
  print(i)
  raw_data[[i]] <- read.csv(as.character(phyto_metadata$file[i]), header = T)
}

[1] 1
[1] 2
[1] 3

Error in make.names(col.names, unique = TRUE) : 
  invalid multibyte string at '<ef>ｻ<bf>type'

エラーが起きている3番目のファイルは何？

phyto_metadata$file[3]

[1] "20181004_1_ryuko_e1.csv"

“20181004_1_ryuko_e1.csv”の保存形式を「CSV(コンマ区切り)(*.csv)」に変えたのちもう一度ファイルを読み込む

for(i in 1:no_sample) {
  print(i)
  raw_data[[i]] <- read.csv(as.character(phyto_metadata$file[i]), header = T)
}

[1] 1
[1] 2
[1] 3
[1] 4
[1] 5
[1] 6
[1] 7
[1] 8
[1] 9
[1] 10
[1] 11
[1] 12
[1] 13
[1] 14
[1] 15

5.1.2 エクセルにデータを整理した時に余分な行や列が追加されてしまうミス

データ読み込み先であるraw_data(リスト)の5番目がおかしいことに気付くはず（意図的なエラー）

raw_data[[5]]

37行目と4列目を取り除き[-37, -4], 取り除いたものを上書きすればよい

raw_data[[5]] <- raw_data[[5]][-37, -4]
raw_data[[5]] #上書き後のデータを確認

5.2.1に進む前に

もしもいろいろ自分でコードの実行を試してオブジェクトの中身が変わってしまった場合、以下のコードをコンソールで実行すれば著者が意図したオブジェクトを使って、5.2.1以降のプランクトンデータの整頓ができます

raw_data <- readRDS("plankton_data.obj")

5.2.1 プランクトンデータを整頓する

名前の付け替え

######For Section 5.2.1############### 
#change colnames
for(i in 1:length(phyto_metadata$file)) {
  colnames(raw_data[[i]])[3] <- as.character(phyto_metadata$file[i])
}

小さなエラー処理：種名に余分なスペースが入っている

raw_data[[6]]$species[16]

[1] " Microcystis viridis"

冒頭のスペースを削除する

raw_data[[6]]$species[16] <- "Microcystis viridis"

データのマージ

リストraw_dataの要素１と要素２をマージする。ただし一列目は不要なので[, c(-1)]で削除する

merged_data <- merge(raw_data[[1]][,c(-1)], raw_data[[2]][,c(-1)], all = T)

上の作業をループで繰り返してすべてマージする。ループの開始点(i = 3)に注意

#looping merge
for(i in 3:length(phyto_metadata$file)) {
  merged_data <- merge(merged_data, raw_data[[i]][,c(-1)], all = T)
}

マージ後のデータを確認

View(merged_data)
head(merged_data)

マージしたデータの整頓

NAをゼロに置き換える

#convert all NA to zero　全てのNAをゼロに置き換える
merged_data[is.na(merged_data)] <- 0
#置き換え後のデータの確認
head(merged_data)

データの整頓

#copy dataframe to new dataframe #"merged_data"をこれ以上いじらないように別の名前のオブジェクトに内容をコピーする
species_ryuko_data <- merged_data
#copy species name to row names
#種名を行名に代入する
rownames(species_ryuko_data) <- species_ryuko_data$species
#remove the redundant info
#一列目と行名の内容が同じ(=冗長, redundant)なので、一列目を削除して同じオブジェクトに上書き
species_ryuko_data <- species_ryuko_data[,-1]

#transpose　tidy形式のデータにするため行と列を入れ替える
species_ryuko_data <- as.data.frame(t(species_ryuko_data))

整頓後のデータの確認

View(species_ryuko_data)
head(species_ryuko_data)

#check class, ちゃんと個体数が数値(numeric)として認識されているかを確認する
class(species_ryuko_data[,2])

[1] "numeric"