Hello,

Really grateful for any help with a data management question.

My dataex is below: Basically unique ID number and then record number. Then diagnosis variables diag_code_1 - diag_code_x (up to 8 for some patiends). diag_code_1 is a combination of 2-5 numbers and letters representing an ICD9 code. The majority of these variables are repeats.

I am trying to reshape long to wide. I want my table to have one row for each ID and record and for this row to contain (in no specific order) all of the diag_code for that ID row combination, ideally without duplicates.

I had originally used the command

reshape wide diag_cd_1 diag_cd_2 diag_cd_3 diag_cd_4 diag_cd_5 diag_cd_6 diag_cd_7 diag_cd_8 diag_cd_9, i(idrecord) j(obs)

However my dataset is very large and this kept crashing the server.

Is there a more efficient way to do this command? Any variables which are missing data are unimportant to me so can be deleted. Any repeated diagnoses within an ID and record are redundant.

This is my data:

Code:
* Example generated by -dataex-. To install: ssc install dataex
clear
input str36 id double record str39 idrecord str8(diag_cd_1 diag_cd_2 diag_cd_3 diag_cd_4 diag_cd_5 diag_cd_6 diag_cd_7 diag_cd_8 diag_cd_9)
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "4280"  "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 1 "33333333EEjDjPf_1" "5859"  "40390" "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "2512"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "5856"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "5856"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "5856"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "5856"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "5856"  ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "25001" ""      "" "" "" "" "" "" ""
"33333333EEjDjPf" 2 "33333333EEjDjPf_2" "5856"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "486"   ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "5856"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "7862"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "5856"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "78609" ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "7862"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 1 "33333333gEEPfrg_1" "7862"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 2 "33333333gEEPfrg_2" "78650" ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 2 "33333333gEEPfrg_2" "4293"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 2 "33333333gEEPfrg_2" "78930" ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 2 "33333333gEEPfrg_2" "5750"  ""      "" "" "" "" "" "" ""
"33333333gEEPfrg" 3 "33333333gEEPfrg_3" "5856"  ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 1 "33333333jPfr3E8_1" "6826"  ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 1 "33333333jPfr3E8_1" "6826"  "5856"  "" "" "" "" "" "" ""
"33333333jPfr3E8" 1 "33333333jPfr3E8_1" "7823"  ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 1 "33333333jPfr3E8_1" "6826"  "40391" "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "7931"  ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "78959" ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "5693"  ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "7863"  ""      "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "7863"  "5856"  "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "40391" "5856"  "" "" "" "" "" "" ""
"33333333jPfr3E8" 2 "33333333jPfr3E8_2" "7863"  "7580"  "" "" "" "" "" "" ""
"3333333833K83fg" 1 "3333333833K83fg_1" "5289"  "7840"  "" "" "" "" "" "" ""
"3333333833K83fg" 1 "3333333833K83fg_1" "0542"  "V420"  "" "" "" "" "" "" ""
"3333333833K83fg" 1 "3333333833K83fg_1" "5289"  "7840"  "" "" "" "" "" "" ""
"3333333833K83fg" 1 "3333333833K83fg_1" "0542"  "V420"  "" "" "" "" "" "" ""
"3333333838ff38f" 1 "3333333838ff38f_1" "5856"  ""      "" "" "" "" "" "" ""
"3333333838ff38f" 1 "3333333838ff38f_1" "5856"  ""      "" "" "" "" "" "" ""
"3333333838ff38f" 1 "3333333838ff38f_1" "5856"  ""      "" "" "" "" "" "" ""
"333333383DPDKEP" 1 "333333383DPDKEP_1" "2851"  "4019"  "" "" "" "" "" "" ""
"333333383DPDKEP" 1 "333333383DPDKEP_1" "6238"  "25040" "" "" "" "" "" "" ""
"333333383DPDKEP" 2 "333333383DPDKEP_2" "99656" ""      "" "" "" "" "" "" ""
"333333383DPDKEP" 2 "333333383DPDKEP_2" "55320" ""      "" "" "" "" "" "" ""
"333333383DPDKEP" 2 "333333383DPDKEP_2" "99656" ""      "" "" "" "" "" "" ""
"333333383DPDKEP" 2 "333333383DPDKEP_2" "5856"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "V5844" "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5849"  "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5849"  "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "V5844" "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5859"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5849"  "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5859"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "V582"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "V5844" "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5859"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 1 "333333383DgEr8f_1" "5849"  "V420"  "" "" "" "" "" "" ""
"333333383DgEr8f" 2 "333333383DgEr8f_2" "78903" "59970" "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "31401" ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "5856"  "5859"  "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "78900" "28419" "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "5859"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "40391" "28419" "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "5859"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "591"   "78959" "" "" "" "" "" "" ""
"333333383DgEr8f" 3 "333333383DgEr8f_3" "4019"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 4 "333333383DgEr8f_4" "31401" ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 4 "333333383DgEr8f_4" "4019"  "5859"  "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "78039" "78097" "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "31401" ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "4293"  "5856"  "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "4293"  "5856"  "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "99681" "5856"  "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "4019"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "V812"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "5859"  "V4511" "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "78097" "5859"  "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "4019"  ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "4293"  "5856"  "" "" "" "" "" "" ""
"333333383DgEr8f" 5 "333333383DgEr8f_5" "78039" ""      "" "" "" "" "" "" ""
"333333383DgEr8f" 6 "333333383DgEr8f_6" "5859"  "V4511" "" "" "" "" "" "" ""
"333333383DgEr8f" 6 "333333383DgEr8f_6" "3453"  "4019"  "" "" "" "" "" "" ""
"333333383DgEr8f" 6 "333333383DgEr8f_6" "5859"  "V4511" "" "" "" "" "" "" ""
end
Very grateful for any help with this.