“File not loaded completely” atau “The data could not be loaded completely because the maximum number of characters per cell was exceeded” muncul apabila terdapat sel yang ukurannya melebihi batasan jumlah karakter yang diperbolehkan di dalam suatu sel pada Excel / spreadsheet ketika membuka berkas CSV dengan Excel / Spreadsheet.
Sel Melebihi Kapasitas Excel / Spreadsheet
Data yang diperoleh dari suatu sumber terkadang berupa CSV dan terkadang perlu diolah menggunakan excel / spreadsheet agar data tersebut dapat disimpan di database. Namun, terkadang teksnya melebihi batas maksimal jumlah karakter dalam 1 sel. Bagaimana solusinya?
— Manipulasi CSV Dengan Sel Melebihi Kapasitas Excel / Spreadsheet
Powershell dan CSV
Powershell memiliki fitur bawaan yang dapat digunakan untuk mengolah berkas dengan format CSV. Fitur ini dapat digunakan untuk mengubah format kolom CSV ke dalam format baru, terutama untuk kolom dengan karakter yang melebihi batasan excel/spreadsheet.
Proses yang berjalan adalah membaca berkas CSV ke dalam objek dengan cmdlet Import-Csv, kemudian melakukan manipulasi dengan cmdlet Select (Select-Object) dan hasilnya disimpan ke dalam berkas CSV baru dengan cmdlet Export-CSV.
Testing
Contoh berkas CSV
#D:\test.csv
id, lokasi, koordinat
1, area A, "(1.2345 0.23441, -4.524 3.23131, 0.142424 2.3131), (11.2345 10.23441, 6.524 13.23131, 10.142424 12.3131)"
2, area B, "(100.45424 105.23424, 110.52423 105.23424, 110.52423 120.2332, 100.45424 120.2332)"Tampilkan di layar 5 baris pertama
PS D:> Import-Csv '.\test.txt' | select -First 5 @{label="query";expression={"update tabel set koordinat=ST_PolygonFromText(""POLYGON(" + $_.koordinat + ")"" where id=" + $_.id + ";"}}
query
-----
update tabel set koordinat=ST_PolygonFromText("POLYGON((1.2345 0.23441, -4.524 3.23131, 0.142424 2.3131), (11.2345 10.23441, 6.524 13.23131, 10.142424 12.3131))" where id=1;
update tabel set koordinat=ST_PolygonFromText("POLYGON((100.45424 105.23424, 110.52423 105.23424, 110.52423 120.2332, 100.45424 120.2332))" where id=2;Percobaan dilakukan sampai didapatkan hasil yang sesuai dengan harapan.
Convert CSV
Apabila sudah mendapatkan format yang sesuai, maka hasil dapat disimpan ke dalam berkas CSV
PS D:> Import-Csv '.\test.txt' | select -First 5 @{label="query";expression={"update tabel set koordinat=ST_PolygonFromText(""POLYGON(" + $_.koordinat + ")"" where id=" + $_.id + ";"}} | Export-Csv -Path .\test-out.csv -NoTypeInformationDemikian, semoga bermanfaat. [bst]
Sumber:
- https://learn.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/select-object?view=powershell-7.2
- https://learn.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/export-csv?view=powershell-7.2
- https://learn.microsoft.com/en-us/powershell/module/microsoft.powershell.utility/import-csv?view=powershell-7.2
