Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity.
Autor(a) principal: | |
---|---|
Data de Publicação: | 2023 |
Outros Autores: | , , , , , |
Tipo de documento: | Artigo |
Idioma: | por |
Título da fonte: | Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) |
Texto Completo: | http://www.alice.cnptia.embrapa.br/alice/handle/doc/1160100 http://dx.doi.org/10.14393/rbcv75n0a-68733 |
Resumo: | Brazilian agricultural production presents high spatial diversity, challenging the conception of public policies. This article proposes an approach for grouping Brazilian municipalities according to their agricultural production. We combine a feature extraction using autoencoders and clustering based on k-means and Self-Organizing Maps. We used panel data from IBGE’s annual estimates of the production value of permanent and temporary crops, animal products, aquaculture, plant extractivism, forestry, planted areas, and herd population between 1999 and 2018. We analyzed different structures of simple stacked and incomplete autoencoders, varying the number of layers and neurons in each, and evaluated the asymmetric exponential linear loss function to handle the sparse data. We applied the Isomap, Kernel PCA, Truncated SVD, and MDS dimensionality reduction methods for comparative purposes. Results showed that the autoencoders could extract characteristics from the transformed raw data to allow the clustering of municipalities to reveal regional and even intra-regional patterns. The autoencoders improved comparative performance as the intrinsic dimensionality increased. A produção agrícola brasileira apresenta elevada diversidade espacial, o que desafia a concepção de políticas públicas. Este artigo propõe uma abordagem de agrupamento dos municípios brasileiros segundo sua produção agrícola. Combinamos extração de características utilizando autoencoders e clusterização baseada em k-médias e Mapas Auto Organizáveis. Utilizamos os dados em painel, entre 1999 e 2018, das estimativas anuais do IBGE sobre valor da produção de culturas permanentes, temporárias, produtos de origem animal, aquicultura, extrativismo vegetal, silvicultura, área plantada e efetivo de animais. Analisamos diferentes estruturas de autoencoders simples empilhados e incompletos, variando o número de camadas e neurônios em cada uma delas, e avaliamos a função de perda linear exponencial assimétrica para lidar com os dados esparsos. Comparamos os autoencoders com os métodos de redução de dimensionalidade Isomap, Kernel PCA, Truncated SVD e MDS. Os resultados mostraram que os autoencoders conseguiram extrair características dos dados brutos de forma a permitir a clusterização dos municípios revelasse padrões regionais e intra-regionais. Os autoencoders melhoram o desempenho comparativo à medida que a dimensionalidade intrínseca aumenta |
id |
EMBR_071b4f58a1fb8f1155dd5a24cc9d6534 |
---|---|
oai_identifier_str |
oai:www.alice.cnptia.embrapa.br:doc/1160100 |
network_acronym_str |
EMBR |
network_name_str |
Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) |
repository_id_str |
2154 |
spelling |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity.Divisão espacialAnalise espacialProdução AgrícolaPolíticas PúblicasMapaZoneamento AgrícolaGeospatial data processingSpatial dataBrazilian agricultural production presents high spatial diversity, challenging the conception of public policies. This article proposes an approach for grouping Brazilian municipalities according to their agricultural production. We combine a feature extraction using autoencoders and clustering based on k-means and Self-Organizing Maps. We used panel data from IBGE’s annual estimates of the production value of permanent and temporary crops, animal products, aquaculture, plant extractivism, forestry, planted areas, and herd population between 1999 and 2018. We analyzed different structures of simple stacked and incomplete autoencoders, varying the number of layers and neurons in each, and evaluated the asymmetric exponential linear loss function to handle the sparse data. We applied the Isomap, Kernel PCA, Truncated SVD, and MDS dimensionality reduction methods for comparative purposes. Results showed that the autoencoders could extract characteristics from the transformed raw data to allow the clustering of municipalities to reveal regional and even intra-regional patterns. The autoencoders improved comparative performance as the intrinsic dimensionality increased. A produção agrícola brasileira apresenta elevada diversidade espacial, o que desafia a concepção de políticas públicas. Este artigo propõe uma abordagem de agrupamento dos municípios brasileiros segundo sua produção agrícola. Combinamos extração de características utilizando autoencoders e clusterização baseada em k-médias e Mapas Auto Organizáveis. Utilizamos os dados em painel, entre 1999 e 2018, das estimativas anuais do IBGE sobre valor da produção de culturas permanentes, temporárias, produtos de origem animal, aquicultura, extrativismo vegetal, silvicultura, área plantada e efetivo de animais. Analisamos diferentes estruturas de autoencoders simples empilhados e incompletos, variando o número de camadas e neurônios em cada uma delas, e avaliamos a função de perda linear exponencial assimétrica para lidar com os dados esparsos. Comparamos os autoencoders com os métodos de redução de dimensionalidade Isomap, Kernel PCA, Truncated SVD e MDS. Os resultados mostraram que os autoencoders conseguiram extrair características dos dados brutos de forma a permitir a clusterização dos municípios revelasse padrões regionais e intra-regionais. Os autoencoders melhoram o desempenho comparativo à medida que a dimensionalidade intrínseca aumentaMARCOS AURELIO SANTOS DA SILVA, CPATC; LEONARDO NOGUEIRA MATOS, UFS; GASTÃO FLORÊNCIO MIRANDA JUNIOR, UFS; FLAVIO EMANUEL DE OLIVEIRA SANTOS, UFS; MARCIA HELENA GALINA DOMPIERI, CNPM; FÁBIO RODRIGUES DE MOURA; FABRÍCIA KAROLLYNE SANTOS RESENDE, UFS.SILVA, M. A. S. daMATOS, L. N.MIRANDA JUNIOR, G. F.SANTOS, F. E. de O.DOMPIERI, M. H. G.MOURA, F. R. deRESENDE, F. K. S.2023-12-20T14:28:42Z2023-12-20T14:28:42Z2023-12-202023info:eu-repo/semantics/publishedVersioninfo:eu-repo/semantics/articleRevista Brasileira de Cartografia, v. 75, 2023.1808-0936http://www.alice.cnptia.embrapa.br/alice/handle/doc/1160100http://dx.doi.org/10.14393/rbcv75n0a-68733porinfo:eu-repo/semantics/openAccessreponame:Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice)instname:Empresa Brasileira de Pesquisa Agropecuária (Embrapa)instacron:EMBRAPA2023-12-20T14:28:42Zoai:www.alice.cnptia.embrapa.br:doc/1160100Repositório InstitucionalPUBhttps://www.alice.cnptia.embrapa.br/oai/requestopendoar:21542023-12-20T14:28:42falseRepositório InstitucionalPUBhttps://www.alice.cnptia.embrapa.br/oai/requestcg-riaa@embrapa.bropendoar:21542023-12-20T14:28:42Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) - Empresa Brasileira de Pesquisa Agropecuária (Embrapa)false |
dc.title.none.fl_str_mv |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
title |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
spellingShingle |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. SILVA, M. A. S. da Divisão espacial Analise espacial Produção Agrícola Políticas Públicas Mapa Zoneamento Agrícola Geospatial data processing Spatial data |
title_short |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
title_full |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
title_fullStr |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
title_full_unstemmed |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
title_sort |
Evaluating autoencoders as a dimensionality reduction mechanism to support clustering Brazilian Agricultural Diversity. |
author |
SILVA, M. A. S. da |
author_facet |
SILVA, M. A. S. da MATOS, L. N. MIRANDA JUNIOR, G. F. SANTOS, F. E. de O. DOMPIERI, M. H. G. MOURA, F. R. de RESENDE, F. K. S. |
author_role |
author |
author2 |
MATOS, L. N. MIRANDA JUNIOR, G. F. SANTOS, F. E. de O. DOMPIERI, M. H. G. MOURA, F. R. de RESENDE, F. K. S. |
author2_role |
author author author author author author |
dc.contributor.none.fl_str_mv |
MARCOS AURELIO SANTOS DA SILVA, CPATC; LEONARDO NOGUEIRA MATOS, UFS; GASTÃO FLORÊNCIO MIRANDA JUNIOR, UFS; FLAVIO EMANUEL DE OLIVEIRA SANTOS, UFS; MARCIA HELENA GALINA DOMPIERI, CNPM; FÁBIO RODRIGUES DE MOURA; FABRÍCIA KAROLLYNE SANTOS RESENDE, UFS. |
dc.contributor.author.fl_str_mv |
SILVA, M. A. S. da MATOS, L. N. MIRANDA JUNIOR, G. F. SANTOS, F. E. de O. DOMPIERI, M. H. G. MOURA, F. R. de RESENDE, F. K. S. |
dc.subject.por.fl_str_mv |
Divisão espacial Analise espacial Produção Agrícola Políticas Públicas Mapa Zoneamento Agrícola Geospatial data processing Spatial data |
topic |
Divisão espacial Analise espacial Produção Agrícola Políticas Públicas Mapa Zoneamento Agrícola Geospatial data processing Spatial data |
description |
Brazilian agricultural production presents high spatial diversity, challenging the conception of public policies. This article proposes an approach for grouping Brazilian municipalities according to their agricultural production. We combine a feature extraction using autoencoders and clustering based on k-means and Self-Organizing Maps. We used panel data from IBGE’s annual estimates of the production value of permanent and temporary crops, animal products, aquaculture, plant extractivism, forestry, planted areas, and herd population between 1999 and 2018. We analyzed different structures of simple stacked and incomplete autoencoders, varying the number of layers and neurons in each, and evaluated the asymmetric exponential linear loss function to handle the sparse data. We applied the Isomap, Kernel PCA, Truncated SVD, and MDS dimensionality reduction methods for comparative purposes. Results showed that the autoencoders could extract characteristics from the transformed raw data to allow the clustering of municipalities to reveal regional and even intra-regional patterns. The autoencoders improved comparative performance as the intrinsic dimensionality increased. A produção agrícola brasileira apresenta elevada diversidade espacial, o que desafia a concepção de políticas públicas. Este artigo propõe uma abordagem de agrupamento dos municípios brasileiros segundo sua produção agrícola. Combinamos extração de características utilizando autoencoders e clusterização baseada em k-médias e Mapas Auto Organizáveis. Utilizamos os dados em painel, entre 1999 e 2018, das estimativas anuais do IBGE sobre valor da produção de culturas permanentes, temporárias, produtos de origem animal, aquicultura, extrativismo vegetal, silvicultura, área plantada e efetivo de animais. Analisamos diferentes estruturas de autoencoders simples empilhados e incompletos, variando o número de camadas e neurônios em cada uma delas, e avaliamos a função de perda linear exponencial assimétrica para lidar com os dados esparsos. Comparamos os autoencoders com os métodos de redução de dimensionalidade Isomap, Kernel PCA, Truncated SVD e MDS. Os resultados mostraram que os autoencoders conseguiram extrair características dos dados brutos de forma a permitir a clusterização dos municípios revelasse padrões regionais e intra-regionais. Os autoencoders melhoram o desempenho comparativo à medida que a dimensionalidade intrínseca aumenta |
publishDate |
2023 |
dc.date.none.fl_str_mv |
2023-12-20T14:28:42Z 2023-12-20T14:28:42Z 2023-12-20 2023 |
dc.type.driver.fl_str_mv |
info:eu-repo/semantics/publishedVersion info:eu-repo/semantics/article |
format |
article |
status_str |
publishedVersion |
dc.identifier.uri.fl_str_mv |
Revista Brasileira de Cartografia, v. 75, 2023. 1808-0936 http://www.alice.cnptia.embrapa.br/alice/handle/doc/1160100 http://dx.doi.org/10.14393/rbcv75n0a-68733 |
identifier_str_mv |
Revista Brasileira de Cartografia, v. 75, 2023. 1808-0936 |
url |
http://www.alice.cnptia.embrapa.br/alice/handle/doc/1160100 http://dx.doi.org/10.14393/rbcv75n0a-68733 |
dc.language.iso.fl_str_mv |
por |
language |
por |
dc.rights.driver.fl_str_mv |
info:eu-repo/semantics/openAccess |
eu_rights_str_mv |
openAccess |
dc.source.none.fl_str_mv |
reponame:Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) instname:Empresa Brasileira de Pesquisa Agropecuária (Embrapa) instacron:EMBRAPA |
instname_str |
Empresa Brasileira de Pesquisa Agropecuária (Embrapa) |
instacron_str |
EMBRAPA |
institution |
EMBRAPA |
reponame_str |
Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) |
collection |
Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) |
repository.name.fl_str_mv |
Repositório Institucional da EMBRAPA (Repository Open Access to Scientific Information from EMBRAPA - Alice) - Empresa Brasileira de Pesquisa Agropecuária (Embrapa) |
repository.mail.fl_str_mv |
cg-riaa@embrapa.br |
_version_ |
1794503554062352384 |