Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce
En esta investigación se construyó una aplicación Web que permite hacer seguimiento de los productos ofertados en cuatro plataformas de comercio electrónico con presencia en Colombia (Mercado Libre Colombia, Amazon, eBay y Linio Colombia) por un periodo específico de tiempo, con el objetivo de prede...
- Autores:
-
Galvis Quintero, Jorge Luis
- Tipo de recurso:
- Fecha de publicación:
- 2015
- Institución:
- Universidad Autónoma de Bucaramanga - UNAB
- Repositorio:
- Repositorio UNAB
- Idioma:
- spa
- OAI Identifier:
- oai:repository.unab.edu.co:20.500.12749/3533
- Acceso en línea:
- http://hdl.handle.net/20.500.12749/3533
- Palabra clave:
- Systems Engineering
Free software
Electronic commerce
Investigations
Analysis
Ingeniería de sistemas
Software libre
Comercio electrónico
Investigaciones
Análisis
- Rights
- openAccess
- License
- http://creativecommons.org/licenses/by-nc-nd/2.5/co/
| id |
UNAB2_5cc9f25c1210691d12dbda12fc8bc6ed |
|---|---|
| oai_identifier_str |
oai:repository.unab.edu.co:20.500.12749/3533 |
| network_acronym_str |
UNAB2 |
| network_name_str |
Repositorio UNAB |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| dc.title.translated.eng.fl_str_mv |
Automatic identification of business trends through analysis of e-commerce sites |
| title |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| spellingShingle |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce Systems Engineering Free software Electronic commerce Investigations Analysis Ingeniería de sistemas Software libre Comercio electrónico Investigaciones Análisis |
| title_short |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| title_full |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| title_fullStr |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| title_full_unstemmed |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| title_sort |
Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce |
| dc.creator.fl_str_mv |
Galvis Quintero, Jorge Luis |
| dc.contributor.advisor.none.fl_str_mv |
Calderón Benavides, Liliana |
| dc.contributor.author.spa.fl_str_mv |
Galvis Quintero, Jorge Luis |
| dc.contributor.cvlac.none.fl_str_mv |
Calderón Benavides, Liliana [0000068900] |
| dc.contributor.googlescholar.none.fl_str_mv |
Calderón Benavides, Liliana [XihGBWoAAAAJ] |
| dc.contributor.orcid.none.fl_str_mv |
Calderón Benavides, Liliana [0000-0001-8658-9036] |
| dc.contributor.researchgroup.spa.fl_str_mv |
Grupo de Investigación Tecnologías de Información - GTI Grupo de Investigaciones Clínicas |
| dc.subject.keywords.eng.fl_str_mv |
Systems Engineering Free software Electronic commerce Investigations Analysis |
| topic |
Systems Engineering Free software Electronic commerce Investigations Analysis Ingeniería de sistemas Software libre Comercio electrónico Investigaciones Análisis |
| dc.subject.lemb.spa.fl_str_mv |
Ingeniería de sistemas Software libre Comercio electrónico Investigaciones Análisis |
| description |
En esta investigación se construyó una aplicación Web que permite hacer seguimiento de los productos ofertados en cuatro plataformas de comercio electrónico con presencia en Colombia (Mercado Libre Colombia, Amazon, eBay y Linio Colombia) por un periodo específico de tiempo, con el objetivo de predecir sus comportamientos en el futuro reciente y comparar estos contra los comportamientos reales. El problema que intenta resolver esta investigación es: ¿cómo determinar de forma automática las tendencias comerciales que surgen en sitios de comercio electrónico con presencia en Colombia? El seguimiento a los productos se hizo a través de tareas programadas (crons) que extraen datos específicos (precio, cantidad vendida, cantidad disponible) de dichas plataformas a través del consumo de sus APIs o con la técnica de Web Scraping, una vez recolectados los datos y, con el método estadístico de los mínimos cuadrados, se proyectó su comportamiento por el mismo nú - mero de días que duró su recolección, cuando una tarea programada termina su objetivo de extracción, se visualizan los resultados con respecto a las variables extraídas en la página de estadística individual de cada producto. Los entregables obtenidos como resultado de la ejecución de las fases de la investigación fueron: La especificación DOM/API de cada sitio seleccionado: contiene una descripción general del funcionamiento de cada sitio seleccionado a nivel de API o a nivel de DOM, esto de acuerdo a la estrategia de extracción seleccionada para cada sitio. Modelo del repositorio de datos: describe el modelo utilizado para almacenar los datos a extraer y los datos a graficar. Scripts de extracción y proyección de comportamientos: son un conjunto de programas esvii critos en Python que permiten la extracción de datos desde los sitios seleccionados, además de calcular su comportamiento en el futuro reciente. Interfaz Web: es una aplicación Web escrita en el framework de desarrollo Django, que permite visualizar los resultados que calcula el script de proyección de comportamiento de productos, además permite administrar las tareas programadas, los sitios y las categorías. Palabras claves: Tendencias comerciales, comercio electrónico, búsqueda de tendencias comerciales, tendencias comerciales en Internet, análisis de tendencias de e-commerce, identificación automática de tendencias comerciales, e-commerce tendencias, repositorios de tendencias comerciales, software de búsqueda de tendencias comerciales, software de tendencias comercia - les, algoritmos de tendencias comerciales, método de los mínimos cuadrados. |
| publishDate |
2015 |
| dc.date.issued.none.fl_str_mv |
2015 |
| dc.date.accessioned.none.fl_str_mv |
2020-06-26T21:35:05Z |
| dc.date.available.none.fl_str_mv |
2020-06-26T21:35:05Z |
| dc.type.driver.none.fl_str_mv |
info:eu-repo/semantics/masterThesis |
| dc.type.local.spa.fl_str_mv |
Tesis |
| dc.type.redcol.none.fl_str_mv |
http://purl.org/redcol/resource_type/TM |
| dc.identifier.uri.none.fl_str_mv |
http://hdl.handle.net/20.500.12749/3533 |
| dc.identifier.instname.spa.fl_str_mv |
instname:Universidad Autónoma de Bucaramanga - UNAB |
| dc.identifier.reponame.spa.fl_str_mv |
reponame:Repositorio Institucional UNAB |
| url |
http://hdl.handle.net/20.500.12749/3533 |
| identifier_str_mv |
instname:Universidad Autónoma de Bucaramanga - UNAB reponame:Repositorio Institucional UNAB |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.relation.references.spa.fl_str_mv |
Galvis Quintero, Jorge Luis (2015). Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce. Bucaramanga (Colombia) : Universidad Autónoma de Bucaramanga UNAB, Universitat Oberta de Catalunya UOC |
| dc.relation.references.none.fl_str_mv |
Adam, Z. (2003). e-Commerce and e-Business. E-primers. e-ASEAN Task Force, UNDP-APDIP. Modern Information Retrieval: Pearson Education. Aponte, F. (2011). Prototipo para la detección automática de perfiles de navegación de usuarios de una empresa aplicando técnicas de minería de datos y algoritmos de aprendizaje. Universidad Autónoma de Bucaramanga: Bucaramanga. Baeza, R., & Ribeiro, B. (2007). Modern Information Retrieval: Pearson Education. Baeza, R. (2011). Modern Information Retrieval, the concepts and t e chnology behind search. (2 edición). Inglaterra: Pearson Education Baeza, R. (2006). The intention behind web queries. In Crestani, F., Ferragina, P., and Sanderson, M., editors, String Processing and Information Retrieval, volume 4209 of Lecture Notes in Computer Science, chapter 9, pages 98–109. Springer Berlin Heidelberg, Berlin: Heidelberg Blankenship, J. (2011). Pro Agile .NET Development with Scrum. New York: Apress Bootstrap. (2015). Página Web. Recuperado de http://getbootstrap.com/. Caicedo, J. (2008). Aplicación de técnicas de web mining para la búsqueda de patrones de comportamiento en clientes dentro de la web en la Universidad de Nariño. Universidad Antonio Nariño: San Juan de Pasto. Calderón, L. (2011). Unsupervised Identification of the User’s Query Intent in Web Search. Universitat Pompeu Fabra: Barcelona Cámara Colombiana de Comercio Electrónico (2014). Página Web. Recuperado de: http://ccce. org.co/ Ce r i , A. ( 2 0 1 3 ) . Web Information Retrieval. Springer. Recuperado de http://itebooks. info/read/2816/ comScore (2014). Página Web. Recuperado de: http://www.comscore.com/ Dan, Shen., & Ruvini, Jean., & Somaiya, Manas., & Sundaresan, Neel. (2011). Item Categorization in the e-Commerce Domain. eBay Research Labs. San José: USA. Da-sheng, W., & Qin-fen, Y., & Li-juan, L. (2009). An Efficient Text Classification Algorithm in E-commerce Application. School of Information Engineering, Zhejiang Forestry College, Lin'an, Zhejiang: China. Debian (2015). Página Web. Recuperado de https://www.debian.org/ D i a g r a m a d e D i s p e r s i ó n ( 2 0 1 5 ) . P á g i n a We b . R e c u p e r a d o d e http://www.ub.edu/aplica_infor/spss/cap3-7.htm Django (2015). Página Web. Recuperado de https://djangoproject.com/ Documentación API Mercado Libre. (2014). Página Web. Recuperado de http://developers.mercadolibre. com D o c u m e n t a c i ó n A P I e B a y . ( 2 0 1 4 ) . P á g i n a We b . http://go.developer.ebay.com/developers/ebay/documentation-tools Documentación API Amazon. (2014). Página Web. http://docs.aws.amazon.com/AWSECommerceService/ latest/DG/Welcome.html DuckDuck. (2104). Motor de búsqueda. Recuperado de: https://duckduckgo.com/ Dumitru, H., Gibiec, M., Hariri, N., Huang, J. C., Mobasher, B., Herrera, C. C., and Mirakhorli, M. (2011). On-demand feature recommendations derived from mining public product descriptions. In Proceeding of the 33rd international conference on Software engineering, ICSE New York: USA eBay. (2014). Página Web. Recuperado de: http://www.ebay.com/ E-commerce Application. School of Information Engineering, Zhejiang Forestry College, Lin'an, Zhejiang. Flórez, E. (2002).Prototipo para la detección automática de perfiles de usuarios. Universidad Autónoma de Bucaramanga, Bucaramanga. Gginx (2015). Página Web. Recuperado de: https://www.nginx.org/en/ Gunicorn (2015). Página Web. Recuperado de: https://www.gunicorn.org/ Hafernik, Carolyn., & Jansen, Bernard. (2013). Understanding the specificity of web search queries. The Pennsylvania State University: USA. HTML. (2015). Página Web. Recuperado de https://developer.mozilla.org/en- US/docs/Web/HTML. Jansen, B. (2006). How are we searching the world wide web?: a comparison of nine search engine transaction logs. Inf. Process. JSON. (2015). Página Web. Recuperado de http://www.json.org/. Kumar, Sanjay., & Rizvi, SAM. (2011). Information Extraction using Web Usage Mining, Web Scrapping and Semantic Annotation. University School of Information Technology, GGS Indraprastha University, New Delhi: New Delhi Laudon, K., & Traver. C. (2011). E-Commerce Businness, Technology, Society. Boston: Prentice Hall. Laudon, Kennet C. Guercio Traver, Carol. (2011). E-commerce 2011: Business, Technology, Society. Pearson, Pretince Hall. Lewandowski, Dirk. (2011). The Influence of Commercial Intent of Search Results on Their Perceived Relevance. Hamburg: University of Applied Sciences. Linio Colombia. (2014). Página Web. Recuperado de: http://www.linio.com.co/ Linoff, G., & Berry, M. (2011). Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management. Wiley. Long, Bo., & Bian, J., & Dong, Anlei., & Chang, Yi. (2012). Enhancing Product Search by Best-Selling Prediction in eCommerce. Yahoo! Labs: USA. Manning, Christoper D., & Raghavan, Prabhakar., & Schütze, Hinrich. (2009). An Introduction to Information Retrieval. (Online edition) .Cambridge UP. Martínez, Ciro. (2012). Estadística y muestreo. Bogotá: Ecoe Ediciones. McCreary, D. Kelly, Ann. (2013). Making Sense of NoSQL. USA: Manning Publications. McKinney, Wes. (2012). Python for Data Analysis; Agile Tools for Real World Data. O'Really Media. Mejía Orozco, W. (2011). Prototipo computacional para identificar patrones de comportamiento de usuarios de servicio a domicilio aplicando minería de datos. Universidad Autónoma de Bucaramanga. Valledupar. Mercado Libre. (2014). (Página Web). Recuperado de http://www.mercadolibre.com.co/ M í n i m o s C u a d r a d o s . ( 2 0 1 5 ) . P á g i n a We b . R e c u p e r a d o d e http://catarina.udlap.mx/u_dl_a/tales/documentos/lad/mercado_g_ja/apendiceC.pdf MongoDB. (2015). Página Web. Recuperado de http://www.mongodb.org/ Monomi. (2014). Página Web. Recuperado de: http://monomi.co/ Murphy, J. (1999). Technical analysis of the financial markets.New York: Pretince Hall. Na, Li., & Geng, Peng., & Hang, Chen., & Jiaxing, Bao. (2013) A Prediction Study on E-commerce Orders Based on Site Search Data. University of Chinese Academy of Sciences, UCAS. Beijing, China. Newsha Ghoreishi, Seyyedeh., & Sun, Aixin. (2013). Predicting Event-Relatedness of Popular Queries. School of Computer Engineering, Nanyang Technological University. Singapore. Numpy. (2015). Página Web. Recuperado de http://www.numpy.org/ OLX. (2014). Página Web. Recuperado de www.olx.com Ouyang, L., & Dong, R., & Zou, B. (2009). Information Extraction Based on Table Area Locating for E-Commerce Websites. Central: South University Changsha Parikh, N. & Sriram, P. & Al Hasan, M. (2013). On segmentation of eCommerce Queries. Ebay Inc. San Jose, CA. Indiana University – Purdue University, Indianapolis, IN. USA. Pitt, David. (2014). Modern Web Essentials, using JavaScript and HTML5. Kansas: Keyhole Software. PostgreSQL (2015). Página Web. Recuperado de https://www.postgresql.org/. Python Library for Amazon Product Adversiting API. (2014). Página Web. Recuperado de https://github.com/yoavaviram/python-amazon-simple-product-api. Rakuten. (2014). Página Web. Recuperado de http://www.rakuten.co.jp/ http://global.rakuten.- com/en/. REST Tutorial (2015). Página Web. Recuperado de http://www.restapitutorial.com/. REST Vs SOAP (2015). Página Web. Recuperado de http://spf13.com/post/soap-vs-rest. Regresión Lineal Simple (2015). Página Web. Recuperado de http://www.vitutor.net/2/16/regresion_ lineal.html Schema of Product. (2014). Página Web. Recuperado de http://schema.org/Product Schmarzo, B. (2013). Big Data; Understanding How Data Powers Big Business. Wiley. Schrenk, M. (2012). Webbots, Spiders, and Screen Scrapers; A Guide to Developing Internet Agents with PHP/CURL: Starch Press. Scrapy. (2015). Página Web. Recuperado de http://scrapy.org/ SDK Python eBay. (2015). Página Web. Recuperado de https://github.com/timotheus/ebaysdkpython. SDK Python Mercado Libre. (2015). Página Web. Recuperado de http://github.com/mercadolibre/ python-sdk Shen, Zegian., & Sundaresan, Neel. (2011). eBay: an E-commerce marketplace as a complex network. eBay Research Labs. San Jose: CA, USA. Sieg, A., Mobasher, B., and Burke, R. (2007). Representing context in web search with ontological user profiles. In Kokinov, B., Richardson, D. C., Roth-Berghofer, T. R., Vieu L. Spink, A., Jansen, B. J., Wolfram, D., and Saracevic, T. (2002). From E-Sex to E-Commerce: Web search changes. Computer.. Stella (2015). Página Web. Recuperado de https://github.com/jorlugaqui/stella Taobao. (2014). Página Web. Recuperado de http://www.taobao.com/market/global/index_new.- php Ubuntu (2015). Página Web. Recuperado de https://www.ubuntu.com/ UTF-8. (2015). Página Web. Recuperado de http://tools.ietf.org/html/rfc3629 Usability. (2014). Pagina web. Recuperado de: Usability Best Practices For eCommerce Web- 121 sites: http://spyrestudios.com/usability-best-practices-for-ecommerce-websites/ Xiaojing, Liu., & Liwei, Zhang., & Weiqing, Wang. (2012). The Mechanism Analysis of the Impact of Ecommerce to the Changing of Economic Growth Mode. ChangChun University of Chinese Medicine. Inner Mongolia Academy of Social Science Institute of Urban Development. Shijiazhuang City Vocational College: China XML. (2015). Página Web. Recuperado de http://www.w3schools.com/xml/. Zhou, Y., Mobasher, B. (2006). Web User Segmentation Based on a Mixture of Factor Analyzers. K. Bauknecht: Berlin |
| dc.rights.uri.*.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/2.5/co/ |
| dc.rights.local.spa.fl_str_mv |
Abierto (Texto Completo) |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess http://purl.org/coar/access_right/c_abf2 |
| dc.rights.creativecommons.*.fl_str_mv |
Atribución-NoComercial-SinDerivadas 2.5 Colombia |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/2.5/co/ Abierto (Texto Completo) http://purl.org/coar/access_right/c_abf2 Atribución-NoComercial-SinDerivadas 2.5 Colombia |
| eu_rights_str_mv |
openAccess |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.coverage.spa.fl_str_mv |
Bucaramanga (Colombia) |
| dc.coverage.campus.spa.fl_str_mv |
UNAB Campus Bucaramanga |
| dc.publisher.grantor.spa.fl_str_mv |
Universidad Autónoma de Bucaramanga UNAB |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad Ingeniería |
| dc.publisher.program.spa.fl_str_mv |
Maestría en Software Libre |
| institution |
Universidad Autónoma de Bucaramanga - UNAB |
| bitstream.url.fl_str_mv |
https://repository.unab.edu.co/bitstream/20.500.12749/3533/1/2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf https://repository.unab.edu.co/bitstream/20.500.12749/3533/2/2015_Articulo_%20Galvis_Quintero_Jorge_Luis.pdf https://repository.unab.edu.co/bitstream/20.500.12749/3533/3/2015_Anexos_Galvis_Quintero_Jorge_Luis.zip https://repository.unab.edu.co/bitstream/20.500.12749/3533/4/2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf.jpg https://repository.unab.edu.co/bitstream/20.500.12749/3533/5/2015_Articulo_%20Galvis_Quintero_Jorge_Luis.pdf.jpg |
| bitstream.checksum.fl_str_mv |
2510c64a0ef2506a2561a1cc43bd6b0e 7feaddf705eb1c28db199912b29f6ba3 c4b022c79c813f70c6efed6f0049c8c4 e7cfee56badd9df4a13e318e9edb22a7 24d240c3e27c467fc02f1fc643143608 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 MD5 MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional | Universidad Autónoma de Bucaramanga - UNAB |
| repository.mail.fl_str_mv |
repositorio@unab.edu.co |
| _version_ |
1814277235561988096 |
| spelling |
Calderón Benavides, Liliana56ab193c-5e4e-480f-a813-056f32d0b3ec300Galvis Quintero, Jorge Luis62a049f2-a48e-4286-a666-404f7ee6d7a7Calderón Benavides, Liliana [0000068900]Calderón Benavides, Liliana [XihGBWoAAAAJ]Calderón Benavides, Liliana [0000-0001-8658-9036]Grupo de Investigación Tecnologías de Información - GTIGrupo de Investigaciones Clínicas2020-06-26T21:35:05Z2020-06-26T21:35:05Z2015http://hdl.handle.net/20.500.12749/3533instname:Universidad Autónoma de Bucaramanga - UNABreponame:Repositorio Institucional UNABEn esta investigación se construyó una aplicación Web que permite hacer seguimiento de los productos ofertados en cuatro plataformas de comercio electrónico con presencia en Colombia (Mercado Libre Colombia, Amazon, eBay y Linio Colombia) por un periodo específico de tiempo, con el objetivo de predecir sus comportamientos en el futuro reciente y comparar estos contra los comportamientos reales. El problema que intenta resolver esta investigación es: ¿cómo determinar de forma automática las tendencias comerciales que surgen en sitios de comercio electrónico con presencia en Colombia? El seguimiento a los productos se hizo a través de tareas programadas (crons) que extraen datos específicos (precio, cantidad vendida, cantidad disponible) de dichas plataformas a través del consumo de sus APIs o con la técnica de Web Scraping, una vez recolectados los datos y, con el método estadístico de los mínimos cuadrados, se proyectó su comportamiento por el mismo nú - mero de días que duró su recolección, cuando una tarea programada termina su objetivo de extracción, se visualizan los resultados con respecto a las variables extraídas en la página de estadística individual de cada producto. Los entregables obtenidos como resultado de la ejecución de las fases de la investigación fueron: La especificación DOM/API de cada sitio seleccionado: contiene una descripción general del funcionamiento de cada sitio seleccionado a nivel de API o a nivel de DOM, esto de acuerdo a la estrategia de extracción seleccionada para cada sitio. Modelo del repositorio de datos: describe el modelo utilizado para almacenar los datos a extraer y los datos a graficar. Scripts de extracción y proyección de comportamientos: son un conjunto de programas esvii critos en Python que permiten la extracción de datos desde los sitios seleccionados, además de calcular su comportamiento en el futuro reciente. Interfaz Web: es una aplicación Web escrita en el framework de desarrollo Django, que permite visualizar los resultados que calcula el script de proyección de comportamiento de productos, además permite administrar las tareas programadas, los sitios y las categorías. Palabras claves: Tendencias comerciales, comercio electrónico, búsqueda de tendencias comerciales, tendencias comerciales en Internet, análisis de tendencias de e-commerce, identificación automática de tendencias comerciales, e-commerce tendencias, repositorios de tendencias comerciales, software de búsqueda de tendencias comerciales, software de tendencias comercia - les, algoritmos de tendencias comerciales, método de los mínimos cuadrados.Universitat Oberta de Catalunya UOC1. Introducción 17 1.1 Antecedentes 17 1.2 Definición del problema 19 1.3 Justificación 19 1.4 Objetivos 20 1.4.1 Objetivo general 20 1.4.2 Objetivos específicos 20 1.5 Estructura del documento 20 2. Revisión bibliográfica 23 2.1 Estado del Arte 23 2.1.1 eCommerce, comportamientos y tendencias 24 2.1.2 eCommerce y clasificación 31 2.1.3 Consulta y extracción Web 32 2.2 Marco Teórico 35 2.2.1 e-Commerce 37 2.2.2 Tendencias comerciales 38 2.2.3 Information Retrieval (IR, recuperación de información) 38 2.2.4 Application Programming Interface (API) 38 2.2.5 Crawler 39 2.2.6 Buscadores Web 41 2.2.7 Ingeniería de Software 42 .2.8 Metodologías ágiles 46 2.2.9 Métodos de tendencia lineal 46 2.2.9.1 Método gráfico (diagrama de dispersión) 46 2.2.9.2 Regresión lineal simple 47 2.2.9.3 Regresión lineal por mínimos cuadrados 47 3. Marco Legal 49 4. Método de la Investigación 53 4.1 Enfoque metodológico 53 4.2 Definición de población y muestra 53 4.3 Descripción general de los sitios 54 4.3.1 Mercado libre Colombia. 54 4.3.2 Tiendas Monomi 55 4.3.3 OLX Colombia 55 4.3.4 Linio Colombia 55 4.3.5 eBay 55 4.3.6 Amazon 55 4.3.7 Tmart 55 4.3.8 BangGood 56 4.3.9 Dafiti 56 4.3.10 Éxito. 56 4.3.11 Falabella Colombia 56 4.3.12 Alibaba 56 4.3.13 Alkosto 56 .3.14 HomeCenter 57 4.4 Selección de sitios Web 57 4.4.1 Criterios de selección para los Sitios Web de comercio electrónico a modelar 57 4.4.2 Método de selección de sitios: matriz de selección 58 4.4.3 Proceso de selección de sitios de comercio electrónico 59 4.5 Técnicas de Recolección de Datos 68 4.6 Método de Proyección de Comportamiento: Mínimos Cuadrados 69 4.6.1 Criterios de selección de métodos estadísticos. 69 4.6.2 Selección del método estadístico. 70 4.7 Fases desarrolladas para la construcción del producto de software 70 4.8 Algunos Aspectos de Diseño 72 4.9 Plan de Presentación de Resultados 73 5. Resultados de la Investigación 74 5.1 Análisis DOM y API de los Sitios Seleccionados 74 5.1.1 Mercado libre 74 5.1.2 eBay 78 5.1.3 Amazon 81 5.1.4 Linio Colombia 86 5.2 Modelo del Repositorio de Datos 89 5.3 Aspectos de Diseño de la Aplicación 91 5.3.1 Aspectos visuales de la interfaz Web de consulta 91 5.3.2 Aspectos visuales de la interfaz Web de administración 93 5.3.3 Modelo de clases de la aplicación 95 5.3.4 Consideraciones de despliegue y código fuente 99 5.3.5 Ejemplos de categorías y productos 99 5.3.6 Descripción y uso de la herramienta 102 5.3.6.1 Listar sitios 102 5.3.6.2 Listar categorías 103 5.3.6.3 Listar tareas programadas 104 5.3.6.4 Listar productos 105 5.4 Descripción de resultados para un producto específico 107 6. Conclusiones 113 7. Recomendaciones y Trabajos Futuros 116 Bibliografía 118 AnexosMaestríaIn this research, a Web application was built that allows monitoring of the products offered on four e-commerce platforms with a presence in Colombia (Mercado Libre Colombia, Amazon, eBay and Linio Colombia) for a specific period of time, with the aim of predicting their behavior in the recent future and comparing these against actual behaviors. The problem that this research tries to solve is: how to automatically determine the trading trends that arise on trading sites with a presence in Colombia? The monitoring of the products was done through scheduled tasks (crons) that extract data (price, quantity sold, quantity available) of said platforms through the consumption of its APIs or with the Web Scraping technique, once the data has been collected and, with the statistical method of least squares, its behavior was projected by the same number - number of days your collection lasted, when a scheduled task finishes its extraction goal, the results are displayed with respect to the extracted variables on the statistics page individually for each product. The deliverables obtained as a result of the execution of the research phases were: The DOM/API specification of each selected site: contains a general description of the operation of each site selected at the API level or at the DOM level, this according to the extraction strategy selected for each site. Data repository model: describes the model used to store the data to be extracted and the data to be plotted. Behavior extraction and projection scripts: they are a set of programs esvii scripts in Python that allow the extraction of data from the selected sites, in addition to calculate its behavior in the recent future. Web interface: it is a Web application written in the Django development framework, which allows view the results calculated by the product behavior projection script, It also allows you to manage scheduled tasks, sites and categories. Keywords: Business trends, electronic commerce, search for business trends, business trends on the Internet, analysis of e-commerce trends, identification automatic commercial trends, e-commerce trends, trend repositories trading, trading trend search software, trading trend software - les, trading trend algorithms, least squares method.Modalidad Presencialapplication/pdfspahttp://creativecommons.org/licenses/by-nc-nd/2.5/co/Abierto (Texto Completo)info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Atribución-NoComercial-SinDerivadas 2.5 ColombiaIdentificación automática de tendencias comerciales a través del análisis de sitios de ecommerceAutomatic identification of business trends through analysis of e-commerce sitesMagíster en Software LibreBucaramanga (Colombia)UNAB Campus BucaramangaUniversidad Autónoma de Bucaramanga UNABFacultad IngenieríaMaestría en Software Libreinfo:eu-repo/semantics/masterThesisTesishttp://purl.org/redcol/resource_type/TMSystems EngineeringFree softwareElectronic commerceInvestigationsAnalysisIngeniería de sistemasSoftware libreComercio electrónicoInvestigacionesAnálisisGalvis Quintero, Jorge Luis (2015). Identificación automática de tendencias comerciales a través del análisis de sitios de ecommerce. Bucaramanga (Colombia) : Universidad Autónoma de Bucaramanga UNAB, Universitat Oberta de Catalunya UOCAdam, Z. (2003). e-Commerce and e-Business. E-primers. e-ASEAN Task Force, UNDP-APDIP. Modern Information Retrieval: Pearson Education.Aponte, F. (2011). Prototipo para la detección automática de perfiles de navegación de usuarios de una empresa aplicando técnicas de minería de datos y algoritmos de aprendizaje. Universidad Autónoma de Bucaramanga: Bucaramanga.Baeza, R., & Ribeiro, B. (2007). Modern Information Retrieval: Pearson Education.Baeza, R. (2011). Modern Information Retrieval, the concepts and t e chnology behind search. (2 edición). Inglaterra: Pearson EducationBaeza, R. (2006). The intention behind web queries. In Crestani, F., Ferragina, P., and Sanderson, M., editors, String Processing and Information Retrieval, volume 4209 of Lecture Notes in Computer Science, chapter 9, pages 98–109. Springer Berlin Heidelberg, Berlin: HeidelbergBlankenship, J. (2011). Pro Agile .NET Development with Scrum. New York: ApressBootstrap. (2015). Página Web. Recuperado de http://getbootstrap.com/.Caicedo, J. (2008). Aplicación de técnicas de web mining para la búsqueda de patrones de comportamiento en clientes dentro de la web en la Universidad de Nariño. Universidad Antonio Nariño: San Juan de Pasto.Calderón, L. (2011). Unsupervised Identification of the User’s Query Intent in Web Search. Universitat Pompeu Fabra: BarcelonaCámara Colombiana de Comercio Electrónico (2014). Página Web. Recuperado de: http://ccce. org.co/Ce r i , A. ( 2 0 1 3 ) . Web Information Retrieval. Springer. Recuperado de http://itebooks. info/read/2816/ comScore (2014). Página Web. Recuperado de: http://www.comscore.com/Dan, Shen., & Ruvini, Jean., & Somaiya, Manas., & Sundaresan, Neel. (2011). Item Categorization in the e-Commerce Domain. eBay Research Labs. San José: USA.Da-sheng, W., & Qin-fen, Y., & Li-juan, L. (2009). An Efficient Text Classification Algorithm in E-commerce Application. School of Information Engineering, Zhejiang Forestry College, Lin'an, Zhejiang: China.Debian (2015). Página Web. Recuperado de https://www.debian.org/ D i a g r a m a d e D i s p e r s i ó n ( 2 0 1 5 ) . P á g i n a We b . R e c u p e r a d o d e http://www.ub.edu/aplica_infor/spss/cap3-7.htmDjango (2015). Página Web. Recuperado de https://djangoproject.com/Documentación API Mercado Libre. (2014). Página Web. Recuperado de http://developers.mercadolibre. comD o c u m e n t a c i ó n A P I e B a y . ( 2 0 1 4 ) . P á g i n a We b . http://go.developer.ebay.com/developers/ebay/documentation-toolsDocumentación API Amazon. (2014). Página Web. http://docs.aws.amazon.com/AWSECommerceService/ latest/DG/Welcome.htmlDuckDuck. (2104). Motor de búsqueda. Recuperado de: https://duckduckgo.com/Dumitru, H., Gibiec, M., Hariri, N., Huang, J. C., Mobasher, B., Herrera, C. C., and Mirakhorli, M. (2011). On-demand feature recommendations derived from mining public product descriptions. In Proceeding of the 33rd international conference on Software engineering, ICSE New York: USAeBay. (2014). Página Web. Recuperado de: http://www.ebay.com/E-commerce Application. School of Information Engineering, Zhejiang Forestry College, Lin'an, Zhejiang.Flórez, E. (2002).Prototipo para la detección automática de perfiles de usuarios. Universidad Autónoma de Bucaramanga, Bucaramanga.Gginx (2015). Página Web. Recuperado de: https://www.nginx.org/en/Gunicorn (2015). Página Web. Recuperado de: https://www.gunicorn.org/Hafernik, Carolyn., & Jansen, Bernard. (2013). Understanding the specificity of web search queries. The Pennsylvania State University: USA.HTML. (2015). Página Web. Recuperado de https://developer.mozilla.org/en- US/docs/Web/HTML.Jansen, B. (2006). How are we searching the world wide web?: a comparison of nine search engine transaction logs. Inf. Process.JSON. (2015). Página Web. Recuperado de http://www.json.org/.Kumar, Sanjay., & Rizvi, SAM. (2011). Information Extraction using Web Usage Mining, Web Scrapping and Semantic Annotation. University School of Information Technology, GGS Indraprastha University, New Delhi: New DelhiLaudon, K., & Traver. C. (2011). E-Commerce Businness, Technology, Society. Boston: Prentice Hall.Laudon, Kennet C. Guercio Traver, Carol. (2011). E-commerce 2011: Business, Technology, Society. Pearson, Pretince Hall.Lewandowski, Dirk. (2011). The Influence of Commercial Intent of Search Results on Their Perceived Relevance. Hamburg: University of Applied Sciences.Linio Colombia. (2014). Página Web. Recuperado de: http://www.linio.com.co/Linoff, G., & Berry, M. (2011). Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management. Wiley.Long, Bo., & Bian, J., & Dong, Anlei., & Chang, Yi. (2012). Enhancing Product Search by Best-Selling Prediction in eCommerce. Yahoo! Labs: USA.Manning, Christoper D., & Raghavan, Prabhakar., & Schütze, Hinrich. (2009). An Introduction to Information Retrieval. (Online edition) .Cambridge UP.Martínez, Ciro. (2012). Estadística y muestreo. Bogotá: Ecoe Ediciones.McCreary, D. Kelly, Ann. (2013). Making Sense of NoSQL. USA: Manning Publications.McKinney, Wes. (2012). Python for Data Analysis; Agile Tools for Real World Data. O'Really Media.Mejía Orozco, W. (2011). Prototipo computacional para identificar patrones de comportamiento de usuarios de servicio a domicilio aplicando minería de datos. Universidad Autónoma de Bucaramanga. Valledupar.Mercado Libre. (2014). (Página Web). Recuperado de http://www.mercadolibre.com.co/M í n i m o s C u a d r a d o s . ( 2 0 1 5 ) . P á g i n a We b . R e c u p e r a d o d e http://catarina.udlap.mx/u_dl_a/tales/documentos/lad/mercado_g_ja/apendiceC.pdfMongoDB. (2015). Página Web. Recuperado de http://www.mongodb.org/Monomi. (2014). Página Web. Recuperado de: http://monomi.co/Murphy, J. (1999). Technical analysis of the financial markets.New York: Pretince Hall.Na, Li., & Geng, Peng., & Hang, Chen., & Jiaxing, Bao. (2013) A Prediction Study on E-commerce Orders Based on Site Search Data. University of Chinese Academy of Sciences, UCAS. Beijing, China.Newsha Ghoreishi, Seyyedeh., & Sun, Aixin. (2013). Predicting Event-Relatedness of Popular Queries. School of Computer Engineering, Nanyang Technological University. Singapore.Numpy. (2015). Página Web. Recuperado de http://www.numpy.org/OLX. (2014). Página Web. Recuperado de www.olx.comOuyang, L., & Dong, R., & Zou, B. (2009). Information Extraction Based on Table Area Locating for E-Commerce Websites. Central: South University ChangshaParikh, N. & Sriram, P. & Al Hasan, M. (2013). On segmentation of eCommerce Queries. Ebay Inc. San Jose, CA. Indiana University – Purdue University, Indianapolis, IN. USA.Pitt, David. (2014). Modern Web Essentials, using JavaScript and HTML5. Kansas: Keyhole Software.PostgreSQL (2015). Página Web. Recuperado de https://www.postgresql.org/.Python Library for Amazon Product Adversiting API. (2014). Página Web. Recuperado de https://github.com/yoavaviram/python-amazon-simple-product-api.Rakuten. (2014). Página Web. Recuperado de http://www.rakuten.co.jp/ http://global.rakuten.- com/en/.REST Tutorial (2015). Página Web. Recuperado de http://www.restapitutorial.com/.REST Vs SOAP (2015). Página Web. Recuperado de http://spf13.com/post/soap-vs-rest.Regresión Lineal Simple (2015). Página Web. Recuperado de http://www.vitutor.net/2/16/regresion_ lineal.htmlSchema of Product. (2014). Página Web. Recuperado de http://schema.org/ProductSchmarzo, B. (2013). Big Data; Understanding How Data Powers Big Business. Wiley.Schrenk, M. (2012). Webbots, Spiders, and Screen Scrapers; A Guide to Developing Internet Agents with PHP/CURL: Starch Press.Scrapy. (2015). Página Web. Recuperado de http://scrapy.org/SDK Python eBay. (2015). Página Web. Recuperado de https://github.com/timotheus/ebaysdkpython.SDK Python Mercado Libre. (2015). Página Web. Recuperado de http://github.com/mercadolibre/ python-sdkShen, Zegian., & Sundaresan, Neel. (2011). eBay: an E-commerce marketplace as a complex network. eBay Research Labs. San Jose: CA, USA.Sieg, A., Mobasher, B., and Burke, R. (2007). Representing context in web search with ontological user profiles. In Kokinov, B., Richardson, D. C., Roth-Berghofer, T. R., Vieu L.Spink, A., Jansen, B. J., Wolfram, D., and Saracevic, T. (2002). From E-Sex to E-Commerce: Web search changes. Computer..Stella (2015). Página Web. Recuperado de https://github.com/jorlugaqui/stellaTaobao. (2014). Página Web. Recuperado de http://www.taobao.com/market/global/index_new.- phpUbuntu (2015). Página Web. Recuperado de https://www.ubuntu.com/UTF-8. (2015). Página Web. Recuperado de http://tools.ietf.org/html/rfc3629Usability. (2014). Pagina web. Recuperado de: Usability Best Practices For eCommerce Web- 121 sites: http://spyrestudios.com/usability-best-practices-for-ecommerce-websites/Xiaojing, Liu., & Liwei, Zhang., & Weiqing, Wang. (2012). The Mechanism Analysis of the Impact of Ecommerce to the Changing of Economic Growth Mode. ChangChun University of Chinese Medicine. Inner Mongolia Academy of Social Science Institute of Urban Development. Shijiazhuang City Vocational College: ChinaXML. (2015). Página Web. Recuperado de http://www.w3schools.com/xml/.Zhou, Y., Mobasher, B. (2006). Web User Segmentation Based on a Mixture of Factor Analyzers. K. Bauknecht: BerlinORIGINAL2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf2015_Tesis_Galvis_Quintero_Jorge_Luis.pdfTesisapplication/pdf4398915https://repository.unab.edu.co/bitstream/20.500.12749/3533/1/2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf2510c64a0ef2506a2561a1cc43bd6b0eMD51open access2015_Articulo_ Galvis_Quintero_Jorge_Luis.pdf2015_Articulo_ Galvis_Quintero_Jorge_Luis.pdfArtículoapplication/pdf566405https://repository.unab.edu.co/bitstream/20.500.12749/3533/2/2015_Articulo_%20Galvis_Quintero_Jorge_Luis.pdf7feaddf705eb1c28db199912b29f6ba3MD52open access2015_Anexos_Galvis_Quintero_Jorge_Luis.zip2015_Anexos_Galvis_Quintero_Jorge_Luis.zipAnexosapplication/octet-stream2069108https://repository.unab.edu.co/bitstream/20.500.12749/3533/3/2015_Anexos_Galvis_Quintero_Jorge_Luis.zipc4b022c79c813f70c6efed6f0049c8c4MD53open accessTHUMBNAIL2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf.jpg2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf.jpgIM Thumbnailimage/jpeg4396https://repository.unab.edu.co/bitstream/20.500.12749/3533/4/2015_Tesis_Galvis_Quintero_Jorge_Luis.pdf.jpge7cfee56badd9df4a13e318e9edb22a7MD54open access2015_Articulo_ Galvis_Quintero_Jorge_Luis.pdf.jpg2015_Articulo_ Galvis_Quintero_Jorge_Luis.pdf.jpgIM Thumbnailimage/jpeg10444https://repository.unab.edu.co/bitstream/20.500.12749/3533/5/2015_Articulo_%20Galvis_Quintero_Jorge_Luis.pdf.jpg24d240c3e27c467fc02f1fc643143608MD55open access20.500.12749/3533oai:repository.unab.edu.co:20.500.12749/35332024-01-19 19:57:29.277open accessRepositorio Institucional | Universidad Autónoma de Bucaramanga - UNABrepositorio@unab.edu.co |