MySQL - CONSUMO DE RECURSOS

 
Vista:
sin imagen de perfil

CONSUMO DE RECURSOS

Publicado por ANTONIO (33 intervenciones) el 21/01/2014 14:22:54
Saludos amigos tengo una duda en relación al consumo de recursos:

Imaginarse que hago en una pagina web una consulta con mysql y esa consulta la vuelco un un objeto gridview.
Si a esa pagina web se conectan 1000 personas se supone que se crearán mil consultas mysql.
Pero si yo hago una consulta mysql y el resultado de esa consulta mysql lo meto en un archivo xml y luego las mil personas se conectan a la web y con un gridview se enlazan a ese archivo xml para que le muestre los datos.

¿Se supone que la primera vez se realizan 1000 conexiones a mysql para ver los datos y se supone que la segunda vez solamente se realiza una conexion a mysql y se realizan 1000 conexiones al archivo xml para ver los datos.

Entonces ¿se consumen muchos menos recursos si realizo la segunda opción o no? sacadme de dudas por favor.

Es decir si enlazas un gridview a un archivo xml y el gridview muestra los datos ¿consume lo mismo que mysql?


Gracias.
Valora esta pregunta
Me gusta: Está pregunta es útil y esta claraNo me gusta: Está pregunta no esta clara o no es útil
0
Responder
Imágen de perfil de xve
Val: 796
Oro
Ha mantenido su posición en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por xve (1151 intervenciones) el 21/01/2014 15:40:30
Hola Antonio, no soy un experto en el tema, pero de seguro que es mucho mas rápido leer un archivo que realizar una consulta a la base de datos... y mas si la base de datos tiene otras consultas.

Muchas web, cachean parte de su contenido durante unos minutos o horas... por ejemplo, si a una pagina acceden cada minuto 100 personas, el resultado de la consulta se guarda en un archivo de texto y se va actualizando dicho archivo cada n minutos, de esta manera, se ahorran de generar cientos de consultas para que devuelve el mismo resultado.

Espero que te sirva de ayuda.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

CONSUMO DE RECURSOS

Publicado por ANTONIO (33 intervenciones) el 21/01/2014 18:28:52
Gracias por responder xve pero me gustaría que me dijeras si con el xml voy a consumir menos recursos y me garantizo que el servidor no se quede colgado.
Te explico hace unos dias tenia un evento deportivo de 9000 pesonas. Yo tengo un servidor vps windows server 2008 con 4 gigas de ram .
Hice una aplicacion web en la que iframaba unas 10 consultas sobre una misma tabla de base de datos a la vez.
Todas las consultas se iban actualizando cada 5 segundos con el fin de ver los tiempos de paso de los deportistas.
Es decir si a mi web entraron 300 personas para ver la prueba deportiva en vivo y cada web de usuario cargaba 10 consultas cada 5 segundos pues 300*10 total 3000 cosultas en pocos segundos.
En resumen el servidor se me fué al traste el uso del servidor se puso al 100% no tenía recursos.

Por eso pensé lo de xml y me dije porque tantas consulta atacando a la base de datos?. Solución yo cada x segundos creo en xml los resultados de esas 10 consultas y todas las webs que se conecten usaran los datos del archivo xml por lo que pasaré de 3000 consultas mysql a 10 consultas mysql
¿Es descabellado lo que comento?
No se si me explico bien.
Lo que no se es si esas consultas hacia el archivo en xml también consumen muchos recursos o por el contrario son livianas.

Saludos cordiales y perdona mi ignorancia.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de xve
Val: 796
Oro
Ha mantenido su posición en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por xve (1151 intervenciones) el 21/01/2014 22:37:41
Hola Antonio, creo que lo que has pensado es perfecto!!!... lo único que en vez de guardar el archivo en formato xml, guarda directamente el contenido del html de esta manera, solo tendrás que hacer un include en tu web para mostrarlo.

Sin ninguna duda, te aguantara mucho mas que atacando a la base de datos de mysql.

Si lo pruebas y le haces unas pruebas de estrés, veras que te aguanta mucho mas.

Si lo haces, te agradecería mucho que nos comentaras los resultados.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

CONSUMO DE RECURSOS

Publicado por ANTONIO (33 intervenciones) el 22/01/2014 08:30:17
Gracias xve por tu comentario por cierto ¿conoces alguna aplicación si puede ser para windows "gratuita" que realice pruebas de estres a webs?

No quiero ser pesado pero a que te refieres con guardar directamente el contenido del html?. ¿include?, yo uso iframes.

Saludos cordiales
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de xve
Val: 796
Oro
Ha mantenido su posición en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por xve (1151 intervenciones) el 22/01/2014 11:47:54
Hola Antonio, que servidor web utilizas? Si por ejemplo utilizas Apache, dispone de su propia aplicacion que creo que ya viene instalada por defecto:
http://httpd.apache.org/docs/2.0/programs/ab.html

Cuando digo directamente en el formato html, me refiero al formato que se muestra en la web directamente, sin tener que tratar el codigo xml cada vez para mostrarlo correctamente en la web... si lo guardas en el formato html, simplemente haciendo un include de ese archivo en tu pagina web, se mostaria.

Que lenguaje de programación utilizas en el servidor?
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

CONSUMO DE RECURSOS

Publicado por ANTONIO (33 intervenciones) el 22/01/2014 12:18:17
A eso me refería yo tengo windows 2008 server 4 gigas de ram e instalada la version 5.5 de mysql, yo programo con asp.net y vb.net y me conecto a la base de datos con el famoso conector de mysql para windows y para crear nuevas bases datos etc uso el navycat que es muy visual.
Me da verguenza decirtelo pero eso de servidor apache se que tiene algo que ver con php y mysql pero lo desconozco y yo no lo uso.

Saludos.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de xve
Val: 796
Oro
Ha mantenido su posición en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por xve (1151 intervenciones) el 22/01/2014 17:27:19
Desconozco ninguna herramienta de test para IIS... Apache es uno de los servidores web mas utilizados.... por eso te decía de utilizar ab...

Tendrás que mirar si Microsoft tiene alguna aplicación para ello...
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

CONSUMO DE RECURSOS

Publicado por ANTONIO (33 intervenciones) el 22/01/2014 20:38:16
OK gracias por todo y ya agotando tu inestimable paciencia, con el fin de mejorar el rendimiento de mysql toque una serie de parametros en el archivo de mysql my.cnf , ya te dije que es un servidor windows 2008 con 4 gigas de ram.
Según tu experiencia este servidor cuantos usuarios simultaneos podría admitir? ya que por defecto pone 100. es decir los parametros max_connections y max_user_connections.
Te pongo como queda mi archivo my.cnf de mysql por si ves que pudiera cambiar algun parametro con el fin de mejorarlo.
Saludos cordiales y muchas gracias por todo.
----------------------------------------------------------
MySQL Server Instance Configuration File
# ----------------------------------------------------------------------
# Generated by the MySQL Server Instance Configuration Wizard
#
#
# Installation Instructions
# ----------------------------------------------------------------------
#
# On Linux you can copy this file to /etc/my.cnf to set global options,
# mysql-data-dir/my.cnf to set server-specific options
# (@localstatedir@ for this installation) or to
# ~/.my.cnf to set user-specific options.
#
# On Windows you should keep this file in the installation directory
# of your server (e.g. C:\Program Files\MySQL\MySQL Server X.Y). To
# make sure the server reads the config file use the startup option
# "--defaults-file".
#
# To run run the server from the command line, execute this in a
# command line shell, e.g.
# mysqld --defaults-file="C:\Program Files\MySQL\MySQL Server X.Y\my.ini"
#
# To install the server as a Windows service manually, execute this in a
# command line shell, e.g.
# mysqld --install MySQLXY --defaults-file="C:\Program Files\MySQL\MySQL Server X.Y\my.ini"
#
# And then execute this in a command line shell to start the server, e.g.
# net start MySQLXY
#
#
# Guildlines for editing this file
# ----------------------------------------------------------------------
#
# In this file, you can use all long options that the program supports.
# If you want to know the options a program supports, start the program
# with the "--help" option.
#
# More detailed information about the individual options can also be
# found in the manual.
#
#
# CLIENT SECTION
# ----------------------------------------------------------------------
#
# The following options will be read by MySQL client applications.
# Note that only client applications shipped by MySQL are guaranteed
# to read this section. If you want your own MySQL client program to
# honor these values, you need to specify it as an option during the
# MySQL client library initialization.
#
[client]

port=3306

[mysql]

default-character-set=latin1


# SERVER SECTION
# ----------------------------------------------------------------------
#
# The following options will be read by the MySQL Server. Make sure that
# you have installed the server correctly (see above) so it reads this
# file.
#
[mysqld]

# The TCP/IP Port the MySQL Server will listen on
port=3306


#Path to installation directory. All paths are usually resolved relative to this.
basedir="C:/Program Files/MySQL/MySQL Server 5.1/"

#Path to the database root
datadir="C:/ProgramData/MySQL/MySQL Server 5.1/Data/"

# The default character set that will be used when a new schema or table is
# created and no character set is defined
character-set-server=latin1

# The default storage engine that will be used when create new tables when
default-storage-engine=INNODB

# Set the SQL mode to strict
sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION"

# The maximum amount of concurrent sessions the MySQL server will
# allow. One of these connections will be reserved for a user with
# SUPER privileges to allow the administrator to login even if the
# connection limit has been reached.
max_connections=100

# Query cache is used to cache SELECT results and later return them
# without actual executing the same query once again. Having the query
# cache enabled may result in significant speed improvements, if your
# have a lot of identical queries and rarely changing tables. See the
# "Qcache_lowmem_prunes" status variable to check if the current value
# is high enough for your load.
# Note: In case your tables change very often or if your queries are
# textually different every time, the query cache may result in a
# slowdown instead of a performance improvement.
query_cache_size=0

# The number of open tables for all threads. Increasing this value
# increases the number of file descriptors that mysqld requires.
# Therefore you have to make sure to set the amount of open files
# allowed to at least 4096 in the variable "open-files-limit" in
# section [mysqld_safe]
table_cache=256

# Maximum size for internal (in-memory) temporary tables. If a table
# grows larger than this value, it is automatically converted to disk
# based table This limitation is for a single table. There can be many
# of them.
tmp_table_size=35M


# How many threads we should keep in a cache for reuse. When a client
# disconnects, the client's threads are put in the cache if there aren't
# more than thread_cache_size threads from before. This greatly reduces
# the amount of thread creations needed if you have a lot of new
# connections. (Normally this doesn't give a notable performance
# improvement if you have a good thread implementation.)
thread_cache_size=8

#*** MyISAM Specific options

# The maximum size of the temporary file MySQL is allowed to use while
# recreating the index (during REPAIR, ALTER TABLE or LOAD DATA INFILE.
# If the file-size would be bigger than this, the index will be created
# through the key cache (which is slower).
myisam_max_sort_file_size=100G

# If the temporary file used for fast index creation would be bigger
# than using the key cache by the amount specified here, then prefer the
# key cache method. This is mainly used to force long character keys in
# large tables to use the slower key cache method to create the index.
myisam_sort_buffer_size=69M

# Size of the Key Buffer, used to cache index blocks for MyISAM tables.
# Do not set it larger than 30% of your available memory, as some memory
# is also required by the OS to cache rows. Even if you're not using
# MyISAM tables, you should still set it to 8-64M as it will also be
# used for internal temporary disk tables.
key_buffer_size=55M

# Size of the buffer used for doing full table scans of MyISAM tables.
# Allocated per thread, if a full scan is needed.
read_buffer_size=64K
read_rnd_buffer_size=256K

# This buffer is allocated when MySQL needs to rebuild the index in
# REPAIR, OPTIMZE, ALTER table statements as well as in LOAD DATA INFILE
# into an empty table. It is allocated per thread so be careful with
# large settings.
sort_buffer_size=256K


#*** INNODB Specific options ***


# Use this option if you have a MySQL server with InnoDB support enabled
# but you do not plan to use it. This will save memory and disk space
# and speed up some things.
#skip-innodb

# Additional memory pool that is used by InnoDB to store metadata
# information. If InnoDB requires more memory for this purpose it will
# start to allocate it from the OS. As this is fast enough on most
# recent operating systems, you normally do not need to change this
# value. SHOW INNODB STATUS will display the current amount used.
innodb_additional_mem_pool_size=3M

# If set to 1, InnoDB will flush (fsync) the transaction logs to the
# disk at each commit, which offers full ACID behavior. If you are
# willing to compromise this safety, and you are running small
# transactions, you may set this to 0 or 2 to reduce disk I/O to the
# logs. Value 0 means that the log is only written to the log file and
# the log file flushed to disk approximately once per second. Value 2
# means the log is written to the log file at each commit, but the log
# file is only flushed to disk approximately once per second.
innodb_flush_log_at_trx_commit=1

# The size of the buffer InnoDB uses for buffering log data. As soon as
# it is full, InnoDB will have to flush it to disk. As it is flushed
# once per second anyway, it does not make sense to have it very large
# (even with long transactions).
innodb_log_buffer_size=2M

# InnoDB, unlike MyISAM, uses a buffer pool to cache both indexes and
# row data. The bigger you set this the less disk I/O is needed to
# access data in tables. On a dedicated database server you may set this
# parameter up to 80% of the machine physical memory size. Do not set it
# too large, though, because competition of the physical memory may
# cause paging in the operating system. Note that on 32bit systems you
# might be limited to 2-3.5G of user level memory per process, so do not
# set it too high.
innodb_buffer_pool_size=107M

# Size of each log file in a log group. You should set the combined size
# of log files to about 25%-100% of your buffer pool size to avoid
# unneeded buffer pool flush activity on log file overwrite. However,
# note that a larger logfile size will increase the time needed for the
# recovery process.
innodb_log_file_size=54M

# Number of threads allowed inside the InnoDB kernel. The optimal value
# depends highly on the application, hardware as well as the OS
# scheduler properties. A too high value may lead to thread thrashing.
innodb_thread_concurrency=14
max_allowed_packet=4096M
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de xve
Val: 796
Oro
Ha mantenido su posición en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por xve (1151 intervenciones) el 22/01/2014 22:44:15
Una muy buena aplicación para optimizar mysql que nosotros utilizamos mucho es: mysqltuner... a nosotros nos va perfecto para configurar el archivo my.cnf según el funcionamiento que generar tu servidor.
Es recomendable tener un mínimo de 24 horas funcionando y utilizar un sistema de 64bits.

Sobre el rendimiento sobre la maquina que me comentas, la verdad es que nunca hemos montado un servidor mysql en producción sobre un Windows... siempre para producción lo hemos montado sobre un Linux, por lo que no te puedo indicar mucho.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
sin imagen de perfil

CONSUMO DE RECURSOS

Publicado por ANTONIO (33 intervenciones) el 23/01/2014 08:51:46
OK, muchísimas gracias por tu información.
Saludos.
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de Willian
Val: 2
Ha aumentado su posición en 60 puestos en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por Willian (52 intervenciones) el 23/01/2014 20:30:19
Una cosa que no se toco en el Hilo, me gustaria compartir contigo Antonio por que creo qeu XVE es experiente en MYSQL ..,, te aconsejo a que uses MYSQL sobre ambiente Linux por lo menos la Base de Datos por que la velocidad del Motor Mysql en Linux es entre 35 a 65 por cientos mas rapidas que en Windows. Esto te ayudaria mucho.
Tenemos un sistema de Gestion lo cual tenemos en varios clientes hasta 400 Usuarios a la vez conectados los cuales hacen querys casi que de segundo en segundo sin secar y MYSQL lo soporta con 6 - 8 Gb de ram en el servidor..
espero que te sea util la Informacion
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar
Imágen de perfil de xve
Val: 796
Oro
Ha mantenido su posición en MySQL (en relación al último mes)
Gráfica de MySQL

CONSUMO DE RECURSOS

Publicado por xve (1151 intervenciones) el 23/01/2014 21:07:50
Estoy deacuerdo con Willian, MySQL en Linux 64 bits con RAM va muy bien!!!
Valora esta respuesta
Me gusta: Está respuesta es útil y esta claraNo me gusta: Está respuesta no esta clara o no es útil
0
Comentar