Tomado de LinkdIn
Publicado el Publicado el10 de febrero de 2018
Creo que en tiempos difíciles, uno muestra de qué está hecho. Cómo una persona maneja las crisis define su carácter; cómo una empresa maneja las crisis gana su credibilidad; y cómo un equipo maneja las crisis determina su futuro.
El jueves por la mañana, uno de los clústeres de nuestra base de datos de réplica falló desde el maestro hasta la copia de seguridad. Esto es muy probablemente debido a una falla inesperada del hardware. 27 minutos después, el clúster de la base de datos de respaldo también tuvo un problema y también falló. Poco después, se activaron las alarmas de inconsistencia de datos. Tras la investigación, se confirmó que efectivamente había corrupción de datos que afectaba al 1.7% de los usuarios y seguía creciendo. La información se corrompió de una manera que ninguna de nuestras herramientas existentes podría corregir. Los nuevos datos generados en la parte superior de esta información dañada daría como resultado datos más corruptos. Para limitar la propagación de la corrupción de datos, tuvimos que hacer una resincronización completa de los clústeres de la base de datos, tan pronto como fuera posible. Estimamos que esto tomaría varias horas. Fue una decisión difícil, pero necesaria. Yo di el visto bueno. Actualizamos anuncios y lo sacamos en las redes sociales tan rápido como pudimos, luego comenzamos a resincronizar. La resincronización fue compleja debido a nuestra gran arquitectura, con grandes optimizaciones para el rendimiento comercial y la reconstrucción de la estructura de datos en memoria. La resincronización completa también involucró una serie de fases distintas, lo que hizo difícil estimar el tiempo exacto que tomaría en total, hasta que la última fase hubiera comenzado. Fue solo después de que comenzamos la resincronización completa que descubrimos que el crecimiento total de los datos en el último mes prolongaría el tiempo necesario. Los cálculos iniciales ponen la estimación en 10 horas. Uno de los miembros de nuestro equipo vomitó, literalmente. Pero la estimación todavía estaba por debajo de lo real. A medida que pasaba el tiempo, la sincronización se ralentizaba y el cálculo se hacía en más de 60 horas. No era un tiempo aceptable. Mientras que la primera sincronización continuaba progresando, dos nuevos métodos fueron codificados, probados en la medida de lo posible, y bajo las limitaciones de tiempo que teníamos: comenzamos en paralelo. Ambos fueron más rápidos. Uno de ellos nos ahorró varias horas preciosas al final. El proceso aún tomó mucho, mucho tiempo. La versión corta es que el equipo completo trabajó continuamente durante 34 horas, superando muchas dificultades, para volver a poner el sistema en línea lo más rápido posible. Y continuó trabajando durante muchas horas después de reanudar el comercio. Hubo una serie de lecciones aprendidas (por las malas), y los artículos se marcaron como autopsias para su futura implementación. Se están trabajando, probando e implementando mientras hablamos, incluidas las noches y los fines de semana. Algunos de ellos son cambios arquitectónicos que requieren interrupciones de comercialización para el despliegue. Agradecemos su comprensión de esto en los próximos días. Estos cambios serán rápidos.
Mientras estábamos ocupados restaurando nuestro sistema, nuestro sitio de soporte alojado por ZenDesk se volvió inalcanzable, lo que limita nuestra capacidad de publicar anuncios, en el momento preciso en que más lo necesitábamos. Creíamos que esto se debía a un ataque DDoS en su servicio. Fue difícil anunciar esto, ya que los FUD se aprovecharían de la situación para crear mucho más FUD. Tener problemas / problemas múltiples realmente crea dudas en la mente de las personas. Nosotros (siempre) optamos por estar al frente y centrarnos en eso. Además, nuestra página de inicio, www.binance.com también sufrió un fuerte ataque DDoS al mismo tiempo. Este es un caso típico de cuando tienes un auto con una ventana rota, todos los ladrones quieren una pieza. Al igual que las personas, cuán seguro es un sistema, a menudo se determina durante la crisis. Afortunadamente, la seguridad siempre ha sido nuestra principal prioridad y los piratas informáticos desperdiciaron su tiempo, esfuerzo y dinero en vano.
Sabemos lo estresante que es para nuestros usuarios durante un momento como este. Lo mejor que pudimos hacer mientras los ingenieros estaban trabajando es mantener las comunicaciones abiertas. Durante el incidente, nuestros equipos mantuvieron una comunicación constante, con actualizaciones no menos de cada dos horas. Con ZenDesk abajo, confiamos en Twitter y otros canales de redes sociales. A veces me quejé de esto, pero ahora aprecio que haya tantas plataformas sociales por ahí. Solo tenía el ancho de banda para administrar mi propia cuenta de Twitter. El equipo, incluidos nuestros Binance Angels (voluntarios) se hizo cargo del resto.
Era Navidad para FUDers. Se idearon todo tipo de teorías de conspiración. La mayoría de estos muchachos probablemente estaban haciendo shorting en el mercado al mismo tiempo. Bueno, probablemente esta vez no funcionó muy bien, ya que el mercado no bajó durante el tiempo de inactividad y subió un 20% más después de nuestra recuperación. Hubo muchos estafadores. La última moda parece ser: use una foto de perfil de una persona conocida, cree un aspecto similar y luego twittee una respuesta a todos nuestros tweets diciendo "si me envía x ETH, le enviaremos 2 veces ETH". debe haber informado más de 200 de ellos. Twitter fue bastante rápido para desactivar esas cuentas. Sin embargo, debe haber funcionado de alguna manera porque siguen gastando su tiempo en hacerlo. Financial Times (un sitio web más pequeño que Coindesk ahora, por análisis de tráfico de Alexa) publicó rápidamente un artículo sobre nosotros, que estábamos caídos. Sin embargo, era cierto. También nos nombró como el mayor intercambio y nos trajo un poco más de su tráfico. ¡Gracias!El verdadero ayudante fue el Sr. Mcafee, publicando una imagen obviamente falsa de que estamos siendo pirateados. Todos colaboraron para ayudarnos a defendernos. Él unió a la comunidad para nosotros, y reunió ese apoyo, durante el tiempo en que más lo necesitábamos. A veces, las cosas que parecen negativas son en realidad positivas. En cuanto a sus publicaciones anteriores, ahora creo que era completamente inocente, pero solo estaba haciendo las preguntas incorrectas (o correctas, dependiendo de cómo se mire). Puedo entender que no haya leído mi artículo sobre FUD, que preguntas inocentes son las mejores portadoras de FUD. A pesar de todo, doy las gracias al señor Mcafee, le compraré una copa si alguna vez nos encontramos.
Algunas personas pidieron BNB gratuitos como compensación. Esas son probablemente las mismas personas que aún no estaban satisfechas después de que hayamos otorgado un 70% de descuento en futuras comisiones de negociación. Bueno, muestra que de todos modos no cambian mucho. Pensamos en aplicar una tarifa de 0 por un tiempo, pero eso no funcionaría bien para las personas que nos remitieron a los usuarios y que están obteniendo un descuento en todos los intercambios realizados por sus referencias. Hay un equilibrio para todo. Hemos tomado la mejor decisión que pudimos.
Las estrellas deben haber estado en una alineación interesante esta semana. Me senté, frente a mi computadora, 2 terremotos en Taiwán de magnitud 6.0 y 5.7. Nuestros corazones están con las víctimas y las personas afectadas en la ciudad de Hualien.De alguna manera llegué a la portada de Forbes, algo que nunca había soñado. Hubo dos artículos sobre mí. Lamentablemente, el artículo principal sobre mí también dijo que la criptomoneda es una burbuja. Así que elijo no twittearlo (Lo siento Pam, estoy seguro de que puedes entenderlo). Afortunadamente, hubo un segundo artículo, que publiqué. También me sorprendió verme en el rango 3. Incluso con la información limitada que tengo, sé con certeza que no lo soy. No me pregunten quiénes son, respeto la elección de privacidad de las personas.Mis seguidores de Twitter aumentaron 3 pliegues, de 30k en 6 meses a 90k en los últimos 2 días.
El momento de este incidente definitivamente no fue bueno, con el incidente de Coincheck aún asomándose, la gente aún estaba bastante nerviosa. Pero no podemos controlar las cosas que no podemos controlar. Solo tenemos que sacar lo mejor de la situación en la que nos encontramos.
Nuestros ángeles, tecnología, operaciones, marketing, servicio de asistencia e incluso los equipos de recursos humanos no durmieron mucho. Trabajaron muy de cerca. No hubo ningún dedo señalando: cero culpa. Todo el mundo solo quería cargar un poco más de la carga el uno para el otro. No le pedí a nadie que trabajara horas extras (nunca lo hice). Todos hicieron lo que se necesitaba. Fue sorprendentemente fácil de organizar internamente. Si lo anterior le parece divertido, envíe su CV y su ubicación (la ciudad lo hará) a hr@binance.com. Estamos reclutando a las mejores personas para todos los puestos, en una industria y compañía que tiene un potencial de crecimiento significativo.
La comunidad es la fuerza de Binance. Somos muy afortunados de tener una comunidad tan fuerte detrás de nosotros. Me gustaría agradecer sinceramente a todos nuestros seguidores. Binance es una plataforma aún joven. Tenemos mucho espacio para mejorar y crecer. Tenemos una larga lista de mejoras que debemos hacer, y las haremos rápidamente en los próximos días. Desafortunadamente, algunos de ellos requieren la comercialización de las actualizaciones del sistema.¡Apreciamos su comprensión y apoyo!CZ - CEO de Binance
Fin del comunicado
Abre tu cuenta en Binance
Resumen del incidente de Binance
Publicado el Publicado el10 de febrero de 2018
Changpeng Zhao
Creo que en tiempos difíciles, uno muestra de qué está hecho. Cómo una persona maneja las crisis define su carácter; cómo una empresa maneja las crisis gana su credibilidad; y cómo un equipo maneja las crisis determina su futuro.
Tema principal
El jueves por la mañana, uno de los clústeres de nuestra base de datos de réplica falló desde el maestro hasta la copia de seguridad. Esto es muy probablemente debido a una falla inesperada del hardware. 27 minutos después, el clúster de la base de datos de respaldo también tuvo un problema y también falló. Poco después, se activaron las alarmas de inconsistencia de datos. Tras la investigación, se confirmó que efectivamente había corrupción de datos que afectaba al 1.7% de los usuarios y seguía creciendo. La información se corrompió de una manera que ninguna de nuestras herramientas existentes podría corregir. Los nuevos datos generados en la parte superior de esta información dañada daría como resultado datos más corruptos. Para limitar la propagación de la corrupción de datos, tuvimos que hacer una resincronización completa de los clústeres de la base de datos, tan pronto como fuera posible. Estimamos que esto tomaría varias horas. Fue una decisión difícil, pero necesaria. Yo di el visto bueno. Actualizamos anuncios y lo sacamos en las redes sociales tan rápido como pudimos, luego comenzamos a resincronizar. La resincronización fue compleja debido a nuestra gran arquitectura, con grandes optimizaciones para el rendimiento comercial y la reconstrucción de la estructura de datos en memoria. La resincronización completa también involucró una serie de fases distintas, lo que hizo difícil estimar el tiempo exacto que tomaría en total, hasta que la última fase hubiera comenzado. Fue solo después de que comenzamos la resincronización completa que descubrimos que el crecimiento total de los datos en el último mes prolongaría el tiempo necesario. Los cálculos iniciales ponen la estimación en 10 horas. Uno de los miembros de nuestro equipo vomitó, literalmente. Pero la estimación todavía estaba por debajo de lo real. A medida que pasaba el tiempo, la sincronización se ralentizaba y el cálculo se hacía en más de 60 horas. No era un tiempo aceptable. Mientras que la primera sincronización continuaba progresando, dos nuevos métodos fueron codificados, probados en la medida de lo posible, y bajo las limitaciones de tiempo que teníamos: comenzamos en paralelo. Ambos fueron más rápidos. Uno de ellos nos ahorró varias horas preciosas al final. El proceso aún tomó mucho, mucho tiempo. La versión corta es que el equipo completo trabajó continuamente durante 34 horas, superando muchas dificultades, para volver a poner el sistema en línea lo más rápido posible. Y continuó trabajando durante muchas horas después de reanudar el comercio. Hubo una serie de lecciones aprendidas (por las malas), y los artículos se marcaron como autopsias para su futura implementación. Se están trabajando, probando e implementando mientras hablamos, incluidas las noches y los fines de semana. Algunos de ellos son cambios arquitectónicos que requieren interrupciones de comercialización para el despliegue. Agradecemos su comprensión de esto en los próximos días. Estos cambios serán rápidos.
El problema no viaja solo (un proverbio chino)
Mientras estábamos ocupados restaurando nuestro sistema, nuestro sitio de soporte alojado por ZenDesk se volvió inalcanzable, lo que limita nuestra capacidad de publicar anuncios, en el momento preciso en que más lo necesitábamos. Creíamos que esto se debía a un ataque DDoS en su servicio. Fue difícil anunciar esto, ya que los FUD se aprovecharían de la situación para crear mucho más FUD. Tener problemas / problemas múltiples realmente crea dudas en la mente de las personas. Nosotros (siempre) optamos por estar al frente y centrarnos en eso. Además, nuestra página de inicio, www.binance.com también sufrió un fuerte ataque DDoS al mismo tiempo. Este es un caso típico de cuando tienes un auto con una ventana rota, todos los ladrones quieren una pieza. Al igual que las personas, cuán seguro es un sistema, a menudo se determina durante la crisis. Afortunadamente, la seguridad siempre ha sido nuestra principal prioridad y los piratas informáticos desperdiciaron su tiempo, esfuerzo y dinero en vano.
Comunicación
Sabemos lo estresante que es para nuestros usuarios durante un momento como este. Lo mejor que pudimos hacer mientras los ingenieros estaban trabajando es mantener las comunicaciones abiertas. Durante el incidente, nuestros equipos mantuvieron una comunicación constante, con actualizaciones no menos de cada dos horas. Con ZenDesk abajo, confiamos en Twitter y otros canales de redes sociales. A veces me quejé de esto, pero ahora aprecio que haya tantas plataformas sociales por ahí. Solo tenía el ancho de banda para administrar mi propia cuenta de Twitter. El equipo, incluidos nuestros Binance Angels (voluntarios) se hizo cargo del resto.
FUDers y estafadores
Era Navidad para FUDers. Se idearon todo tipo de teorías de conspiración. La mayoría de estos muchachos probablemente estaban haciendo shorting en el mercado al mismo tiempo. Bueno, probablemente esta vez no funcionó muy bien, ya que el mercado no bajó durante el tiempo de inactividad y subió un 20% más después de nuestra recuperación. Hubo muchos estafadores. La última moda parece ser: use una foto de perfil de una persona conocida, cree un aspecto similar y luego twittee una respuesta a todos nuestros tweets diciendo "si me envía x ETH, le enviaremos 2 veces ETH". debe haber informado más de 200 de ellos. Twitter fue bastante rápido para desactivar esas cuentas. Sin embargo, debe haber funcionado de alguna manera porque siguen gastando su tiempo en hacerlo. Financial Times (un sitio web más pequeño que Coindesk ahora, por análisis de tráfico de Alexa) publicó rápidamente un artículo sobre nosotros, que estábamos caídos. Sin embargo, era cierto. También nos nombró como el mayor intercambio y nos trajo un poco más de su tráfico. ¡Gracias!El verdadero ayudante fue el Sr. Mcafee, publicando una imagen obviamente falsa de que estamos siendo pirateados. Todos colaboraron para ayudarnos a defendernos. Él unió a la comunidad para nosotros, y reunió ese apoyo, durante el tiempo en que más lo necesitábamos. A veces, las cosas que parecen negativas son en realidad positivas. En cuanto a sus publicaciones anteriores, ahora creo que era completamente inocente, pero solo estaba haciendo las preguntas incorrectas (o correctas, dependiendo de cómo se mire). Puedo entender que no haya leído mi artículo sobre FUD, que preguntas inocentes son las mejores portadoras de FUD. A pesar de todo, doy las gracias al señor Mcafee, le compraré una copa si alguna vez nos encontramos.
Compensadores
Algunas personas pidieron BNB gratuitos como compensación. Esas son probablemente las mismas personas que aún no estaban satisfechas después de que hayamos otorgado un 70% de descuento en futuras comisiones de negociación. Bueno, muestra que de todos modos no cambian mucho. Pensamos en aplicar una tarifa de 0 por un tiempo, pero eso no funcionaría bien para las personas que nos remitieron a los usuarios y que están obteniendo un descuento en todos los intercambios realizados por sus referencias. Hay un equilibrio para todo. Hemos tomado la mejor decisión que pudimos.
Otros artículos durante la semana
Las estrellas deben haber estado en una alineación interesante esta semana. Me senté, frente a mi computadora, 2 terremotos en Taiwán de magnitud 6.0 y 5.7. Nuestros corazones están con las víctimas y las personas afectadas en la ciudad de Hualien.De alguna manera llegué a la portada de Forbes, algo que nunca había soñado. Hubo dos artículos sobre mí. Lamentablemente, el artículo principal sobre mí también dijo que la criptomoneda es una burbuja. Así que elijo no twittearlo (Lo siento Pam, estoy seguro de que puedes entenderlo). Afortunadamente, hubo un segundo artículo, que publiqué. También me sorprendió verme en el rango 3. Incluso con la información limitada que tengo, sé con certeza que no lo soy. No me pregunten quiénes son, respeto la elección de privacidad de las personas.Mis seguidores de Twitter aumentaron 3 pliegues, de 30k en 6 meses a 90k en los últimos 2 días.
Sincronización
El momento de este incidente definitivamente no fue bueno, con el incidente de Coincheck aún asomándose, la gente aún estaba bastante nerviosa. Pero no podemos controlar las cosas que no podemos controlar. Solo tenemos que sacar lo mejor de la situación en la que nos encontramos.
Equipo
Nuestros ángeles, tecnología, operaciones, marketing, servicio de asistencia e incluso los equipos de recursos humanos no durmieron mucho. Trabajaron muy de cerca. No hubo ningún dedo señalando: cero culpa. Todo el mundo solo quería cargar un poco más de la carga el uno para el otro. No le pedí a nadie que trabajara horas extras (nunca lo hice). Todos hicieron lo que se necesitaba. Fue sorprendentemente fácil de organizar internamente. Si lo anterior le parece divertido, envíe su CV y su ubicación (la ciudad lo hará) a hr@binance.com. Estamos reclutando a las mejores personas para todos los puestos, en una industria y compañía que tiene un potencial de crecimiento significativo.
Comunidad
La comunidad es la fuerza de Binance. Somos muy afortunados de tener una comunidad tan fuerte detrás de nosotros. Me gustaría agradecer sinceramente a todos nuestros seguidores. Binance es una plataforma aún joven. Tenemos mucho espacio para mejorar y crecer. Tenemos una larga lista de mejoras que debemos hacer, y las haremos rápidamente en los próximos días. Desafortunadamente, algunos de ellos requieren la comercialización de las actualizaciones del sistema.¡Apreciamos su comprensión y apoyo!CZ - CEO de Binance
Fin del comunicado
Abre tu cuenta en Binance
Comentarios
Publicar un comentario