Snowpark para Python ya está disponible de forma general

Snowflake y Anaconda anunciaron recientemente la disponibilidad general de Snowpark para Python, una solución que integra datos de Anaconda y paquetes de aprendizaje automático en la nube de datos de Snowflake.

Anteriormente disponible en vista previa pública desde junio, esta nueva integración nativa está dirigida directamente a la comunidad de Python de científicos de datos, ingenieros de datos, desarrolladores y analistas que buscan construir canalizaciones de datos y flujos de trabajo de aprendizaje automático dentro de Snowflake.

Copo de nieve él dice Python está alcanzando a SQL en popularidad en el mundo de los datos, y su principal motivación detrás de Snowpark for Python fue aumentar el valor de SQL y Python trabajando juntos sin la necesidad de una administración de infraestructura compleja para lenguajes separados.

Fuente: Copo de nieve

Las empresas enumeran las capacidades de Snowpark para Python de la siguiente manera:

• Ejecute flujos de trabajo seguros basados ​​en Python sin necesidad de mover o migrar datos.
• Acceda a los paquetes Python de código abierto más populares en Snowflake, como NumPy, scikit-learn, SciPy, pandas, TensorFlow y otros, sin instalación manual.
• Acelere los flujos de trabajo basados ​​en Python que se ejecutan en el motor de procesamiento seguro de Snowflake con la administración de dependencias de Anaconda y paquetes creados de manera confiable.
• Cree canalizaciones de datos de producción y flujos de trabajo de ciencia de datos con bibliotecas de Python administradas por Anaconda que se ejecutan en un espacio aislado seguro dentro de Snowflake.

“Desde que anunciamos la vista previa pública de Anaconda para Python en Snowpark este junio, los científicos de datos nos han dicho que la capacidad de usar su lenguaje de programación favorito directamente en la base de datos es un cambio de juego”, dijo el director ejecutivo y cofundador Peter Wang. el fundador Anaconda. “Los usuarios de Snowflake pueden ser más productivos con herramientas avanzadas de aprendizaje automático mientras satisfacen sus necesidades de gestión organizacional; al final de la producción, es más fácil para las empresas ‘ver’ modelos de aprendizaje automático e implementarlos en entornos comerciales”.

La codificación en varios idiomas puede generar mayores riesgos de seguridad debido a los datos eliminados: “El acceso sin inconvenientes de los usuarios de Snowpark al repositorio de paquetes seleccionados de Anaconda ayuda a resolver dos de los mayores desafíos que enfrentan los científicos de datos que usan software de código abierto: cumplir con los estándares de InfoSec y administrar las dependencias de paquetes . sus entornos informáticos”, dijo Anaconda.

Snowflake para la integración nativa de Python dentro de Snowflake. Fuente: Anaconda

“Como uno de los principales contribuyentes a los proyectos de código abierto, Snowflake quería llevar la innovación de código abierto de nivel empresarial a Snowflake Data Cloud”, dijo Torsten Grabs, director de gestión de productos. Copo de nieve. “Al incorporar el repositorio y el administrador de paquetes de Anaconda en el motor de Snowflake, los científicos e ingenieros de datos pueden usar los paquetes de código abierto más populares sin necesidad de mover o migrar datos”.

Snowflake dice que Snowpark GA para Python es solo el comienzo. La empresa está ampliando activamente la funcionalidad de Snowflake y Anaconda en función de los comentarios de la comunidad. tablero de ideas. La compañía continuará agregando paquetes a su depósito existente de más de 2000 paquetes disponibles en el canal Snowflake. Los paquetes de muestra agregados desde la versión preliminar pública incluyen Prophet, PyNomaly, Datasketch, h3-py, Gensim, email_validator, PyPDF2 y tzdata. En el futuro, Snowflake planea agregar soporte para Python 3.9 y superior, ofrecer funciones agregadas definidas por el usuario y habilitar un control de acceso de paquetes más granular.

Copo de nieve también Anunciado Vista previa pública del almacenamiento optimizado para snowpark. La empresa afirma que cada nodo de la nueva variante de almacenamiento proporciona 16 veces más memoria y 10 veces más caché en comparación con el almacenamiento estándar. Snowflake dice que esto desbloqueará el entrenamiento de ML para grandes conjuntos de datos dentro de Snowflake y permitirá operaciones de uso intensivo de memoria, como análisis estadístico, transformaciones de ingeniería de características, entrenamiento de modelos e inferencia.

Artículos relacionados:

Anaconda advierte que las preocupaciones de seguridad están provocando un retroceso en la ciencia de datos de código abierto

Snowflake presenta compatibilidad con Python para aplicaciones nativas, UniStore y más en Summit

Anaconda presenta nuevos cuadernos de codificación y portal de capacitación