Controlador nativo de Arrow de alto rendimiento para análisis de lakehouse
Las manos registran lotes en referencia para mover datos en columnas con un mínimo de sobrecarga de CPU, conectando Delta Lake y Apache Iceberg a herramientas de análisis. DeltaForge proporciona el controlador ADBC para Windows y otros escritorios, con un conector de Power BI incluido y enlaces de lenguaje para Python, R y C. Sus principales atractivos son las transferencias de baja latencia, sin copias y el acceso directo a tablas desde el almacenamiento de objetos, dirigido a ingenieros de datos y analistas de BI que consultan grandes tablas de lakehouse sin ejecutar Spark.
El controlador entrega transferencias nativas de Arrow, sin copia, para datos columnar
Controlador ADBC de DeltaForge entrega lotes de registros a aplicaciones cliente por referencia, lo que elimina la sobrecarga de conversión orientada a filas y mantiene los datos en memoria columnar. El controlador lee y escribe formatos de tabla Delta Lake y Apache Iceberg y presenta los datos como lotes de registros Arrow a clientes de Python, R o C. Para flujos de trabajo que requieren lotes columnar en lugar de búferes de fila, esto produce menor latencia y reduce el uso de CPU durante la extracción.
Reduce la dependencia del clúster externo al ejecutar un motor SQL nativo localmente
El controlador incluye un motor SQL que elude la necesidad de una dependencia de JVM o Spark, por lo que las consultas pueden ejecutarse en hardware local o máquinas virtuales existentes en lugar de en clústeres gestionados. DeltaForge publicita velocidades de referencia más de 13 veces más rápidas que los controladores ODBC estándar de .NET para cargas de trabajo específicas, lo que apoya casos de uso donde las organizaciones quieren evitar mantener un clúster de Spark separado para análisis.
La instalación y la integración de BI son directas pero suponen una configuración técnica
En Windows, el controlador se envía como un MSI firmado y está disponible a través de WinGet, y también proporciona un conector personalizado de Power BI empaquetado para Desktop. La instalación es sencilla para los administradores del sistema, sin embargo, integrar el conector en un pipeline de BI empresarial requiere configurar el acceso al almacenamiento (S3, ADLS o disco local) y comprender la disposición de la tabla del lakehouse. Los enlaces estándar de ADBC permiten a los desarrolladores llamar al controlador desde el código una vez que las credenciales y los puntos finales están en su lugar.
La seguridad operativa y el impacto en el sistema se alinean con las necesidades de análisis de alto rendimiento
El controlador lee tablas directamente desde el almacenamiento de objetos y evita escribir metadatos de clúster, lo que elimina una dependencia de clústeres de computación activos. Debido a que entrega lotes por referencia y evita la sobrecarga de JVM, la presión de CPU y memoria disminuye en comparación con los controladores basados en filas durante grandes exportaciones. Para entornos que necesitan seguridad de reversión o instantáneas, esas protecciones deben gestionarse a nivel de almacenamiento o tabla en lugar de por el propio controlador.
Mejor para equipos que pueden ejecutar consultas contra almacenamiento lakehouse; se recomienda probar con datos representativos
El controlador ADBC de DeltaForge es una opción pragmática para ingenieros de datos y equipos de BI que necesitan acceso de alto rendimiento a tablas de Delta Lake o Iceberg sin operar clústeres de Spark. Se espera una transferencia de datos más rápida y un menor uso de CPU local, aunque integrarlo requiere conocimiento de la disposición de su almacenamiento y controles de acceso. Pruebe consultas en una copia de su conjunto de datos para validar permisos y uso de recursos antes de implementar en producción. Recomendado.
