Accueil » Création de contenu » Caringo SWARM - Une plate-forme de stockage pour la production, la distribution et la collaboration à l'échelle massive

Caringo SWARM - Une plate-forme de stockage pour la production, la distribution et la collaboration à l'échelle massive


Alerte moi

Les défis pour l'immédiateté
L'accès massif aux médias à la demande, à tout moment et partout via le haut débit Internet, les appareils de poche, les services de streaming, la télévision intelligente et l'Internet en évolution a révolutionné le modèle de mise sur le marché et de monétisation des fournisseurs de contenu. OTT (over-the-top) fournisseurs de services, sociétés de câblodistribution, radiodiffuseurs, fournisseurs de médias en continu, transporteurs et autres. Toutes les entreprises qui font partie de la chaîne de création, d'agrégation et de livraison de contenu sont confrontées au défi croissant de fournir de manière transparente et efficace un contenu de haute qualité, prêt à la livraison, en plusieurs formats de fichiers sur une myriade de plates-formes multimédias. des points de vente vers des destinations globales ciblées de la manière la plus rapide possible tout en assurant sa qualité et sa sécurité et en réduisant continuellement le délai de livraison à l'appareil. En outre, avec des budgets plus serrés, de nombreux fournisseurs de contenu ramènent le travail à l'interne tout en faisant pression sur les prestataires de postproduction pour accélérer le flux de travail (les utilisateurs s'attendent à un accès immédiat).

Actuellement, chaque organisation de S & E cherche à rationaliser les processus tout en réduisant les coûts d'investissement et d'exploitation. Les bureaux de poste subissent des pressions de la part de leurs clients pour stocker le contenu du client gratuitement ou à un prix minime, et pour fournir un accès immédiat et la livraison des actifs numériques. En conséquence, l'une des principales composantes de coûts en cours avec lesquelles les entreprises sont aux prises est le stockage, la gestion et la mise à disposition d'actifs numériques tout au long de leur cycle de vie, malgré l'augmentation exponentielle des actifs et des tailles de fichiers. En plus de l'augmentation continue de la capacité de stockage et de sa gestion, les entreprises doivent également faire face à l'augmentation de l'empreinte du centre de données, à la complexité de l'infrastructure, à la climatisation et à l'utilisation de l'énergie.

Alors, pouvez-vous gérer les attentes de stockage gratuit lorsque votre budget est attaqué et que les marges sont déjà compressées? Pouvez-vous fournir une recherche sécurisée et un accès immédiat à vos clients? Pouvez-vous transformer votre dilemme de stockage dans un avantage concurrentiel? La réponse est un «OUI» retentissant aux trois questions. Pour comprendre pourquoi, le point culminant de l'entreprise de ce mois-ci se concentre sur Caringo, un pionnier dans l'espace de stockage d'objets depuis 2005, et l'un des meilleurs opérateurs de plate-forme de stockage d'objets et de cloud dans le paysage des médias et des loisirs (M & E).

Qui est Caringo?
Caringo est l'un des principaux fournisseurs de logiciels de stockage d'objets qui permettent aux utilisateurs de contrôler tout volume, flux ou taille de données non structurées; réduisant considérablement le coût de possession, tout en extrayant la valeur et les performances maximales du matériel. Le produit phare de Caringo, Essaim, élimine la nécessité de migrer les données vers des solutions disparates pour la protection et la préservation des données à long terme, la gestion, l'organisation et la recherche à grande échelle. Ces avantages sont fournis par l'architecture symétrique de Swarm qui permet une extensibilité massive, une protection de contenu élastique et une automatisation de la gestion. Le résultat est une plate-forme logicielle de stockage d'objets idéale pour les flux de travail actuels et futurs dans l'industrie du S & E.

Avant de continuer, remettons les mains à l'heure pour mieux comprendre l'importance des entreprises comme Caringo et les avantages des architectures de stockage d'objets pour l'industrie du S & E.

L'évolution de Caringo et le "moment Aha"
Caringo a été conçue par Jonathan Ring, Paul Carpentier et Mark Goros, qui avaient travaillé ensemble dans des entreprises de construction. Paul Carpentier, le fondateur du stockage adressable de contenu, a vendu FilePool à EMC, qui a créé une famille d'appliances matérielles propriétaires appelée EMC Centera (adressable par contenu). stockage (CAS) plate-forme pour l'archivage de données, introduit autour de 2003).

À l'époque, les serveurs axés sur les produits de base se sont élargis et le coût de l'espace disque brut par gigaoctet diminuait rapidement. En outre, les anciens fournisseurs de serveurs de fichiers hérités étaient ancrés avec des systèmes qui ne pouvaient pas évoluer facilement en pétaoctets et au-delà sans créer de silos de stockage séparés. C'est alors que l'équipe fondatrice de Caringo a reconnu que le stockage logiciel défini par les produits de base (SDS) allait bientôt dominer le marché. De plus, ils prévoyaient la nécessité d'une Reposant l'accès à Stockage Software-Defined sur la technologie de serveur banalisée. En conséquence, Caringo a été créé dans 2005 et le premier véritable nuage de stockage défini par logiciel ou de stockage privé a été créé.

«Nous savions que le marché du stockage et du stockage en nuage prendrait du temps à construire et que le marché évoluait. Nous nous sommes donc concentrés sur l'utilisation efficace du capital pour construire la meilleure technologie du marché», a déclaré Jonathan Ring, PDG de Caringo. -Fondateur. «Nous nous sommes concentrés sur la croissance de l'entreprise grâce à la collaboration de ses clients pour construire un produit centré sur le client et axé sur le terrain qui a abouti à une clientèle mondiale très fidèle et satisfaite. De plus, nos solutions sont tarifées en fonction de la capacité consommée par les données d'origine (sans coût supplémentaire pour les réplications afin d'assurer la disponibilité et la protection) soit comme une licence perpétuelle avec un support annuel ou via un abonnement annuel. "

Aujourd'hui, la validation de Caringo de sa vision et de sa philosophie est sa base de clients croissante qui comprend iQ Media, Sony ImageWorks, Texas Tech University Systems, NEP, le Département de la Défense, le système judiciaire fédéral brésilien, la ville d'Austin, Telefónica, British Telecom, Ask.com, Johns Hopkins University et des centaines d'autres dans le monde entier.

Il convient de noter que, contrairement à Caringo, beaucoup dans l'espace de stockage d'objets ont pris plusieurs raccourcis dans le développement de leur technologie. Le plus important est de baser leur offre de stockage d'objets sur le système de fichiers Linux (le système de fichiers basé sur inode se traduit par une complexité accrue, une surcharge inutile et le risque de perte de données). L'implémentation efficace de Caringo laisse 95% de la capacité du disque à l'utilisateur contre seulement 80% pour les solutions concurrentes.

Problèmes que le stockage d'objets de Caringo résout
La technologie de stockage d'objets résout certains des principaux goulots d'étranglement dans le secteur M & E en stockant et en gérant intelligemment et économiquement l'augmentation exponentielle du cycle de vie des données (ressources longues, centaines à dizaines de milliers de fichiers de données de travail par film, / duplicate / assets d'archive versionnés, etc.) pour la protection des données à long terme. Caringo Swarm résout les problèmes liés à la livraison, à l'organisation et à la fourniture d'un stockage évolutif accessible à long terme pour les grandes bibliothèques médiatiques. Swarm est idéal pour les applications petites et grandes, que vous soyez un producteur de contenu à la recherche d'OTT et de stockage d'origine, une propriété Web qui cherche à réduire la latence pour vos applications multimédia Web ou une maison de production qui cherche à optimiser la vidéo Stockage partagé de workflow. Les organisations de S & E, y compris les studios, les maisons de production, les diffuseurs et les fournisseurs de services peuvent désormais stocker ce dont ils ont besoin, assurer l'intégrité des médias et garder les ressources en ligne et accessibles pour réutilisation et monétisation.

En nous appuyant sur ce qui précède, nous pouvons examiner quatre domaines dans lesquels Swarm peut bénéficier à cette industrie:

  1. Archive active, collaboration multi-sites et consolidation: Dans le domaine de la diffusion et de la publication en temps réel et en temps réel, les ressources doivent rester disponibles pour une réutilisation et une collaboration continue. Les fichiers écrits via NFS, HTTP ou S3 sont tous accessibles, modifiables et immédiatement récupérables via n'importe quel autre protocole. La réplication synchrone sur réseau local et la réplication asynchrone sur le réseau étendu permettent une reprise après sinistre sans gestion. Pour les actifs plus froids comme les épisodiques à longue traîne, les utilisateurs peuvent utiliser Darkive, breveté par Caringo, pour faire tourner les disques et réduire l'utilisation du processeur, en s'appro- chant du faible coût total de possession de la bande.
  2. Stockage d'origine et activation OTT: Nativement accessible via HTTP, Swarm est idéal pour le stockage d'origine de la livraison de contenu et l'activation des services OTT (over-the-top). Swarm offre un débit important avec une utilisation de capacité 95% sans précédent. Le téléchargement parallèle de fichiers volumineux et de plages de lecture vous permet de stocker rapidement des ressources et les utilisateurs peuvent visualiser rapidement n'importe quelle image dans une vidéo.
  3. Optimiser le stockage partagé de production: Au cœur de la plupart des workflows d'édition, on trouve des périphériques NAS (Shared Network Attached Storage) qui, bien que nécessaires du point de vue des performances, sont difficiles et coûteux à mettre à l'échelle, à gérer et à protéger. Les solutions Caringo optimisent les workflows et applications existants dans des environnements de stockage partagés en s'intégrant à Windows Storage Server, NetApp Filers, Avide Stockage partagé ISIS / Nexis ou 3rd, mise à niveau des données vers Caringo Swarm Object Storage. Le résultat est un système qui offre une évolutivité massive et une accessibilité sécurisée sans avoir besoin d'extraire et de remplacer ou de modifier les applications, les processus ou le comportement de l'utilisateur.
  4. Backend Digital Asset Management: Grâce aux intégrations natives et au support API S3, Caringo Swarm peut être utilisé comme cible de stockage pour une myriade de solutions de Digital Asset Management et Media Asset Management, apportant une installation simple de démarrage à chaud et une protection continue à une infrastructure de gestion d'actifs. Swarm permet aux flux intégrés (distribution de contenu) de se répliquer vers un site distant pour la reprise après sinistre ou des fonctionnalités de conformité intégrées telles que WORM, Legal Hold et Integrity Seals pour répondre aux politiques de protection les plus strictes. C'est idéal pour les utilisateurs car leurs ressources numériques sont protégées en permanence et instantanément accessibles.

La technologie sous-jacente de Swarm et ses principaux différenciateurs
La reconnaissance précoce par Caringo de l'opportunité du marché lui a permis de développer une feuille de route technologique reflétant les tendances technologiques respectives, permettant à son système d'évoluer à partir de zéro. Contrairement à certains de ses concurrents, il n'y a pas de système de fichiers basé sur les inodes dans les couvertures, ce qui signifie pas de complexité supplémentaire, pas de frais inutiles et un risque de perte de données presque inexistant.

Caringo Swarm peut être considéré comme un système d'exploitation de stockage ou un serveur web massivement évolutif pour le stockage. Il est implémenté comme une architecture sans état symétrique dans laquelle tous les nœuds remplissent la même fonction et, en tant que tel, il est hautement disponible hors de la boîte. En conséquence, selon Ring, Caringo n'a jamais eu de perte de données client. L'architecture évolutive augmente le débit et réduit le temps de récupération du disque au fur et à mesure de sa croissance, ce qui permet de passer d'un cluster de petite à une très grande. Swarm a un composant de métadonnées fort et stocke les vrais objets où les données et les métadonnées résident ensemble pour s'assurer que les données sont auto-descriptives et portables. Aucune base de données séparée n'est requise ou utilisée pour la gestion des objets. Swarm intègre ensuite tout cela avec un moteur de recherche pour permettre une recherche flexible des métadonnées.

En conséquence, les différentiateurs clés de Swarm par rapport à sa concurrence peuvent être résumés comme suit.

Différenciateurs clés

  • Utilisation du matériel et des serveurs pour du contenu fournissant jusqu'à 95% d'espace disque et 100% de baies de lecteurs disponibles pour stocker des ressources numériques
  • Possibilité d'ajouter automatiquement des performances ou des capacités en 90 secondes et de mettre à niveau en continu la mise à l'échelle matérielle vers des centaines de pétaoctets et des milliards de fichiers sans interruption ni interruption de l'accès aux ressources
  • Protection automatisée basée sur des règles qui peut être réglée pour un accès rapide ou la plus petite empreinte de centre de données offrant une durabilité de niveau professionnel pour la collaboration tout en se protégeant contre les attaques de rançongiciels et la corruption silencieuse des données
  • Collaboration multiplate-forme et accès universel (Write / Read / Edit) via HTTP, S3 ou NFS de manière interchangeable
  • Récupération rapide des actifs et livraison instantanée via une recherche intégrée avec possibilité d'ajouter des métadonnées personnalisées

L'intégration conviviale de Swarm
Le logiciel Caringo Swarm s'installe sur le choix du matériel standard de l'utilisateur en créant une plate-forme de gestion des médias qui peut évoluer de TB vers PB, en abordant le coût de la bande tout en fournissant un accès autorisé, en se connectant aux solutions de gestion des identités. Swarm dispose d'une interface RESTful basée sur HTTP 1.1 pour une intégration directe rapide et prend en charge l'API Amazon S3. La plupart des solutions de gestion d'actifs qui prennent en charge l'API S3 fonctionnent avec Swarm dès la sortie de la boîte. En outre, Swarm dispose d'une interface NFS ainsi que d'un logiciel qui s'interpose automatiquement entre les serveurs de fichiers Windows et les fichiers NetApp à Swarm.

De plus, la société a intégré ses logiciels à des produits leaders de l'industrie tels que Reach Engine par niveaux au-delà, FileCatalyst, Marquis Media, et Ngenea HSM pour PixStor de Pixit Media.

Cet automne, Caringo a annoncé l'intégration de Swarm Hybrid Cloud pour Microsoft Azure, permettant aux utilisateurs de répliquer des fichiers de S3, NFS et HDFS vers Azure dans le format blob natif Azure. En convertissant de manière transparente des fichiers à partir d'un objet S3, d'un objet Caringo, d'un blob Azure ou d'un fichier accessible NFS, les utilisateurs peuvent envoyer des fichiers à Azure pour analyse, protection et archivage à long terme.

Plus récemment, Caringo a ajouté Caringo Drive, un lecteur virtuel pour Swarm, à leur gamme de produits. Une fois Caringo Drive installé sur macOS® et Windows® systèmes, les clients ont un accès pratique et peuvent facilement faire glisser et déposer des fichiers vers et à partir de Swarm avec un transfert parallèle en arrière-plan. Cela accélère le téléchargement de contenu et fournit un accès simple à Swarm à partir des applications.

Ensemble de fonctionnalités robuste et complet
"Notre objectif depuis le début a été de changer l'économie du stockage", a poursuivi Ring. "Cela ne concerne pas seulement les coûts, mais aussi la modification du processus d'accès, d'organisation, de livraison et de conservation des médias." Selon Ring, Swarm est agnostique et accordable (toute combinaison de matériel x86 et de capacité de disque), les utilisateurs le choix du matériel qui permet des clusters de haute performance ou des archives sombres. En tant que tel, Swarm peut stocker n'importe quel fichier de taille, même TB, et gère néanmoins les petits fichiers extrêmement bien. Les utilisateurs peuvent mettre à jour le matériel en continu sans affecter l'intégrité du média et éliminer les silos de stockage tout en fournissant une recherche pour permettre une réutilisation rapide des médias. De plus, le fait de pouvoir stocker des métadonnées personnalisées avec le média lui-même élimine les problèmes des bases de métadonnées, rendant les médias autodescriptifs et accessibles à partir de n'importe quelle application, maintenant ou dans le futur. Le résultat est une plate-forme multimédia qui rationalise les flux de travail multimédia numériques tout en réduisant le coût total de possession du stockage 75% par rapport aux solutions basées sur le système de fichiers. Voici quelques caractéristiques clés qui permettent à Swarm de se démarquer de ses concurrents.

Fonctionnalités Principales

  • Système complet de cloud et de stockage d'objets évolutif intégré
  • Configurations privées, publiques ou hybrides
  • Déploiement sur un ou plusieurs sites
  • Multi-tenancy et comptage: Nuage multi-locataires pouvant être utilisé en mode public ou privé avec authentification liée aux systèmes standard (AD, PIM, etc.)
  • Débit parallèle massif
  • Gestion d'identité d'entreprise (LDAP, AD, Linux PAM)
  • Console Web unifiée et rapports
  • Recherche ad hoc, requête et analyse
  • Possibilité d'enregistrer les recherches pour les réutiliser: enregistrer en JSON ou XML pour l'importation par Kibana et d'autres applications
  • Ajoutez les performances ou la capacité des serveurs au cluster dans les secondes 90; Swarm prend soin de l'équilibrage de la charge à la volée
  • Intégration transparente avec Windows® serveurs de fichiers et NetApp® les déposants qui fournissent un accès transparent aux données des utilisateurs et des applications
  • Accès universel via un espace de noms unique pour HTTP, NFS, S3 et Azure Blobs
  • Streaming HTTP direct avec prise en charge des plages de lecture, idéal pour le contenu à longue queue et la diffusion de contenu OTT
  • Protection continue (conception résistante aux défaillances de nœuds, auto-guérison avec récupération rapide et proactive et réplication)
  • Codage d'effacement et chiffrement AES-256 pour les données au repos
  • 24 × 7 support et services professionnels
  • Conformité intégrée comprenant:
    • WORM: Vraie capacité WORM sans possibilité d'accéder au fichier car c'est un boîte noire appareil qui n'a pas de système de fichiers
    • Joints d'intégrité pour protéger les données en transit
    • Prise de possession légale
  • Opérations optimisées:
    • 70% de réduction de la consommation d'énergie: technologie de mise hors tension brevetée
    • 75% de réduction du TCO de stockage: plusieurs pétaoctets peuvent être gérés par moins d'une personne
    • 95% de capacité de disque utilisable
    • 100% disponibilité sans point de défaillance unique: charges 7 / 24 / 365 éprouvées depuis 2005

Validation du client
La philosophie de «l'apprentissage par la pratique» de Caringo, avec l'avantage supplémentaire de temps pour résoudre tous les bugs, a permis à son équipe de développer un ensemble de fonctionnalités très robuste et complet dans Swarm. Swarm est unique en ce que tous les nœuds remplissent toutes les fonctions, ce qui signifie que vous pouvez ajouter un nouveau serveur au cluster en le connectant simplement au réseau et en le mettant sous tension sur la machine nue. Les nouveaux nœuds démarrent sur le réseau et sont immédiatement ajoutés au cluster en moins de 90 secondes, et Swarm prend en charge l'équilibrage de charge à la volée. D'autres implémentations exigent généralement que l'administrateur désigne un rôle spécifique pour chaque nœud, ce qui augmente la complexité et les points de défaillance. «L'un de nos clients, NEP, fournisseur de la technologie et de l'expertise permettant aux organisations de produire les plus grands événements en direct et en diffusion au monde, est client de Caringo depuis 2010», a déclaré Ring. NEP a conçu et déployé un réseau de distribution de contenu (CDN) évolutif, fiable et performant aux Pays-Bas en utilisant Caringo Swarm. Le NEP CDN sert plus que les comptes utilisateurs 650,000 auxquels on accède avec différentes méthodes de consommation, allant des abonnements mensuels au paiement à la carte.

Selon Gerbrand de Ridder, Directeur R & D et Lead System Architect de NEP aux Pays-Bas, ils avaient besoin d'une plate-forme complète capable de s'adapter à leur réseau CDN et de répondre à leurs besoins en termes de capacité, coût, débit, croissance et fiabilité. indépendance totale du matériel. Caringo Swarm a été sélectionné après un long processus d'évaluation incluant plusieurs fournisseurs. «Nous avons choisi Caringo Swarm parce que c'était la plate-forme la plus flexible pour nous et qu'elle avait de bonnes licences au téraoctet», a déclaré Ridder. «Nous avons commencé avec les TB 100 et avons maintenant des PB 1.25 sur les nœuds 200 de différents fournisseurs de matériel. Caringo Swarm est un composant clé pour fournir ce service de qualité haut de gamme que NEP a toujours visé. "

Aujourd'hui, Caringo Swarm livre jusqu'à 45Gb / s de débit, ce qui en fait un composant clé pour fournir le service de livraison vidéo de haute qualité pour lequel NEP est connu. «Nous n'avons pas d'administrateur système à temps plein qui travaille sur notre système de stockage d'objets Caringo Swarm. Le seul problème qui arrive généralement au système est que si un nœud ou un disque tombe en panne, il suffit de le remplacer ou de le réparer. "Et à cause des capacités d'auto-réparation intégrées de Swarm, une défaillance de nœud ou de disque n'est pas catastrophique . Les autres nœuds du système continueront de fonctionner, ce qui permettra un fonctionnement ininterrompu. C'est pour cette raison que Ring peut prétendre qu'il n'y a pas eu de perte de données dans l'histoire de Caringo.

Regard vers l'avenir
Regardant vers l'avenir, Ring voit un mouvement distinct vers des solutions de cloud hybride dans toutes les industries, mais surtout dans le domaine du M & E. En tant que tel, Caringo construit une hiérarchisation sans faille des données vers et à partir du cloud pour un stockage élastique et des exigences informatiques. En conclusion, Ring a conclu: «Nous continuerons à stimuler l'innovation centrée sur le client tout en établissant notre leadership technologique en travaillant en étroite collaboration avec les équipementiers et nos partenaires pour développer des solutions cloud hybrides pour mieux servir nos clients de longue date et futurs.

Je ne pourrais pas l'avoir dit mieux moi-même et je vous recommande fortement de consulter leur site Web à www.caringo.com.


Alerte moi
Curtis Chan

Curtis Chan

Curtis Chan est président et chef de la direction / fondateur et associé directeur de CHAN & ASSOCIATES et COGNITIVE IMPACT, deux sociétés de haute technologie spécialisées dans le marketing de marque et les relations publiques, dont les clients vont du Global Fortune 500 aux startups financées par du capital de risque.

Les services de ses agences, depuis plus d’un quart de siècle, ont permis d’obtenir une importante exposition à la marque des sociétés en phase de croissance et de croissance, ce qui a entraîné une acquisition ou une introduction en bourse, avec une valorisation totale de plus de 2.0 milliards de dollars.

M. Chan est un entrepreneur en série, un philanthrope, un auteur et un investisseur providentiel. Très tôt, il a joué un rôle clé dans la création de pionniers et de pionniers dans les technologies audio numérique et vidéo numérique professionnelles pour les industries de l'enregistrement, de la diffusion, du cinéma et de la post-production. Il a également joué un rôle clé dans le développement et la commercialisation de technologies de stockage de données. Son expérience étendue couvre quatre décennies dans des rôles de plus en plus importants dans les opérations, le développement des affaires, l’ingénierie et les ventes / marketing dans les technologies de l’information, les médias et divertissement, le stockage et le réseautage, ainsi que dans d’autres industries de haute technologie.

Il est un mentor actif et un conseiller principal de nombreuses entreprises bien établies et en démarrage, un analyste de marché et de technologie et compte trois décennies d'expérience dans le développement de marques, le conseil en gestion, les redressements d'entreprise, la publicité créative et les relations publiques.

A graduate of California Polytechnic State University (Cal Poly), San Luis Obispo; Mr. Chan is celebrating his 12th year as a Board of Director for the Fullerton College Foundation and recipient of the 2017 President’s Award for Outstanding Service in Business; 17th year as an Entrepreneur-in-Residence and mentor for the Small Business Institute at California State University Fullerton and incubators. Additionally, he is a volunteer member of DECA (Delta Epsilon Chi and Distributive Education Clubs of America); an advisor to the College of Engineering's Global Waste Research Institute and Center For Innovation and Entrepreneurship, Cal Poly, San Luis Obispo and a member of the President’s Green and Gold Society. Passionate about hospice care, he was the past Board President for the Healing Hearts Association; and is a regularly featured speaker at many MBA and Doctorate level lectures around the country. He has presented and published over 30 papers worldwide, is a book co-author, an Editorial Board Member for the Society of Motion Picture and Television Engineers, Senior Editor for Broadcast Beat and AV Beat Magazines, past Senior Editor for Computer Technology Review, and is a regularly featured Contributing Editor to many US and international trade publications for over 30 years.

Consultez les services Cognitive Impact sur www.cognitiveimpact.com. Curtis peut être atteint à [EMAIL PROTECTED]; Bureau: (714) 447-4993 ou [EMAIL PROTECTED]
Curtis Chan
G|translate Your license is inactive or expired, please subscribe again!