Un nombre que vous ne trouvez pas est une question à étudier, et non une preuve d'un marché vide. Il peut s'avérer coûteux de rassembler, de restreindre, de demander faiblement, disponible sous un nom différent ou utile uniquement dans un flux de travail très spécifique.
Avant de construire un produit de données, testez deux choses séparément : si quelqu'un a besoin de la réponse et si vous pouvez l'obtenir avec précision, légalement et de façon suffisante pour répondre à ce besoin.
Quatre écrans de projet internes historiques ont motivé cette leçon pour Plain Reckoner. Leurs résultats ne sont pas une étude représentative des entreprises de données. Cet article transforme la préoccupation pratique en un flux de travail de faisabilité et supprime les anciennes règles universelles sur la couverture et la fréquence de mise à jour.
Commencez par la décision que le nombre supporte
Écrire la tâche de l'utilisateur avant de décrire l'ensemble de données. Quelqu'un peut avoir besoin de comparer la disponibilité du service, choisir un fournisseur, comprendre un changement de revenu ou préparer une décision d'achat. Chaque tâche implique différents champs, le calendrier et les conséquences d'erreur.
Si ses enregistrements ne se connectent pas à la décision, plus de lignes peuvent ajouter des coûts sans améliorer l'utilité. Un petit ensemble vérifié peut suffire pour une question locale tout en étant totalement insuffisant pour une estimation à l'échelle du marché.
Les GOV.UK orientation des besoins des utilisateurs Appliquez ce principe au produit proposé : demandez des informations sur les décisions prises et les solutions actuelles avant de déclarer la demande.
Enregistrez qui a besoin de la réponse, quand ils en ont besoin et ce qu'ils font actuellement sans elle. Une personne disant un ensemble de données sons intéressants est une preuve différente d'une tâche récurrente documentée que les données peuvent aider à accomplir.
Recherche de substituts avant de réclamer l'absence
Une phrase exacte manquante dans les résultats de recherche ne signifie pas que les informations sous-jacentes ne sont pas disponibles.Elle peut exister dans un rapport commercial, un service payant, un tableau de bord du fournisseur, un ensemble de données d'association ou un processus qui repose sur un contact direct.
Rechercher des substituts fonctionnels, pas seulement des produits avec le nom proposé. Un acheteur peut utiliser un tableur, une relation fournisseur existante ou un contrôle manuel au lieu d'acheter un flux de données dédié. Ces alternatives comptent même quand elles sont moins polies.
Conservez un dossier de recherche daté avec les termes, les sources et la portée vérifiés. Une déclaration défendable est qu'aucune source appropriée n'a été trouvée dans cet examen. -Personne n'a ces données -- exige des preuves beaucoup plus solides et est généralement inutile pour expliquer ce que le produit fait.
Ne traitez pas le silence d'un concurrent comme une preuve d'une occasion cachée ou d'une inconduite. Un service peut avoir changé d'audience, de distribution ou de modèle d'affaires.
Atteinte à l'essai, signification et autorisation séparément
Une demande acceptée vous indique qu'une ressource était accessible à ce moment-là. Elle n'établit pas que le contenu contient le champ requis, que le champ a été interprété avec exactitude ou que la réutilisation est permise aux fins proposées.
Une carte à tarif public peut être simple à lire mais insuffisante pour un devis spécifique à la date. Un calendrier peut montrer une certaine disponibilité sans révéler chaque condition de réservation. Les termes d'une source peuvent restreindre l'agrégation même lorsqu'un paramètre technique répond.
Conserver des colonnes distinctes pour le résultat de la collecte, l'état d'interprétation et l'état de la permission. Un projet qui a besoin des trois ne devrait pas appeler un enregistrement utilisable simplement parce que l'analyseur a trouvé un numéro.
Les guide prix contre disponibilité explique cette distinction avec les exemples de service et de magasin. Il montre également pourquoi une réponse inconnue ne prouve pas automatiquement qu'une entreprise cache délibérément des informations.
Utiliser un pilote pour estimer le travail, et non pour proclamer une loi sur le marché
Un petit pilote peut révéler des formats de source communs, des champs manquants et le temps d'examen manuel. Choisissez les cas qui exercent la variation probable au lieu de seulement recueillir les sites les plus faciles. Préservez les cas défectueux et ambigus de sorte que l'estimation des coûts reflète le travail réel.
L'ancienne note proposait de vérifier quarante sources et d'utiliser des parts de 25 % et 50 % de la publication comme limites de viabilité dure. Il s'agissait d'une heuristique de contrôle interne, et non de seuils universels validés.
Un faible taux de couverture par le public peut encore appuyer une enquête autorisée ou un service spécialisé précieux. Un taux élevé peut être commercialement peu attrayant si l'information est facile pour les utilisateurs d'obtenir eux-mêmes. La couverture est une entrée, pas un verdict.
Écrire une règle d'arrêt spécifique au projet avant le projet pilote. Attachez-la à la couverture requise, à l'incertitude acceptable, au budget disponible et à la tâche réelle de l'utilisateur. Expliquez le raisonnement au lieu d'emprunter un pourcentage net d'un marché différent.
Prix du processus de collecte complet
Inclure la recherche de sources, la demande de données, l'analyse, l'appariement d'entités, la vérification des résultats, la résolution d'exceptions et la publication d'une sortie utilisable.
Use chosen example inputs: 200 records require two minutes each for initial review and one minute each for validation. That is 600 minutes, or ten hours, before setup, permission work and unresolved cases. At a chosen labor allowance of $25 per hour, that part of the exercise is $250.
Il s'agit d'un scénario de coût, et non d'un point de repère de l'industrie ou d'une réclamation au sujet d'une rémunération appropriée.
Ne présumez pas que le doublement des dossiers double exactement chaque coût. Certains travaux s'échellent efficacement, alors que les exceptions, les relations de source et les contrôles de qualité peuvent ne pas être. Une estimation utile identifie ces composantes plutôt que de les cacher dans un chiffre optimiste de coût par ligne.
Comptabiliser les échecs et l'ambiguïté des dossiers
Supposons qu'un pilote choisi tente 100 enregistrements et en produit soixante exploitables après cinq heures de travail total. Le taux de sortie pertinent est douze exploitables par heure, pas vingt exploits par heure. Les deux comptages valent la peine d'être conservés, mais ils répondent à différentes questions.
Si le produit nécessite une couverture quasi complète d'un groupe nommé, les quarante dossiers non résolus peuvent dominer l'effort restant. Les cas précoces faciles ne permettent pas d'établir le coût des cas finals difficiles.
Ne convertissez pas les valeurs non résolues en nombres devinés pour que l'ensemble de données semble complet. Gardez l'état explicite et expliquez quelles sorties peuvent être calculées sans elles. Un dénominateur manquant ou une condition d'applicabilité peut invalider un agrégat apparemment simple.
Les Cadre gouvernemental de qualité des données La question pertinente n'est pas seulement de savoir si un fichier contient des valeurs, mais aussi si ces valeurs supportent l'utilisation prévue.
Faire correspondre la fraîcheur au cycle de décision de l'utilisateur
L'ancien article précisait qu'un certain nombre de changements annuels ne pouvaient pas appuyer le retour d'un produit.Cette conclusion était trop large. Une échéance réglementaire annuelle, une décision de renouvellement ou un cycle de planification peuvent créer un besoin récurrent même si l'information sous-jacente change de façon peu fréquente.
Inversement, des informations changeant rapidement peuvent ne pas justifier des mises à jour fréquentes pour chaque utilisateur. La décision ne peut se produire qu'une seule fois, ou l'utilisateur peut tolérer un certain retard. La fraîcheur a de la valeur lorsque la différence affecte la tâche, pas seulement parce qu'une étiquette quotidienne semble impressionnante.
Demandez quand une valeur invariable devient matériellement trompeuse. Enregistrez le modèle de mise à jour de la source et le retard acceptable de l'utilisateur. Cochez une source en vérifiant si elle a changé de valeur; un nouvel examen peut confirmer la même observation sans créer de nouvelles données du marché.
Choisissez un calendrier de mise à jour qui peut être maintenu. Ne pas promettre une analyse quotidienne lorsque la source est trimestrielle ou l'équipe ne peut pas inspecter les changements de façon responsable. Un calendrier bien connu est plus utile qu'un badge fréquemment détaché de la collecte réelle.
Estimer la charge de la maintenance récurrente
Une source peut redessiner son site Web, renommer des champs, modifier les règles d'accès ou arrêter la publication. Un gratteur initial en marche n'établit pas que l'ensemble de données restera peu coûteux.
Une nouvelle méthode d'extraction ne devrait pas réinterpréter silencieusement les anciennes valeurs alors que l'article décrit encore une série stable.
Les W3C Données sur les pratiques exemplaires du Web Il s'agit là également de préoccupations opérationnelles utiles pour un petit projet : les lecteurs doivent savoir ce qu'une valeur représente et quelle version ils utilisent.
Construisez un journal de changement et un chemin de récupération. Si une source est temporairement indisponible, dites quelle couverture est affectée. Ne laissez pas un résultat à l'aspect courant actif indéfiniment sans indication visible que ses entrées ne sont plus vérifiées.
Valider l'utilité avant d'ajouter plus de portée
Offrez un prototype limité aux utilisateurs appropriés et demandez-leur de l'utiliser pour la tâche pertinente. Regardez où les données aident, où il est insuffisant et si la sortie change leur prochaine action. Évitez de lancer le produit tout au long de l'exercice.
Un utilisateur peut avoir besoin d'une aide à la décision plus petite que l'ensemble complet de données. Un autre peut avoir besoin de détails autorisés que la collecte publique ne peut pas fournir. Ces constatations peuvent changer le produit sans exiger que l'idée originale soit déclarée brillante ou sans valeur.
Un prototype gratuit peut être utile sans supporter un prix commercial. Une volonté déclarée de payer peut être encourageante sans être un achat réel. Enregistrer chaque type de preuve honnêtement.
Ne comptez pas votre propre besoin comme preuve d'une grande clientèle. C'est un problème de départ concret, qui est précieux. Le prochain travail est de savoir si d'autres personnes partagent et si la solution proposée correspond à leur situation.
Publier une déclaration de couverture limitée
Une revendication défendable désigne le groupe, la date, la méthode de collecte et les cas non résolus. -Quarante-quatre entreprises nommées examinées à cette date peuvent être utiles si la liste et les règles sont appropriées.
Un recensement d'une liste spécifiée dépend toujours de la couverture de la liste et de l'exactitude des définitions de champ. La vérification de chaque entrée ne supprime pas automatiquement les duplicata, les entités inoccupées ou les membres manquants. L'exhaustivité dans un cadre est différente de l'exhaustivité d'une population.
Évitez d'utiliser un grand nombre comme substitut à une méthode. Une table avec des milliers de lignes peut répéter une erreur systématique. Montrez la provenance, les définitions et les étapes de validation qui rendent les enregistrements utilisables à l'usage indiqué.
Lorsque la publication est appropriée, rendre un échantillon ou la documentation disponible sans l'appeler l'archive sous-jacente entière. La description doit correspondre à ce qu'un lecteur peut effectivement télécharger ou demander.
Utiliser des preuves concurrentes pour améliorer l'idée
Si un autre fournisseur sert déjà la tâche, inspecter ce qui reste difficile pour l'utilisateur. La réponse peut être la facilité d'utilisation, le coût, la portée ou une décision différente plutôt que l'absence de données. Ne présumez pas que l'existence d'un concurrent tue chaque variation utile.
Si un service antérieur s'est arrêté, examinez les raisons documentées là où elles sont disponibles. Une page inactive peut refléter les priorités, les changements d'acquisition, de dotation ou de distribution ainsi que la faiblesse de l'économie.
Si un fournisseur fait des revendications fortes avec peu de support visible, utilisez-le comme une prompte pour améliorer votre propre piste de preuve. Il n'établit pas ce que tous les utilisateurs, moteurs de recherche ou réseaux publicitaires peuvent distinguer.
Une comparaison concurrentielle utile indique des capacités et des limites observables. Il n'est pas nécessaire de déclarer que personne d'autre ne mesure correctement pour expliquer ce que le nouveau service offre.
Faire la prochaine décision explicite
À la fin du projet pilote, décider s'il faut continuer, restreindre la portée, chercher un accord de source ou s'arrêter. Indiquer les preuves qui appuient ce choix et les conditions qui le modifieraient. Un projet arrêté peut encore laisser une leçon de méthode utile.
Les Plan de test Il ne peut pas déduire la demande ou la permission d'une adresse de site Web. Fournir les preuves réelles et préserver les inconnus.
La leçon principale n'est pas que les données non publiées sont toujours trop chères, ni que les mises à jour quotidiennes sont toujours précieuses. C'est que la nouveauté, la faisabilité de la collecte, la qualité, la permission et la valeur utilisateur sont des questions distinctes.
Un produit de recherche professionnel n'a pas besoin de tout savoir. Il doit expliquer ce qu'il sait, ce que cette preuve soutient et ce qui manque fait importe ensuite. Cela rend un petit pilote utile sans le transformer en une loi universelle sur les marchés.
Vérifier l'économie sans inventer une prévision
Supposons que les frais de perception et d'examen mensuels choisis soient de 400 $, et qu'un abonnement proposé contribue 10 $ par client payant après les coûts directement associés. Quarante clients payants couvriraient cette composante de 400 $. Le calcul n'établit pas qu'il y a quarante acheteurs ou que toutes les dépenses d'entreprise sont couvertes.
Ajouter les coûts omis avant d'appeler le projet rentable: soutien, développement, frais de paiement, administration et toutes les autres dépenses réellement applicables. Si le produit reste libre, identifier la source de financement réelle plutôt que de supposer que le trafic paiera automatiquement les factures.
Utilisez le scénario pour poser une question de recherche concrète: quelles preuves pourraient appuyer le nombre de clients requis ou le niveau de financement? Un chiffrier de coûts est un outil de planification. La demande doit encore être observée, et aucun arithmétique attrayant ne supprime cette exigence.