java – 添加jsoup作为提供的依赖项后,Storm命令因NoClassDefFoundError而失败

我在我的项目中使用JSoup,并且已经在我的POM文件中声明了依赖项.它编译得很好并且运行也很好,但只有当我使用带有所有依赖项的jar并且更改具有编译的依赖项的范围时.

如果我将此范围更改为提供,那么我仍然可以正常编译,但不能运行它.它给了我ClassNotFoundException.我已经在类路径中包含了必要的JAR文件以及路径变量,但我仍然面临着这个问题.

我可以使用编译选项,但它真的让我心烦意乱,因为我无法使用提供的选项运行它,如果有人可以帮我解释原因,我会非常感激.

以下是我看到的错误：

java.lang.NoClassDefFoundError: Lorg/jsoup/nodes/Document;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2300)
    at java.lang.Class.getDeclaredField(Class.java:1882)
    at java.io.ObjectStreamClass.getDeclaredSUID(ObjectStreamClass.java:1605)
    at java.io.ObjectStreamClass.access$700(ObjectStreamClass.java:50)
    at java.io.ObjectStreamClass$2.run(ObjectStreamClass.java:423)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.io.ObjectStreamClass.<init>(ObjectStreamClass.java:411)
    at java.io.ObjectStreamClass.lookup(ObjectStreamClass.java:308)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1114)
    at java.io.ObjectOutputStream.writeObject(ObjectOutputStream.java:330)
    at backtype.storm.utils.Utils.serialize(Utils.java:52)
    at backtype.storm.topology.TopologyBuilder.createTopology(TopologyBuilder.java:94)
    at com.yahoo.amit.wordstorm.WordStormTopology.main(WordStormTopology.java:25)
Caused by: java.lang.ClassNotFoundException: org.jsoup.nodes.Document
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 14 more

以下是我的POM文件：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.yahoo.amit.wordstorm</groupId>
  <artifactId>wordstorm</artifactId>
  <version>1.0-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>wordstorm</name>
  <url>http://maven.apache.org</url>

    <repositories>
        <repository>
            <id>clojars.org</id>
            <url>http://clojars.org/repo</url>
        </repository>
    </repositories>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
            <groupId>storm</groupId>
            <artifactId>storm</artifactId>
            <version>0.8.2</version>
            <scope>provided</scope>
        </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>

    <dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.7.2</version>
    <scope>provided</scope>
</dependency>

  </dependencies>
  <build>
    <plugins>
            <!--
            bind the maven-assembly-plugin to the package phase
            this will create a jar file without the storm dependencies
            suitable for deployment to a cluster.
             -->
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass></mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>
        </plugins>
        </build>
</project>

以下是我的系统变量：

06002

解决方法:

这是关于Maven的问题,也是关于Storm及其部署模型的问题.你需要check out what the storm command actually does.首先,它实际上是一个最终调用java的Python脚本.

如果你看一下函数get_classpath(extrajars),你会注意到它根本不使用$CLASSPATH环境变量.相反,它加载核心Storm jar和你在目录lib /相对于你的工作目录下的任何jar,以及〜/ .storm下的配置文件

(您会发现忽略$CLASSPATH在许多Java应用程序中非常常见.通常,“启动脚本”执行的第一件事是覆盖CLASSPATH或根本不使用它.这是为了防止未知/不支持/早期版本的jar从你的申请中引起问题).

当jsoup被声明为“提供”时,你的应用程序失败：当你将jar声明为提供的依赖项时,它不会打包在你的“jar with dependencies”程序集中.请参阅此问题以获得一个很好的解释：Difference between maven scope compile and provided for JAR packaging

tl; dr的解释是编译范围是随你的超级jar一起提供的,前提条件不是,因为它是由你正在部署的容器“提供”的.通常,“容器”是一个Java Web服务器,就像Tomcat一样(因此,您不应该使用Java中的Web应用程序来运送JSP或Servlet jar).在这种情况下,您期望“提供”类的“容器”是Storm.但是,Storm不提供jsoup,因此您的错误.

编译范围类仍然需要随应用程序一起提供,因为您的应用程序将实例化/使用接口,枚举等.

我的建议是只声明jsoup“编译”范围并继续前进.另一种方法是编写自己的定制部署脚本和/或将jsoup放在lib /下的程序集 – 最后基本上是相同的.

标签：python,java,maven,apache-storm
来源： https://codeday.me/bug/20190625/1283916.html